Een spider trap is een verzameling aan webpagina’s die opzettelijk of per ongeluk kan worden gebruikt om een ​​spider of webcrawler enorm veel verzoeken te laten doen. Ook kan een spider trap een slecht geconstrueerde spider laten crashen.
Spider
Een spider kruipt het internet over om pagina’s te indexeren. Uiteindelijk zorgt de zoekmachine spider ervoor dat onze content zichtbaar is voor onze doelgroepen. Als de spider bijvoorbeeld moeite heeft met het lezen van je website en de pagina’s, zal je minder hoog in de zoekresultaten van zoekmachines scoren dan je concurrenten.
Soorten spider trap
Een spider trap kan onderverdeeld worden in vier soorten:
- URL trap. De spider verwerkt hierin ontelbaar veel URL’s die allemaal naar dezelfde pagina verwijzen.
- Voorbeeld: https://www.voorbeeld.nl/abc/abc/abc/abc/abc/abc/abc/abc/abc/abc/abc/abc.voorbeeld.php
- Informatie trap. Informatie kan op verschillende manieren gepresenteerd worden. Denk bijvoorbeeld aan productlijst van duizenden producten, deze kunnen op miljoenen manieren gefilterd en gesorteerd worden. De spider kan dus bijvoorbeeld een filter indexeren. Hierdoor wordt niet de juiste pagina getoond.
- Voorbeeld: https://www.voorbeeld.nl/…/groen/maat-42
- Identificatie trap. Pagina’s die duplicate content bevatten, maar slechts in een paar details variëren. De spider trap zorgt ervoor dat er een hele kleine aanpassing wordt gemaakt in de URL, wat erg verwarrend kan zijn.
- Technische pagina trap. Pagina’s kunnen unieke content bevatten. Denk bijvoorbeeld aan een stukje technologie dat niet veel voorkomt op reguliere websites. Vaak kunnen er problemen ontstaan. Een goed voorbeeld is een agenda die verwerkt is in de pagina. Data dat helemaal niet relevant is (over 1000 jaar van nu) wordt ook geïndexeerd.