Crawlen is het indexeren van de inhoud van websites door zoekmachinesoftware (bots/spiders). Als een website niet goed gecrawld kan worden, beïnvloedt dit negatief de vindbaarheid van de site in de zoekmachine.
Crawlen betekenis
Crawlen is het doorzoeken van websites door zoekmachinesoftware om de inhoud van de sites te indexeren. Als een zoekmachine zoals Google een website goed kan crawlen, heeft dit als resultaat dat je makkelijk hoger in de zoekresultaten terecht komt. De software wordt vaak ‘spider’ of ‘spiders’ genoemd.
Dode links verwijderen
Het is belangrijk om rekening te houden met hoe het crawlen in zijn werk gaat. Een spider heeft niet onbeperkt de tijd om door de website heen te gaan waardoor het belangrijk is dat alles goed aan elkaar gelinkt is. Sites met een duidelijke websitestructuur kunnen sneller en nauwkeuriger doorzocht worden dan websites zonder. Dingen zoals verouderde webpagina’s, of verwijzingen naar 404-errors nemen kostbare tijd in beslag waardoor ze lager in de zoekresultaten komen te staan. Zorg er dus voor dat de website geen overbodige pagina’s bevat, en dat dode links verwijderd worden door bijvoorbeeld een 301-redirect aan te maken naar een pagina die wel functioneert.