Wat is een crawler?

Een crawler wordt ook wel een wanderer, bot, spider of robot genoemd. Dit zijn de softwareprogramma's of eigenlijk algoritmen die het internet continu afzoeken op zoek naar nieuwe of vernieuwde webpagina's. Zodra een spider een pagina heeft gevonden wordt deze opgeslagen in de database of cache.