Il termine Crawler descrive una specifica tipologia di software che visita i siti Web presenti su Internet e ne consulta i contenuti e le informazioni al fine di creare (o tenere aggiornati) gli indici dei motori di ricerca. Una delle caratteristiche particolari di questi software è la capacità di visitare ogni singola pagina di un sito Web, seguendo anche eventuali link esterni presenti.