È stato uno dei primi servizi di ricerca con indicizzazione a testo pieno nato nella storia del Web. Raccoglie le proprie informazioni attraverso un robot ed è raggiungibile all'indirizzo http://www.webcrawler.com oppure http://webcrawler.com. Il suo database ha dimensioni più contenute rispetto a quello di Lycos, però è ben aggiornato. Tende a essere un po' difficile da raggiungere quando la rete è trafficata, e i server non sono sempre veloci nel rispondere, ma la ricerca è rapida e può essere attivata anche direttamente dall'Italia all'indirizzo http://www.global.it/servizi/w3srch.html.È molto veloce nel recepire la segnalazione di nuovi URL. Il progetto è stato iniziato da Bryan Pinkerton presso l'Università di Washington a Seattle e la prima release è stata rilasciata come esperimento accademico il 20 aprile 1994 con informazioni su 6.000 siti. L'interesse per questo servizio si è sviluppato rapidamente arrivando nell'ottobre di quello stesso anno a una media di 15.000 query al giorno. Nel marzo del 1995 il traffico aveva già saturato le capacità del dipartimento d'informatica dell'università e poteva essere consultato solo di notte. Perciò quello stesso mese è stato ceduto ad America On Line che lo ha trasferito a San Francisco facendolo gestire da Global Network Navigator.
|