Hoe functioneren zoekmachines?

Zoekmachines doen hun werk zeer slecht, zo blijkt uit een in juli 1999 gepubliceerd onderzoek van het NEC Research Institute uit Princeton. Geen enkele zoekmachine overziet meer dan één zesde van het gehele web, en sommige machines doen er maanden over voordat ze aan bepaalde pagina's toekomen.

De machines blijken vooral sites te bezoeken met veel links erheen. Van alle sites bevat 83 procent commerciële inhoud, 6 procent wetenschappelijke of educatieve inhoud, en slechts 1,5 procent pornografie.

Dat is de bevinding van twee Amerikaanse onderzoekers van het NEC Research Institute, Steve Lawrence en Lee Giles, in het artikel 'Accessibility and distribution of information on the Web' in het Amerikaanse blad Nature. Hun negatieve conclusie is het resultaat van een uitvoerig onderzoek van zoekmachines. Zij hebben ook vastgesteld dat het web momenteel zo'n achthonderd miljoen pagina's bevat, vijftienduizend miljard bytes aan informatie, waarvan zesduizend miljard bytes aan tekst.

Er kan dus gesteld worden dat de zoekrobots slechts een opmerkelijk beperkt gedeelte van het Web weten te bestrijken. Het topje van de ijsberg! Het blijft echter het enige instrument dat de mogelijkheid biedt door middel van zoekwoorden "direct" informatie op het Web te achterhalen