Nutch : un projet opensource concurrent pour Google ?

Nutch, c'est son nom, a été initié dans le secret l'année dernière et se trouve soutenu, entre autres, par un responsable de la recherche et développement chez Overture (un concurrent de GoogleGoogle) et par Tim O'Reilly (acquéreur d'Altavista et d'All The Web, qui a initié le projet et financé son lancement).

Le 16 juin, Nutch a réalisé un premier test qualifié « d'encourageant » sur un index de 100 millions de pages, ce qui ne représente toutefois qu'une fraction des 2 à 3 milliards d'url référencés par Google.

Tous les moteurs de recherche existants ont des méthodes secrètes pour décider quels documents sont les meilleurs documents. L'idée est de rendre publique l'ensemble du fonctionnement de Nutch depuis sa manière d'indexer les pages Web jusqu'aux algorithmes servant à leur classement.

Pour autant Overture ne subvient pas à tous les besoins de Nutch et Doug Cutting cherche activement des fonds pour monter une démonstration publique avant la fin de l'année (octobre?). En attendant, Nutch fonctionne sur trois ordinateurs « de base » et supporte trois requêtesrequêtes par seconde. La route est longue pour contrer Google.