Comparatif : que vaut votre antivirus ?

Le site grec Virus.gr, animé par un collectionneur de virus passionné, publie régulièrement des comparatifs antivirus. Le dernier en date est paru en décembre dernier et il met face à face les grands noms du marché, des produits moins connus et, étonnement, quelques anti-spywares.

Le bilan est mitigé : sans trop de surprise, Kaspersky Antivirus est en tête du classement. Après quelques ratées lors du passage à la version 4, le produit semble ainsi désormais être revenu à ce qu'il était : un moteur antivirus sacrément efficace. Il est suivi par F-Secure, qui exploite plusieurs moteurs... dont celui de Kaspersky !

Arrive ensuite un peloton intéressant : on retrouve d'abord des produits moins connus, tels CyberScrub ou eScan Virus Control, et après seulement les premiers produits réputés. McAfee est ainsi cinquième, BitDefender sixième, Norton Antivirus dixième, Panda treizième et AVG quinzième.

Parmi les lanternes rouges (ou plutôt les moins performants des produits connus par chez nous), Norman atterri à la vingtième place, Sophos à la vingt-et-unième, tandis que la version Windows de l'antivirus libre ClamAV est vingt-cinquième et que eTrust Antivirus, de CA, décroche la vingt-sixième place.

Anti-spywares et anti-trojans

Signe des temps, le comparatif inclut également son lot d'anti-spywares et anti-trojans. Evidemment, ils obtiennent des scores particulièrement faibles car la collection utilisée pas Virus.gr est clairement virale. Mais il est intéressant de constater que la proportion de virus intégrant des capacités de cheval de Troie ou embarquant un spyware ou un adware est suffisamment élevée pour que certains de ces anti-tout détectent jusqu'à 10% de la base virale.

Bien entendu, ces résultats pourront être commentés - et critiqués - à l'infini. C'est malheureusement le lot de tout comparatif antivirus. Le premier reproche pourra ainsi être que l'auteur ne teste les antivirus que sur une base virale statique. Son comparatif porteporte donc uniquement sur la qualité du scanner "on demand", et non de celui qui protège la mémoire en temps réel. Et il est bien connu qu'au sein d'un même produit, les deux peuvent être de qualité très différente ! (la mémoire est beaucoup plus difficile à analyser qu'un fichier, dont la structure est connue. Et ceci avant même d'entrer dans des considérations de performance).

Ainsi lors d'un comparatif que nous réalisions il y a quelques années, le virus Bolzano était parfaitement détecté par Panda et Norton Antivirus lorsqu'il était sous la forme d'un fichier infecté. Mais s'il était activé, ces deux antivirus étaient incapables de le stopper. Le parasiteparasite infectait le disque dur sans difficulté tandis que les antivirus continuaient de donner l'alerte à chaque nouveau fichier contaminé... sans l'arrêter pour autant !Dans un test statique, ils auraient eu une bonne note, alors qu'ils étaient en réalité totalement démunis face à ce virus.

La détection générique en question

Autre point de question : le test porte sur une collection virale immense (250.000 souches). On aurait aujourd'hui plutôt tendance à demander à un antivirus d'être efficace contre les parasites en circulation (In the wild, beaucoup moins nombreux) et à son éditeur d'être suffisamment réactifréactif pour adapter la base de signatures aux menaces réelles.

Mais attention : si, du seul point de vue de l'utilisateur, la protection contre les menaces en circulation peut sembler suffisante, ces résultats nous permettent de lire autre chose entre les lignes : la qualité des techniques de détection générique de chaque produit. Car en l'absence de signature pour un vieux virus, un bon produit n'aura toutefois pas de mal à le détecter grâce à des techniques heuristiquesheuristiques (ou comportementales, si les virus sont activés).

Ainsi dans ces résultats, les antivirus qui obtiennent un piètre score sont peut-être tout à fait efficaces par ailleurs contre les virus en circulation (c'est le cas par exemple de Sophos ou eTrust, qui mettent en avant leur détection proche de 100% des virus présents dans la fameuse "Wild List"). Mais leur mauvais résultat ici montre que leurs techniques de détection génériques sont, au mieux, faillibles et, au pire, inexistantes.

Pourtant la détection générique trouve, aujourd'hui plus que jamais, son utilité dans la protection contre les parasites écrits sur-mesure pour mener des attaques ciblées, que ce soit contre des entreprises ou contre les particuliers afin de dérober les identifiants de banque en lignebanque en ligne.

En dépit de ces observations, il convient toutefois de saluer le travail du webmaster de Virus.gr. Entretenir une collection de virus, même plus réduite que la sienne, est un travail colossal. À la lecture du protocole du test, la sienne est correctement classée, et il apporte une attention aux détails que tout bon spécialiste reconnaîtra (caractère unique des échantillons, réplicationréplication, checksumming, etc...).

Une telle rigueur dans son protocole devrait l'aider à affronter l'assaut des éditeurs mal classés, qui n'ont probablement pas manqué de lui tomber dessus avec toute la mauvaise foi qu'on leur connaît !

Commentaires

Il est évident que le classement dépend considérablement de la collection de malwaresmalwares utilisée. Avec 113.334 virus et programmes hostiles divers on peut penser que cet échantillon est particulièrement représentatif. Toutefois, aux commentaires pertinents de notre collègue Jérome Saiz de LesNouvelles.net, nous voudrions ajouter quelques éléments complémentaires.

29,5 % de cet échantillon est représenté par des virus MS-DOSMS-DOS qu'on ne peut guère rencontrer que sur de vieilles disquettesdisquettes oubliées au fond d'un tiroir et qui, pour la plupart, ne sont pas actifs dans l'environnement Windows. Leur détection ne présente pas beaucoup d'intérêt mais elle pèse un poids non négligeable dans le classement final. 6 % supplémentaires sont des virus macro, toujours dangereux mais très rarement rencontrés actuellement. Les virus Windows proprement dits constituent uniquement 2,6 % de l'ensemble.

Les chevaux de Troiechevaux de Troie et portes dérobéesportes dérobées constituent à juste titre 46,9 % des malwares testés car ils constituent le sujet de préoccupation majeur actuellement. Par contre la plupart de ces programmes hostiles arrivent sous forme de vers. Or ces derniers sont noyés dans une rubrique hétéroclite dénommée scripts (8,5 %) et on ne sait pas quelle proportion des scripts ils représentent. De même on ne sait pas où se classent les spywares et autres keyloggerskeyloggers dans cette base de malwares et rien n'est dit sur la présence éventuelle de rootkitsrootkits dans la collection.

Tout ceci explique pourquoi, comme il est indiqué ci-dessus, des antivirus très satisfaisants dans la pratique, sont mal classés. On peut toutefois être ébloui par le score final de Kaspesky (99,46 % de virus détectés). Parmi les antivirus gratuits Antivir est classé 8^ème (avant Norton), AVG et Avast étant respectivement 15^ème et 17^ème mais AVG est sensiblement meilleur pour la détection des chevaux de Troie et portes dérobées.

Enfin, le fait de mettre dans la même liste des antispywares ou antimalwares à créneau spécialisé n'a, à notre avis, aucun sens.