au sommaire
Depuis leur ouverture au grand public, les intelligences artificiellesintelligences artificielles (IA) sont bluffantes en raison de leur force de conviction dans leurs réponses. Or, celles-ci sont parfois fausses et même inventées dans certains cas. On parle alors d'IA qui hallucinent en générant des réponses crédibles, mais incorrectes. Comment avoir confiance en une IA dans ces conditions ? C'est la question que se sont posée des chercheurs du MIT (Massachusetts Institute of Technology) et du MIT-IBMIBM Watson AI Lab. Pour évaluer ce niveau de confiance, ils ont mis au point le Thermometer, autrement dit, une sorte de thermomètrethermomètre mesurant la fiabilité des réponses.
Un thermomètre dans le LLM
Il s'agit là aussi d'un modèle de langage, mais de taille plus petite, dont la mission se limite à étalonner un grand modèle. Thermometer sert alors à identifier les situations pour lesquelles un modèle est trop confiant quant à ses fausses prédictions. L'utilisateur reçoit alors un signal clair qui lui permet de savoir si la réponse est exacte. Plus précisément, l'étalonnage du LLM se fait en prélevant plusieurs fois de petits échantillons du modèle afin d'obtenir différentes prédictions, puis de les agréger pour mesurer et améliorer la confiance.
