Parce que les « chatbot » actuels sont très spécialisés, Google travaille sur le développement d'un agent conversationnel quasi universel. Le but : faire en sorte qu'il soit capable de discuter de tout et n'importe quoi. À cet exercice, Meena se rapproche des humains.
au sommaire
Des chercheurs de l'équipe GoogleGoogle Brain, spécialisée dans le deep learning (apprentissage profondapprentissage profond), viennent de présenter Meena, un chatbot capable de tenir des conversations de manière beaucoup plus naturelle que d'autres agents conversationnelsagents conversationnels. Ils le qualifient de modèle conversationnel neuronal qui a été entraîné de bout en bout avec 2,6 milliards de paramètres.
Meena repose sur l'architecture Evolved Transformer seq2seq, et se compose d'un seul bloc d'encodage qui lui permet de comprendre les phrases de son interlocuteur et le sujet de la discussion, et de 13 blocs de décodage pour formuler sa réponse. Les chercheurs ont utilisé 341 Go de texte en provenance de conversations sur les réseaux sociauxréseaux sociaux pour entraîner le chatbot. Leur objectif était de réduire la perplexité, autrement dit l'incertitude dans la prédiction du prochain mot dans la conversation.
Un score proche des échanges entre humains
Un des problèmes pour évaluer la performance de Meena était l'absence de métrique fiable. Les chercheurs ont donc créé une nouvelle mesure appelée Sensibleness and Specificity Average (SSA). Pour ce faire, ils ont collecté une centaine de conversations pour chaque agent, composées de 1.600 à 2.400 tours (ou réponses). Des volontaires ont dû ensuite noter chaque réponse, si elle semblait raisonnable et crédible dans le contexte, et si elle était spécifique au contexte et non une réponse passe-partout comme « oui » ou « moi aussi ». Le SSA est la moyenne des notes sur ces deux paramètres.
Avec cette mesure, Meena a largement battu les autres chatbots, avec un score de 79 % contre 56 % pour les meilleurs. Il se rapproche même des humains, notés à 86 %. Les chercheurs ont également découvert qu'il existe une corrélation inverse entre la perplexité et le SSA, ce qui signifie que la perplexité pourrait être utilisée pour évaluer automatiquement les performances des agents conversationnels, permettant d'accélérer leur développement.
