au sommaire
Les dernières versions des grands modèles de langage (LLM), comme GPT-4o ou Google Gemini 1.5, ont désormais la capacité d'accepter un livre entier comme contexte pour une requêterequête, voire même plusieurs livres. Toutefois, les réponses sont beaucoup plus courtes. La plupart ont une taille de réponse maximale imposée de 2 000 à 3 000 mots, et bien souvent n'atteignent pas cette limite.
Des chercheurs de l'université Tsinghua en Chine viennent de mettre au point une nouvelle IAIA capable de générer des réponses beaucoup plus longues. Elle s'appelle LongWriter, et peut générer plus de 10 000 mots en une minute.
LongWriter disponible sous licence libre
Les chercheurs ont découvert que la longueur du texte généré est directement corrélée avec la longueur des textes utilisés pour son entraînement. Ils ont donc créé un jeu de données contenant 6 000 textes d'une longueur entre 2 000 et 32 000 mots, qu'ils ont nommé LongWriter-6k. En entraînant l'IA sur ces textes, elle a réussi à produire des réponses de plus de 10 000 mots.
Leur article, qui est disponible en prépublication, montre que tous les modèles de langage dotés d'une grande fenêtrefenêtre de contexte devraient être capables de générer des textes au format long à condition de les entraîner sur ce format. L'IA pourrait donc être bientôt capable de générer des articles de recherche, des scripts ou des livres entiers à partir d'une simple requête. Les chercheurs ont publié leur code sous licence libre sur GitHub.
