Un nouvel algorithme permet aux robots d'écrire au crayon sur du papier, pour retranscrire des mots ou dessiner des traits similaires à ceux d'une écriture manuscrite. Le tout à partir de photos.

au sommaire

    Des chercheurs en informatique à l'université Brown, à Rhode Island aux États-Unis, ont créé un algorithme qui permet aux robots de reproduire au stylo ou au pinceau des dessins ou de l'écriture manuscrite. Ce travail est l'œuvre d'Atsunobu Kotani, un étudiant de premier cycle, épaulé par Stefanie Tellex, une professeure assistante en informatique.  

    Le but de la recherche était d'apprendre au robot la reproduction des gestes humains utilisés dans l’écriture manuscrite ou dans le dessin. Pour cela, ils lui ont appris à identifier les traits utilisés pour pouvoir les dupliquer. Selon Atsunobu Kotani, « simplement en regardant une image cible d'un mot ou d'un croquis, le robot peut reproduire chaque coup de pinceau en un geste continu. À cause de cela, il est difficile de distinguer s'il a été écrit par un robot ou par un humain ».

    De nouvelles prouesses grâce au deep learning

    Dans cette recherche, les scientifiques ont fait appel aux techniques du deep learning, utilisant des réseaux neuronaux pour analyser des images de mots manuscrits ou de croquis et pour ensuite déterminer comment utiliser les gestes qu'il a appris. Le système se base sur deux modèles distincts de l'image. Un premier modèle global permet de choisir le point de départpoint de départ le plus probable. Une fois que le trait a commencé, un second modèle agrandit ensuite l'image, pour déterminer le parcours du tracé et sa longueur. Une fois qu'il a terminé ce premier trait, il retourne au modèle global pour choisir le point de départ du second trait, et continue à alterner entre ces deux systèmes jusqu'à ce que l’image soit terminée.

    Le robot diffère des approches habituelles car il détermine l'ordre des traits de lui-même. Habituellement, les robots doivent avoir un minimum d'informations préalables. Pour parvenir à écrire, il leur faut l'ordre des traits à chaque fois. Selon Stefanie Tellex, la tutrice de Kotani, l’algorithme de son étudiant « permet de dessiner ce que vous souhaitez et le robot peut le reproduire. Il ne parvient pas toujours à effectuer les traits dans l'ordre parfait, mais il s'en rapproche beaucoup. »

    Ce robot est capable d'écrire « Bonjour » dans une dizaine de langues. © Brown University

    Des résultats qui ont étonné les chercheurs

    La capacité du robot à reproduire des éléments nouveaux a surpris les chercheurs. L'algorithme utilisé en deep learning a été entraîné sur des caractères japonais. Ses recherches ont montré que le robot était capable de reproduire les caractères et les gestes avec une précision de 93 %. Ils l'ont ensuite testé avec des caractères latins en anglais, et ont également obtenu de bons résultats. « Nous aurions été heureux s'il avait seulement appris les caractères japonais, a indiqué Stefanie Tellex. Mais, lorsqu'il a fonctionné avec l'anglais, nous avons été étonnés. On a décidé de voir jusqu'où il pouvait aller ».

    Ils ont ensuite demandé à l'ensemble du personnel du laboratoire de robotiquerobotique d'écrire le mot « bonjour » dans leur langue maternelle, ce qui leur a permis de confronter le robot notamment au grec, hindi, ourdou, chinois et yiddish, et ce avec de bons résultats à chaque fois. La plus grande surprise a été lorsqu'ils lui ont présenté un croquis de la Joconde, dont la reproduction par le robot a laissé le personnel du laboratoire incrédule. Les deux chercheurs imaginent un avenir où les robots pourront laisser des mémos sur des Post-it, prendre des notes ou dessiner des croquis pour leurs collaborateurs humains.