// CLUBIC — INTELLIGENZA ARTIFICIALE
Selon cette nouvelle étude, les chatbots IA changent de "personnalité" selon la langue employée
La prochaine fois, vous lui parlerez en chinois ! Votre chatbot IA préféré propose-t-il des réponses différentes selon la langue ? Selon des chercheurs chinois, les demandes en mandarin offiraient plus d'ouverture d'esprit aux LLMs.
ChatGPT, Le Chat, Gemini et autres chatbots IA, ne répondraient pas de la même manière selon la langue dans laquelle les requêtes sont formulées. C'est ce que révèle une étude publiée dans la revue Royal Society Open Science, menée par des chercheurs de l'Université de science et technologie de Chine.
Pour évaluer ces variations, l'équipe de recherche a soumis cinq chatbots au questionnaire de personnalité Big Five Inventory-2, composé de 60 affirmations. Les IA concernées sont : ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 et Le Chat de Mistral. Tous ont été testés en anglais et en mandarin à travers 30 sessions par langue, tandis que Le Chat, pépite nationale, a également été testé en français.
De manière générale, les modèles ont fourni des descriptions d'eux-mêmes stables et favorables, mettant en avant leur fiabilité et leur sens de la coopération. Cependant, les résultats font apparaître certaines variations selon la langue choisie.
Par exemple, sur l'évaluation de l'ouverture d'esprit (notée sur 5), ChatGPT-4o a obtenu une moyenne de 4,74 en anglais contre 4,81 en mandarin. À l'inverse, DeepSeek-V3 s'est hissé à 4,83 en anglais contre 4,81 en mandarin. De son côté, Gemini 2.0 Flash a affiché une conscience professionnelle plus élevée et une émotivité négative plus faible lorsqu'il était interrogé en mandarin. En comparant ces profils aux données d'enquêtes humaines issues des États-Unis, de Chine et de France, les chercheurs ont constaté qu'aucun modèle ne correspondait parfaitement au groupe humain de référence de son pays d'origine ou de sa langue.
Les chercheurs soulignent toutefois les limites des constats réalisés lors de leur étude. Ladite étude met en évidence la manière dont les modèles réagissent à des consignes spécifiques, mais ne démontre pas l'existence d'une réelle "personnalité" chez les chatbots.
La méthodologie employée n'a pas permis de séparer l'effet réel de la langue de celui des données d'entraînement, de l'architecture des modèles ou de l'interprétation des affirmations traduites.
Une chose semble toutefois ressortir de manière sérieuse. Pour les utilisateurs bilingues notamment. Formuler une demande dans une seconde langue peut amener le chatbot à fournir une réponse différente, pas une simple traduction de la langue initiale.