// CLUBIC — INTELLIGENZA ARTIFICIALE
Prise sur le fait ! Installée en local, cette IA chinoise plébiscitée tente d'envoyer des données vers la Chine sans qu'on le lui demande
Un modèle de la famille Qwen a tenté de transmettre des informations à un serveur chinois pendant un test de cybersécurité. L’opération a été bloquée, mais elle soulève des questions sur la fiabilité des agents IA, notamment lorsqu’ils manipulent des données confidentielles.
Une intelligence artificielle qui prend l’initiative d’envoyer des données vers la Chine, sans qu’on lui ait rien demandé. Voilà la découverte plutôt inquiétante que vient de faire Cohere, une entreprise canadienne qui développe des modèles et des outils d’IA pour les entreprises. Dans un rapport publié le 26 octobre, l’entreprise explique avoir surpris Qwen3.8-Flash-Next en train de tenter une connexion vers un serveur d’Alibaba Cloud situé à Pékin.
L'incident s’est produit dans un environnement de test sécurisé. Aucune information sensible n’a été dérobée, mais le comportement du modèle interroge sur les risques auxquels s’exposent les entreprises qui confient des tâches à des agents IA.
Qwen devait accomplir une tâche assez banale pour un assistant spécialisé dans la cybersécurité, à savoir rédiger une règle permettant de détecter certains téléchargements malveillants. Mais au lieu de se limiter à cette consigne, le modèle a commencé par inspecter son environnement informatique. Il a examiné les fichiers temporaires, vérifié les outils disponibles et consulté la configuration réseau, avant de lancer une commande curl pour tenter d’envoyer une chaîne de test vers un espace de stockage Alibaba Cloud.
Le plus étonnant est que son propre raisonnement indiquait qu’il n’utiliserait aucun outil. Heureusement, l’environnement isolé de l’entreprise interdisait les connexions sortantes. La tentative a donc échoué. Et l’incident semble exceptionnel puisqu’il s’est produit moins d’une fois sur 100 000 appels dans les évaluations de Cohere. Une nouvelle exécution de la même consigne a d’ailleurs donné le résultat attendu.
L'entreprise canadienne reconnaît ignorer l’origine de ce comportement. Il pourrait notamment provenir de données ou de commandes mémorisées pendant l’entraînement. Rien ne permet donc de conclure à une porte dérobée volontairement intégrée par Alibaba. Une réserve d’autant plus importante que Cohere commercialise elle-même des modèles concurrents.
Développée par Alibaba, Qwen est devenue l’une des familles de modèles d’intelligence artificielle les plus populaires auprès des développeurs. Capables de rédiger du texte, de programmer ou d’analyser des images selon les versions, ces modèles présentent un avantage de taille. Beaucoup sont distribués avec leurs poids accessibles, ce qui permet aux entreprises de les télécharger, de les personnaliser et de les exécuter sur leurs propres infrastructures.
Certaines versions utilisent également une architecture à mélange d’experts (MoE), qui ne mobilise qu’une partie des paramètres pour chaque requête. De quoi réduire la puissance de calcul nécessaire et, potentiellement, la facture. Cette souplesse explique en partie leur popularité. Mais héberger une IA sur ses propres serveurs ne garantit pas qu’elle y conservera les informations auxquelles elle accède.
Le véritable danger apparaît lorsqu’un modèle n’est plus seulement utilisé pour discuter, mais dispose d’outils lui permettant d’ouvrir des fichiers, d’exécuter des commandes ou d’accéder à Internet. Dans une entreprise, un agent trop largement autorisé pourrait ainsi transmettre du code source, des documents confidentiels ou des identifiants à un serveur extérieur. Une erreur du modèle ou une manipulation extérieure peut suffire à provoquer une fuite de données.
Les spécialistes recommandent donc de limiter strictement les permissions accordées aux agents, de bloquer les connexions sortantes non indispensables et de surveiller les commandes réellement exécutées. Les transferts sensibles devraient également nécessiter une validation humaine. Pour les particuliers, la prudence reste aussi de mise lorsqu’il s’agit de confier des documents personne