La société américaine Anthropic, à l’origine du modèle d’intelligence artificielle Claude, a révélé avoir suspendu en juin dernier un compte utilisé pour développer une plateforme commerciale de surveillance visant des utilisateurs des réseaux sociaux en Iran et dans la région du Golfe.
D’après un rapport publié par l’entreprise, cette plateforme aurait servi à localiser et à classer les utilisateurs selon leur profil démographique et leurs positions politiques. Elle produisait également des notes de renseignement en arabe littéral, rédigées dans le style de documents gouvernementaux.
Une plateforme destinée à surveiller les utilisateurs
Selon Anthropic, l’opération aurait été menée par une entité appelée S2T Unlocking Cyberspace, ou pour son compte. Des recherches en sources ouvertes présentent cette entité comme une société israélo-singapourienne spécialisée dans le renseignement commercial.
La mission principale de la plateforme consistait à surveiller l’activité des utilisateurs sur les réseaux sociaux. Elle repérait notamment leur localisation, les répartissait dans des catégories démographiques codées et produisait des briefings d’analyse en arabe.
Ces documents étaient rédigés en arabe formel et présentés comme des correspondances administratives officielles. Ils comprenaient également des évaluations de l’opinion, ventilées selon la nationalité des utilisateurs du Golfe, ainsi que des « contre-récits » recommandés pour chaque situation.
Anthropic estime que l’organisation cherchait probablement à développer plusieurs systèmes commercialisés sous des marques différentes et destinés à des clients arabophones de la région du Golfe.
Comment le système fonctionnait-il ?
D’après le rapport, l’opérateur soumettait environ 25 publications à Claude à chaque session. Le modèle devait ensuite déterminer la catégorie à laquelle appartenait l’auteur, sa zone de résidence et ses éventuelles orientations politiques, tout en attribuant un niveau de confiance à chaque conclusion.
Les utilisateurs étaient répartis en six catégories principales :
-
les populations urbaines ;
-
les groupes religieux ;
-
les milieux militaires ;
-
les jeunes ;
-
les populations migrantes ;
-
les habitants des zones rurales.
Le système classait ensuite les personnes comme favorables ou opposées au gouvernement.
Le modèle était également utilisé pour rédiger des publications au nom de personnages fictifs en persan, en arabe, en anglais et en allemand. Certaines publications semblaient favorables au régime iranien, tandis que d’autres adoptaient une position hostile à son égard. L’opération pouvait ainsi alimenter simultanément les deux camps d’un même conflit.
Plus de 255 comptes fictifs
Le rapport fait aussi état d’un second volet consacré à la création de plus de 255 comptes fictifs sur les réseaux sociaux. Pour Anthropic, cela laisse penser que l’opérateur constituait une réserve de comptes destinés à utiliser ultérieurement.
Ces comptes étaient répartis en plusieurs profils. L’un d’eux était décrit comme celui d’un « Saoudien ou ressortissant du Golfe à caractère confessionnel ». Un autre se présentait comme celui de « résidents aux Émirats » usurpant l’identité de travailleurs étrangers.
L’opération comprenait également des listes de hashtags prêtes à l’emploi. Certaines étaient associées à un profil confessionnel émirati ou du Golfe, tandis que d’autres correspondaient à un discours hostile à l’Iran et marqué par une sensibilité saoudienne, notamment sur la présence militaire américaine dans la région.
Cette partie de l’opération concernait donc la création de personnages artificiels destinés au contexte saoudien et régional. Le rapport ne fournit toutefois aucun élément indiquant que de véritables utilisateurs saoudiens auraient été surveillés ou intégrés à l’analyse.
Des similitudes avec une enquête précédente
Anthropic affirme que les éléments observés rejoignent les conclusions d’une enquête publiée en février 2023 par le réseau Forbidden Stories. Cette enquête avait documenté un produit de surveillance attribué à la même société, présenté dans une brochure commerciale retrouvée parmi des documents militaires colombiens ayant fait l’objet d’une fuite.
Les capacités décrites à l’époque correspondraient largement à celles identifiées dans la nouvelle opération. Le service aurait notamment permis de créer de faux comptes afin d’infiltrer des groupes privés sur WhatsApp et Telegram, d’en recueillir les listes de membres, puis de recourir à l’hameçonnage et au piratage d’appareils.
Anthropic estime que les contenus générés par Claude auraient pu servir à rendre les faux comptes plus crédibles et à gagner la confiance de leurs cibles. L’entreprise précise toutefois qu’elle n’a pas été en mesure de vérifier de manière indépendante les étapes ultérieures de l’opération.
Une opération interrompue au stade expérimental
Anthropic a indiqué que cette activité violait ses règles d’utilisation. Celles-ci interdisent notamment la surveillance et l’établissement de profils sur des militants, des journalistes ou des opposants, ainsi que les comportements coordonnés et inauthentiques.
La société affirme avoir détecté l’opération au stade expérimental et n’avoir trouvé aucune preuve. En démontrant que les dernières étapes de la chaîne de surveillance utilisées contre de véritables cibles avant la suspension du compte.
Elle a également déclaré avoir partagé les indicateurs techniques recueillis avec des organismes qui suivent les activités des entreprises proposant des services de « spyware as a service », ou d’espionnage à la demande.
Un nouvel avertissement sur l’usage de l’IA
Cette affaire illustre la manière dont les outils d’intelligence artificielle peuvent détournés pour automatiser la surveillance, créer des identités fictives et produire des contenus adaptés à différents environnements linguistiques et politiques.
Tout en soulignant avoir interrompu l’opération, Anthropic rappelle que l’utilisation de modèles d’IA dans des campagnes de profilage et d’influence représente un risque important pour la vie privée, la fiabilité de l’information et la sécurité des utilisateurs des réseaux sociaux.
Sujets connexes :
Claude ajoute une empreinte invisible pour identifier les contenus générés par l’IA
Le dilemme «Claude» : L’IA alimente-t-elle une cyberattaques ?
