17.10.2024

Le Pentagone veut utiliser l'IA pour créer de faux internautes

Le ministère de la défense veut se doter d'une technologie qui lui permette de créer des personnages en ligne impossibles à distinguer des personnes réelles.

Le commandement secret des opérations spéciales des États-Unis recherche des entreprises pour l'aider à créer de faux internautes si convaincants que ni les humains ni les ordinateurs ne pourront les détecter, selon un document d'appel d'offres examiné par The Intercept.

Le plan, mentionné dans une nouvelle liste de 76 pages de souhaits du Commandement des opérations spéciales conjointes (JSOC) du ministère de la défense, décrit les technologies avancées souhaitées pour les efforts militaires clandestins les plus élitaires du pays. "Les forces d'opérations spéciales (SOF) sont intéressées par les technologies qui peuvent générer des personnalités en ligne convaincantes à utiliser sur les plateformes de médias sociaux, les sites de réseautage social et d'autres contenus en ligne", peut-on lire dans le document.

Le document précise que le JSOC souhaite pouvoir créer des profils d'utilisateurs en ligne qui "semblent être un individu unique, reconnaissable comme humain, mais qui n'existe pas dans le monde réel", avec pour chacun d'eux des "expressions multiples" et des "photos de qualité d'identification gouvernementale".

Outre les images fixes de personnes fictives, le document précise que "la solution doit inclure des images faciales et d'arrière-plan, des vidéos faciales et d'arrière-plan, ainsi que des couches audio", et le JSOC espère pouvoir générer des "vidéos de selfie" à partir de ces personnes fabriquées de toutes pièces. Ces vidéos ne comporteront pas que de fausses personnes : Chaque deepfake selfie sera accompagné d'un arrière-plan simulé correspondant, "afin de créer un environnement virtuel indétectable par les algorithmes des médias sociaux".

Ces dernières années, le Pentagone a déjà été pris en flagrant délit d'utilisation de faux utilisateurs de médias sociaux pour servir ses intérêts. En 2022, Meta et Twitter ont supprimé un réseau de propagande utilisant de faux comptes gérés par l'U.S. Central Command, dont certains avec des photos de profil générées avec des méthodes similaires à celles décrites par le JSOC. En 2024, une enquête de Reuters a révélé une campagne du Commandement des opérations spéciales utilisant de faux utilisateurs de médias sociaux et visant à saper la confiance des étrangers dans le vaccin Covid de la Chine.

L'année dernière, le commandement des opérations spéciales, ou SOCOM, a exprimé son intérêt pour l'utilisation de vidéos "deepfakes", un terme général désignant des données audiovisuelles synthétisées censées être impossibles à distinguer d'un enregistrement authentique, dans le cadre d'"opérations d'influence, de déception numérique, de perturbation de la communication et de campagnes de désinformation".

Ces images sont générées à l'aide de diverses techniques d'apprentissage automatique, généralement à l'aide de logiciels qui ont été "entraînés" à reconnaître et à recréer des caractéristiques humaines en analysant une base de données massive de visages et de corps. La liste de souhaits du SOCOM de cette année indique un intérêt pour un logiciel similaire à StyleGAN, un outil publié par Nvidia en 2019 qui a alimenté le site Web mondialement populaire "Cette personne n'existe pas". Moins d'un an après le lancement de StyleGAN, Facebook a déclaré avoir supprimé un réseau de comptes qui utilisaient la technologie pour créer de fausses photos de profil.

Depuis lors, les chercheurs du secteur universitaire et du secteur privé se sont engagés dans une course entre de nouveaux moyens de créer des deepfakes indétectables et de nouveaux moyens de les détecter. De nombreux services publics exigent désormais une détection de la vivacité pour déjouer les photos d'identité truquées, en demandant aux candidats humains de télécharger une vidéo selfie pour prouver qu'ils sont une personne réelle - un obstacle que le SOCOM pourrait être intéressé à déjouer.

La liste indique que les troupes d'opérations spéciales "utiliseront cette capacité pour recueillir des informations sur les forums publics en ligne", sans autre explication sur l'utilisation de ces utilisateurs artificiels de l'internet.

Cette liste plus détaillée montre que les États-Unis utilisent exactement les mêmes technologies et techniques que celles qu'ils condamnent lorsqu'elles sont utilisées par des ennemis géopolitiques. Les responsables de la sécurité nationale décrivent depuis longtemps l'utilisation de "deepfakes" soutenue par les États comme une menace urgente, à condition qu'elle soit le fait d'un autre pays.

En septembre dernier, une déclaration commune de la NSA, du FBI et de la CISA avertissait que "les médias synthétiques, tels que les "deepfakes", représentent un défi croissant pour tous les utilisateurs de la technologie et des communications modernes". La prolifération mondiale de la technologie des deepfakes y est décrite comme un "risque majeur" pour 2023. Dans une note d'information adressée aux journalistes cette année, les responsables du renseignement américain ont averti que la capacité des adversaires étrangers à diffuser des "contenus générés par l'IA" sans être détectés - exactement la capacité que le Pentagone recherche actuellement - représente un "accélérateur d'influence malveillante" de la part de pays comme la Russie, la Chine et l'Iran. Au début de l'année, la Defense Innovation Unit du Pentagone a sollicité l'aide du secteur privé pour lutter contre les "deepfakes" avec un air alarmiste : "Cette technologie est de plus en plus courante et crédible, ce qui représente une menace importante pour le ministère de la défense, d'autant plus que les adversaires des États-Unis utilisent les deepfakes à des fins de tromperie, de fraude, de désinformation et d'autres activités malveillantes. Un document publié en avril par l'Institut d'études stratégiques de l'armée américaine fait état de préoccupations similaires : "Les experts s'attendent à ce que l'utilisation malveillante de l'IA, y compris la création de fausses vidéos pour semer la désinformation afin de polariser les sociétés et d'approfondir les griefs, se développe au cours de la prochaine décennie.

"Il n'y a pas d'autres cas d'utilisation légitime que la tromperie.

L'utilisation offensive de cette technologie par les États-Unis stimulerait naturellement sa prolifération et la normaliserait en tant qu'outil pour tous les gouvernements. "Ce qui est remarquable à propos de cette technologie, c'est qu'elle est purement trompeuse", a déclaré Heidy Khlaaf, responsable scientifique de l'IA à l'AI Now Institute. "Il n'y a pas d'autres utilisations légitimes que la tromperie, et il est inquiétant de voir l'armée américaine se lancer dans l'utilisation d'une technologie contre laquelle elle a elle-même mis en garde. Cela ne fera qu'encourager d'autres armées ou adversaires à faire de même, conduisant à une société où il est de plus en plus difficile d'établir la vérité de la fiction et brouillant la sphère géopolitique".

La Russie et la Chine ont été prises en flagrant délit d'utilisation de vidéos truquées et d'avatars d'utilisateurs dans le cadre de leurs efforts de propagande en ligne, ce qui a incité le département d'État à annoncer en janvier un "cadre de lutte contre la manipulation de l'information par des États étrangers". "La manipulation de l'information et l'ingérence étrangère constituent une menace pour la sécurité nationale des États-Unis, de leurs alliés et de leurs partenaires", indique un communiqué de presse du département d'État. "Les gouvernements autoritaires utilisent la manipulation de l'information pour déchirer le tissu des sociétés libres et démocratiques.

L'intérêt du SOCOM pour les "deepfakes" s'inscrit dans le cadre d'une tension fondamentale au sein du gouvernement américain, a déclaré Daniel Byman, professeur d'études de sécurité à l'université de Georgetown et membre du Conseil consultatif sur la sécurité internationale du département d'État. "Une grande partie du gouvernement américain a tout intérêt à ce que le public croie que le gouvernement diffuse systématiquement des informations véridiques (en toute connaissance de cause) et qu'il ne trompe pas délibérément les gens", explique-t-il, alors que d'autres branches sont chargées de la tromperie. "Il est donc légitime de craindre que les États-Unis soient perçus comme hypocrites", a ajouté M. Byman. "Je m'inquiète également de l'impact sur la confiance des citoyens dans le gouvernement : certains segments de la population américaine deviendront-ils plus méfiants à l'égard des informations émanant du gouvernement ?