Vue lecture

Comment l’IA générative remodèle le paysage des cybermenaces

L’IA générative ne crée pas de nouvelles formes d’attaques, elle les industrialise. C’est l’un des constats majeur de l’édition 2025 du   » Panorame de la cybermenace »  de l’ANSSI.

L’agence identifie plusieurs effets directs. D’abord, une hausse de la qualité des leurres utilisés dans les campagnes d’hameçonnage.

Les erreurs grammaticales et stylistiques qui permettaient auparavant à un utilisateur averti de repérer un e-mail malveillant tendent à disparaître. L’IA aide à produire des contenus plus convaincants, en plus grand nombre, avec une diversité accrue et  à moindre coût.

L’ANSSI note également une réduction du coût de maintien des infrastructures d’attaque, ce qui abaisse la barrière d’entrée pour des acteurs moins sophistiqués.

Des sites malveillants indétectables à l’œil nu

L’un des signaux les plus concrets relevés par l’agence concerne la création de sites web à l’apparence légitime, entièrement générés par des systèmes d’IA.

Ces sites servent à héberger des charges malveillantes ou à effectuer ce que l’ANSSI appelle de la caractérisation, autrement dit, le profilage technique des visiteurs avant de les compromettre.

Comment les équipes de l’agence ont-elles détecté la nature artificielle de ces sites ? Par une anomalie révélatrice : l’insertion de textes incohérents au beau milieu de paragraphes, sans lien logique avec le reste du contenu. Un signe subtil, qui confirme que la vigilance humaine reste, pour l’instant, un maillon essentiel de la détection.

Le cercle vicieux de la pollution des données d’entraînement

L’IA générative ne se retourne pas seulement contre les utilisateurs finaux, elle menace aussi l’intégrité des modèles eux-mêmes.

L’ANSSI identifie ici un risque systémique : la multiplication de contenus fallacieux sur Internet finit par contaminer les jeux de données utilisés pour entraîner les futurs modèles.

Le mécanisme est simple. Les grands modèles de langage apprennent à partir des données disponibles sur le web. Si ces données sont massivement polluées par des contenus artificiels et erronés  produits par d’autres IA, dans un but malveillant ou non, les modèles de nouvelle génération intègreront ces biais et inexactitudes dans leurs réponses.

Selon l’agence nationale, des acteurs malveillants exploitent délibérément ce vecteur : en inondant le web de contenus fabriqués, ils cherchent à altérer le comportement des services d’IA pour fausser leurs résultats. Les services d’IA générative sont ainsi devenus des cibles prioritaires à part entière.

L’IA dans les entreprises : une surface d’attaque qui s’élargit

L’intégration croissante de l’IA dans les flux opérationnels des entreprises entraîne mécaniquement un élargissement de leur surface d’attaque et les conséquences d’une compromission peuvent être sévères.

L’agence en identifie plusieurs catégories :

Confidentialité et intégrité des données. Un système d’IA compromis peut servir de point d’entrée vers le reste du système d’information, avec des risques d’exfiltration de données sensibles ou d’atteinte à l’intégrité des SI connectés.

La chaîne d’approvisionnement logicielle. C’est peut-être le risque le plus structurel identifié par l’ANSSI : la compromission d’un système d’IA spécialisé dans la génération de code pourrait introduire des vulnérabilités ou des portes dérobées dans le code produit, à l’insu total des équipes de développement. Une nouvelle forme d’attaque supply chain, silencieuse et difficile à détecter.

Les risques réputationnels et économiques. Toute fuite de données liée à un système d’IA fait peser un risque sur la confiance des clients, avec des implications potentiellement existentielles pour certaines organisations.

Les recommandations de l’ANSSI : cloisonner, surveiller, auditer

Pour répondre à ces risques, l’ANSSI a publié un guide dédié à la sécurisation des solutions d’IA générative basées sur des LLM.

Les grandes lignes sont les suivantes.

> Cloisonnement. C’est le principe central. L’agence recommande une isolation physique ou fonctionnelle des systèmes d’IA pour éviter qu’une compromission ne se propage. Pour les logiciels dont la conception n’est pas totalement maîtrisée par l’organisation, la recommandation est claire : les déployer sur un poste isolé et dédié.

> Surveillance des flux. Le cloisonnement seul ne suffit pas. Une surveillance active des échanges d’informations des composants d’IA est nécessaire pour détecter toute anomalie comportementale.

> Audits larges. L’ANSSI déconseille les audits à périmètre restreint, qui peuvent laisser dans l’ombre des chemins de compromission entre l’environnement IA et le SI bureautique.

> Ne pas tout miser sur les outils. L’agence pointe une limite importante : une stratégie de sécurité qui repose exclusivement sur des produits — EDR, MFA — est insuffisante. Les attaquants apprennent à contourner ces outils, ou à s’injecter directement dans les sessions utilisateurs légitimes.

> Préparer la gestion de crise. En cas d’incident, la priorité doit être l’isolation immédiate des systèmes compromis, combinée à la révocation des accès de l’attaquant. Cette séquence doit être anticipée dans les plans de continuité (PCA) et de reprise d’activité (PRA).

L’évolution rapide des usages de l’IA impose, selon l’ANSSI, une réévaluation régulière de la menace. Une mise en garde qui s’adresse autant aux RSSI qu’aux directions générales : l’IA n’est plus seulement un outil de productivité, c’est désormais un vecteur de risque à part entière, qui exige une gouvernance de sécurité adaptée.

Photo : © ANSSI 

The post Comment l’IA générative remodèle le paysage des cybermenaces appeared first on Silicon.fr.

  •  

Cybermenaces 2025 : l’ANSSI pointe la reconfiguration des attaques d’Etats

L’ANSSI ne minimise pas le tableau. Si le nombre de cas de rançongiciels est en légère baisse – 128 incidents traités en 2025 contre 141 l’année précédente –  l’agence nationale se garde bien d’y voir un signe d’accalmie.

La menace se reconfigure plutôt qu’elle ne recule : on observe une montée en puissance des exfiltrations de données sans chiffrement, exploitées à des fins de chantage ou revendues sur les marchés clandestins. La pression sur les victimes reste donc entière, même sans blocage des systèmes.

L’édition 2025 de son  » Panorame de la cybermenace  » confirme une tendance lourde : des acteurs étatiques, notamment nord-coréens et chinois, s’emparent désormais d’outils cybercriminels à des fins purement lucratives. La dichotomie traditionnelle entre espionnage d’État et cybercriminalité organisée s’efface, rendant l’attribution des attaques et la réponse institutionnelle bien plus complexes.

Espionnage, sabotage : les États toujours à la manœuvre

Du côté de l’espionnage stratégique, les groupes réputés liés à la Russie -Callisto, Laundry Bear – et à la Chine – Salt Typhoon, APT31 – maintiennent un effort soutenu pour compromettre les réseaux diplomatiques et les infrastructures critiques dans les secteurs des télécommunications et de l’énergie. Une activité de fond, discrète mais persistante, qui vise le long terme.

Le sabotage, lui, prend des formes plus visibles. Fin 2025, des opérations coordonnées ont ciblé les infrastructures électriques polonaises. Des groupes hacktivistes s’en prennent par ailleurs à de petites installations industrielles ( énergies renouvelables, réseaux d’eau ) pour des actions à fort retentissement médiatique. L’objectif n’est plus seulement de paralyser, mais aussi de créer un effet de sidération dans l’opinion publique.

L’arsenal technique se diversifie et s’industrialise

Sur le plan tactique, l’année 2025 confirme plusieurs évolutions structurelles. Les attaquants s’appuient de plus en plus sur des outils légitimes pour brouiller les pistes : logiciels d’accès à distance comme AnyDesk ou TeamViewer, services de stockage cloud tels que Google Drive ou MEGA. En se fondant dans le trafic normal des entreprises, ils compliquent considérablement la détection.

L’intelligence artificielle générative s’impose comme un accélérateur de menace. Elle améliore la qualité et la crédibilité des tentatives d’hameçonnage, permet de générer à grande échelle des sites malveillants à l’apparence légitime, et s’insère progressivement dans les flux opérationnels des organisations pour en exploiter les failles.

L’ingénierie sociale, de son côté, se raffine. Le SIM-Swapping, le MFA Fatigue – technique consistant à saturer un utilisateur de demandes d’authentification jusqu’à ce qu’il valide par lassitude – ou encore la méthode dite « Clickfix », qui pousse la victime à exécuter elle-même une commande malveillante, sont en forte recrudescence.

Ces méthodes misent sur la faillibilité humaine plutôt que sur des vulnérabilités techniques, ce qui les rend particulièrement difficiles à contrer par des outils seuls.

La surface d’attaque s’élargit : bordure, cloud, mobile

Les équipements de bordure – pare-feu, VPN, proxys – restent des portes d’entrée privilégiées. En 2025, des vulnérabilités affectant des solutions majeures comme Ivanti, Fortinet, Citrix ou Microsoft SharePoint ont été massivement exploitées. Ces points névralgiques, exposés directement sur Internet, constituent une cible de choix pour les attaquants cherchant un accès initial discret.

La chaîne d’approvisionnement numérique est également dans le viseur : compromettre un prestataire de services ou un hébergeur cloud permet d’atteindre simultanément un grand nombre de clients finaux.

De nombreux incidents ont ainsi concerné en 2025 le chiffrement de ressources hébergées dans le cloud, illustrant la vulnérabilité des environnements mutualisés.

Enfin, les terminaux mobiles ne sont pas épargnés. Les logiciels espions de type Pegasus ou Triangulation, exploitant des failles « zéro-clic » dans des applications populaires comme WhatsApp, continuent de cibler aussi bien les appareils personnels que professionnels.

Les 4 secteurs les plus exposés

L’éducation et la recherche arrivent en tête des secteurs victimes avec 34 % des incidents traités, devant les ministères et collectivités territoriales (24 %), la santé (10 %) et les télécommunications (9 %). Des secteurs souvent caractérisés par des ressources en cybersécurité limitées, des systèmes d’information hétérogènes et une forte exposition aux données sensibles.

Photo : © DR ANSSI

The post Cybermenaces 2025 : l’ANSSI pointe la reconfiguration des attaques d’Etats appeared first on Silicon.fr.

  •  

Revue de presse de l’April pour la semaine 7 de l’année 2026

[Alliancy] La CAIH dévoile un plan stratégique et lance un programme open source pour réduire la dépendance numérique des hôpitaux

✍ Tiago Gil, le jeudi 12 février 2026.

La centrale d’achat informatique hospitalière (CAIH) engage une nouvelle feuille de route sur cinq ans et initie le programme Alternative, destiné à bâtir un socle numérique souverain pour les systèmes d’information de santé.

[LeMagIT] L’Anssi réaffirme son engagement en faveur du logiciel libre (€)

✍ Valéry Rieß-Marchive, le mercredi 11 février 2026.

L’Agence nationale de la sécurité des systèmes d’information vient de réitérer son engagement en faveur du logiciel libre. Dans la continuité d’une politique établie et confortée de longue date.

Et aussi:

[Républik IT] Les candidats aux Municipales vont-ils adopter le Logiciel Libre?

✍ Bertrand Lemaire, le mercredi 11 février 2026.

L’APRIL relance son initiative «Pacte du Logiciel Libre» à l’occasion du prochain scrutin municipal.

Et aussi:

Voir aussi:

[ZDNET] LibreOffice dénonce le format OOXML

Le mercredi 11 février 2026.

The Document Foundation (TDF) intensifie sa critique contre Microsoft, accusant le géant américain de privilégier ses intérêts commerciaux au détriment de l’interopérabilité.

[Les Numeriques] “Le vibe coding tue l'open-source”: quand l'IA dévore ce qui la nourrit, les économistes sonnent l'alerte

✍ Aymeric Geoffre-Rouland, le lundi 9 février 2026.

Quand un développeur demande à Claude ou ChatGPT d’écrire du code, l’IA pioche dans des milliers de bibliothèques libres sans que l’humain ne lise jamais leur documentation. Résultat: les mainteneurs de ces projets open-source, qui vivent de la visibilité générée par les visites et les interactions, voient leur audience s’effondrer. Une étude économique chiffre ce paradoxe: l’IA qui accélère le développement logiciel asphyxie l’écosystème qui le rend possible.

Commentaires : voir le flux Atom ouvrir dans le navigateur

  •  

L’ANSSI affirme l’open source comme levier de sa politique industrielle

Sur le GitHub de l’ANSSI, les projets seront bientôt classés par « niveau d’ouverture ».

L’agence le signale désormais sur la page qui présente sa politique open source. Elle utilisera la classification qu’a élaborée la DINUM :

  • Contributif (contributions extérieures activement recherchées et traitées)
  • Ouvert (contributions extérieures traitées mais non activement recherchées)
  • Publié (contributions extérieures non traitées)

Autre nouveauté sur la page en question : l’évocation de l’open source en tant que levier d’action de la politique industrielle de l’ANSSI. Par ce lien « récent et en développement », l’agence cherche à favoriser la disponibilité de solutions cyber alignées sur les besoins.

Par rapport à l’ancienne version de la page, l’aspect « liste de projets » est moins marqué. L’ANSSI insiste davantage sur les licences, le transfert de projets et sur sa propre utilisation de solutions open source. Elle a ajouté des références à la communauté BlueHats ainsi qu’à celle des OSPO français.

Une partie des projets auparavant mentionnés se retrouvent sur la page d’accueil de l’organisation GitHub ANSSI-FR. Entre autres, DFIR ORC (outils de recherche de compromission), WooKey (micronoyau + environnement de dev pour le prototypage de solutions IoT) et CLIP OS (système d’exploitation Linux durci). Le premier est d’une envergure suffisante pour avoir sa propre orga GitHub. Les deux autres ont aussi la leur, mais parce qu’ils sont archivés.

Audit CSPN réussi pour Barbican, Suricata et KeePassXC

L’ANSSI évoque toujours son financement d’évaluations de sécurité, ad hoc ou sur les critères CSPN.

En 2018 avait démarré l’évaluation CSPN de Barbican (service de gestion de clés de la pile OpenStack), finalement certifié. La même année avait commencé celle de Suricata (détection et prévention d’intrusion), qui avait lui aussi réussi l’audit.

S2OPC (implémentation du protocole de communication OPC UA), nftables (sous-système Linux de filtrage de paquets) et KeePassXC (gestionnaire de mots de passe) ont également obtenu la CSPN.

Par deux fois, la version « originale » de KeePass (pour Windows) n’a pas réussi l’audit CSPN. Ça n’est pas non plus passé pour Keystone et Ansible (en 2018), strongSWAN (2019), Secretin, Belenios et Sudo (2021), ainsi que WireGuard (2023).

Les derniers audits ad hoc ont permis d’identifier 4 vulnérabilités dans CAS, 1 dans step-ca… et aucune dans HAProxy.

Illustration générée par IA

The post L’ANSSI affirme l’open source comme levier de sa politique industrielle appeared first on Silicon.fr.

  •  

L’ANSSI révise sa doctrine vis-à-vis du logiciel libre

L’ANSSI (Agence nationale de la sécurité des systèmes d’information) vient de publier une mise à jour substantielle de sa doctrine vis-à-vis du logiciel libre. L’agence confirme que le logiciel libre et la transparence sont essentiels à la sécurité des systèmes d’information. Elle assume sa contribution au libre et la publication de logiciels sous licence libre.

Cette posture très favorable au logiciel libre et open source est une belle avancée et un signal fort. Jusque-là, la posture de l’ANSSI était beaucoup plus floue et sa contribution à des projets libres et open source pouvait même apparaitre en contradiction avec sa doctrine. J’avais l’impression que les collaborateurs de l’ANSSI qui le faisaient reprenaient à leur compte le dicton « Pour vivre heureux, vivons cachés ».

La politique de l’agence est désormais claire : l’ANSSI contribue, l’ANSSI publie, l’ANSSI a une stratégie pragmatique qui peut l’amener à s’engager ou non sur le long terme en fonction de la finalité de l’outil et des motivations de l’ANSSI.

Détail qui a son importance, l’ANSSI indique privilégier, sauf exception justifiée, la licence Apache v2.0 pour les projets qu’elle publie. Je suis ravi de voir ce service privilégier une licence mondialement connue à une licence franco-française ou européenne (elles ont le don de doucher nombre de velléités d’utilisation et de contribution).

Commentaires : voir le flux Atom ouvrir dans le navigateur

  •  

IA générative : la nouvelle arme cyber qui inquiète l’ANSSI

L’intelligence artificielle générative n’est pas seulement un outil de productivité pour les entreprises. Selon une étude publiée par l’ANSSI, elle est une arme supplémentaire dans l’arsenal des cybercriminels et des groupes d’espionnage étatiques.

L’agence nationale de la sécurité des systèmes d’information  s’est penchée exclusivement sur les intelligences artificielles génératives. Parmi eux, les fameux grands modèles de langage (LLM) incarnent ce qu’on appelle l’usage dual de l’IA : un même outil peut servir à défendre comme à attaquer.

Certes, l’ANSSI n’a pas encore identifié de cyberattaque totalement autonome pilotée par une IA contre des cibles françaises. Mais l’agence le dit clairement : l’IA permet déjà aux attaquants d’améliorer « significativement le niveau, la quantité, la diversité et l’efficacité » de leurs opérations, surtout contre les systèmes mal protégés.  Les modèles sont désormais utilisés tout au long de la chaîne d’attaque, de la reconnaissance initiale jusqu’à l’exploitation finale des données volées.

Des faux profils générés en masse

Les opérateurs de modes opératoires d’attaque (MOA) réputés liés à l’Iran auraient utilisé l’IA générative Gemini de Google à des fins de reconnaissance contre des experts et organisations d’intérêt. En 2024, les opérateurs du MOA Charcoal Typhoon, réputé lié à la Chine, auraient quant à eux utilisé des services d’IA générative pour générer du contenu d’hameçonnage, ciblant notamment Taïwan, la Thaïlande, la Mongolie, le Népal et la France.

Entre 2024 et 2025, les opérateurs du MOA Lazarus, réputé lié à la Corée du Nord, auraient également eu recours à l’IA générative pour créer de faux profils d’entreprises et d’employés sur les réseaux sociaux. L’ANSSI a par ailleurs observé plusieurs sites Internet apparemment générés par IA, servant à héberger des charges malveillantes ou à effectuer de la caractérisation, c’est-à-dire du profiling des internautes. De nombreux cybercriminels exploitent également des services de deepfakes pour quelques dizaines de dollars à des fins d’usurpation d’identités.

Malwares « intelligents »

En 2024, le MOA TA547 aurait utilisé un script PowerShell généré par un LLM pour compromettre une entreprise allemande. Des chercheurs de l’université de New York ont par ailleurs développé PromptLock, un prototype de rançongiciel utilisant dynamiquement des prompts pour générer des scripts à l’exécution, permettant d’exfiltrer et de chiffrer les données.

Google a également identifié Promptflux, un code malveillant polymorphique particulièrement sophistiqué qui prompte l’API Gemini pour réécrire entièrement son code source toutes les heures afin d’éviter la détection. Le développement de tels codes suggère cependant des capacités relativement sophistiquées de la part des développeurs.

En février 2025, le département de cyberdéfense ukrainien a affirmé que des opérateurs russes auraient utilisé des services d’IA générative pour analyser massivement les données exfiltrées de leurs victimes et identifier les informations d’intérêt.

L’IA n’est pas encore autonome… mais ça progresse vite

L’utilisation de l’IA générative pour certaines étapes complexes de la chaîne d’infection, comme la recherche de vulnérabilités, reste limitée. Pour l’instant. L’identification d’une faille de sécurité et le développement de la preuve de concept associée dépendent encore largement de compétences humaines. La plupart des systèmes d’IA générative commerciaux restent trop instables et trop limités pour identifier des vulnérabilités jour-zéro rapidement et en quantité. À l’heure actuelle, aucun cas avéré d’exploitation de vulnérabilité jour-zéro découverte grâce à un modèle d’IA générative n’a été documenté.

Mais les choses bougent très vite. En novembre 2024, le système BigSleep a démontré son efficacité pour la recherche de vulnérabilités dans des codes sources. Plus inquiétant encore, en juin 2025, le système XBOW, développé par d’anciens ingénieurs de GitHub, a soumis des centaines de vulnérabilités, dont certaines critiques, sur différents programmes de bug bounty, après avoir scanné simultanément des milliers d’applications web. La course est lancée.

42 groupes de hackers d’État utilisent déjà l’IA

Un large spectre d’acteurs offensifs utilise désormais les services d’IA générative. En janvier 2025, Google révélait que son modèle Gemini avait été utilisé entre 2023 et 2024 par des groupes cybercriminels ainsi que par au moins 10 modes opératoires d’attaque liés à l’Iran, 20 liés à la Chine, 9 liés à la Corée du Nord et 3 liés à la Russie.

L’utilisation de ces technologies varie considérablement selon les objectifs et le niveau de maturité des acteurs. Pour les groupes les plus sophistiqués, l’IA générative devient un nouveau cadre pratique, similaire à l’utilisation d’outils malveillants génériques comme Cobalt Strike ou Metasploit. Elle leur permet notamment de générer du contenu en masse dans plusieurs langues, de développer du code non signant, d’effectuer des recherches sur des cibles plus rapidement, et potentiellement d’automatiser complètement une chaîne d’attaque à court ou moyen terme.

Pour les hackers moins expérimentés, l’IA générative constitue avant tout un formidable outil d’apprentissage et offre un gain de productivité en répondant à des questions techniques. Dans tous les cas, le verdict est sans appel : l’IA générative permet aux acteurs malveillants d’agir plus rapidement et à plus grande échelle.

WormGPT et FraudGPT

Les modèles d’IA générative comme ChatGPT disposent de garde-fous techniques empêchant leur utilisation à des fins illégales. Les acteurs malveillants cherchent néanmoins à contourner ces limitations par des méthodes d’ingénierie de prompt incluant des formulations ambiguës, des mots-clés spécifiques ou l’utilisation de scénarios fictifs. Ces techniques évoluent constamment et constituent un défi majeur pour les développeurs.

Le « jailbreak » : contourner les barrières morales de l’IA

Dès 2023, des chercheurs en sécurité parvenaient déjà à détourner ChatGPT pour développer un code malveillant polymorphique. En 2024, la situation s’est aggravée avec l’apparition de services de jailbreak-as-a-service comme EscapeGPT ou LoopGPT sur les forums cybercriminels. Moyennant quelques dollars, n’importe qui peut désormais accéder à des prompts préfabriqués pour faire cracher à ChatGPT ce qu’il refuse normalement de produire.

Les IA « débridées » du crime organisé

Mais pourquoi se fatiguer à contourner les protections quand on peut acheter une IA sans aucune limite ? Dès 2023, des services d’IA générative sans garde-fous tels que WormGPT, FraudGPT ou EvilGPT ont fleuri sur les forums cybercriminels ou via des canaux Telegram. Le prix du ticket : environ une centaine de dollars par mois. Des modèles plus récents comme WormGPT 4 seraient même directement entraînés sur des jeux de données spécifiques aux activités cybercriminelles, incluant du code malveillant et des modèles d’hameçonnage. L’industrialisation du crime numérique est en marche.

Quand l’IA devient elle-même la cible : les nouvelles vulnérabilités

Les catégories d’acteurs malveillants susceptibles de cibler spécifiquement les systèmes d’IA semblent similaires à celles qui s’attaquent aux systèmes d’information conventionnels. Mais les systèmes de LLM pourraient être vulnérables à de nouveaux vecteurs d’attaque inédits.

Lors de l’entraînement du modèle, des attaquants peuvent introduire des données corrompues ou fausses. Lors de l’intégration du modèle, il est possible d’y implémenter des portes dérobées. Enfin, lors de l’interrogation du modèle, également appelée inférence, des acteurs malveillants peuvent injecter de fausses informations pour altérer la réponse ou récupérer des informations confidentielles.

« Empoisonnement » des modèles : 250 documents suffisent pour corrompre une IA

Bien qu’aucun incident majeur n’ait été porté à la connaissance de l’ANSSI, le risque est réel et documenté. Des acteurs malveillants pourraient manipuler, modifier et interagir avec les données d’entraînement d’une IA générative. Une telle compromission pourrait mener à l’utilisation de ces modèles à des fins d’altération de données ou au sabotage de systèmes opérationnels.

Le plus inquiétant ? La multiplication de contenus fallacieux générés par IA sur Internet pourrait progressivement polluer les données d’entraînement des modèles et contribuer à diffuser de fausses informations à grande échelle. Une analyse conjointe du UK AI Security Institute et du Alan Turing Institute a d’ailleurs démontré une faille vertigineuse : il serait possible d’empoisonner des modèles d’IA générative à partir de seulement 250 documents malveillants. Pire encore, ce nombre resterait stable indépendamment de la taille des données d’apprentissage du modèle. Autrement dit, corrompre GPT-4 ou GPT-5 nécessiterait le même effort.

L’ANSSI a également observé certains modèles d’IA intégrant dès leur conception des limitations ou des éléments de censure. Dans le cadre du sommet pour l’IA 2024, Viginum a par ailleurs publié un rapport sur les défis et opportunités de l’IA dans la lutte contre les manipulations de l’information.

Attaques par la chaîne d’approvisionnement : le cheval de Troie version IA

Certaines attaques à l’encontre de modèles d’IA pourraient constituer une nouvelle forme redoutable d’attaque par chaîne d’approvisionnement. Des modèles d’IA générative disponibles en sources ouvertes et spécialisés dans la génération de code peuvent être malveillants ou compromis dès le départ, et exécuter du code arbitraire pour installer une porte dérobée dès leur téléchargement. Un piège parfait pour les développeurs pressés.

Les attaquants peuvent également exploiter des failles au sein d’agents Model Context Protocol (MCP), utilisés pour connecter les LLM à des outils externes et à des sources de données. Ces serveurs, qu’ils fonctionnent en local ou à distance, peuvent étendre dangereusement la surface d’attaque s’ils ne sont pas suffisamment sécurisés.

Pratique émergente et particulièrement sournoise, le slopsquatting, consiste à récupérer des noms de paquets imaginés par des IA lors d’hallucinations, puis à en diffuser des versions malveillantes. Les attaquants exploitent ainsi les erreurs de l’IA pour introduire des paquets malveillants dans la chaîne d’approvisionnement logicielle. Quand l’IA se trompe, les hackers en profitent.

100 000 comptes ChatGPT piratés

Les systèmes d’IA participent à l’augmentation de la surface d’attaque, d’autant plus lorsqu’ils sont intégrés dans des contextes logiciels plus larges, déployés dans des environnements classifiés ou utilisés dans certains flux opérationnels de l’entreprise. En l’absence d’un cloisonnement rigoureux physique et des usages, la compromission du système d’IA pourrait mener à l’atteinte à la confidentialité des données qu’il traite et à l’atteinte à l’intégrité des systèmes d’information auxquels il est connecté.

L’utilisation de comptes d’IA par les salariés dans un contexte professionnel peut exposer des informations sensibles à des risques considérables. Entre 2022 et 2023, plus de 100 000 comptes utilisateurs de ChatGPT ont été compromis par des acteurs cybercriminels à l’aide d’infostealers comme Rhadamanthys, puis revendus sur des forums.

Les employés peuvent involontairement générer des fuites de données en fournissant à l’IA des informations sensibles, voire confidentielles. L’exemple le plus emblématique ? En juin 2023, des salariés de Samsung ont divulgué des informations sensibles sur la technologie des semi-conducteurs en utilisant ChatGPT. L’enfer est pavé de bonnes intentions… et de prompts mal réfléchis.

The post IA générative : la nouvelle arme cyber qui inquiète l’ANSSI appeared first on Silicon.fr.

  •  
❌