Crucial ne vend plus qu'aux grandes entreprises, comprenez aux boites d'IA. Voilà qui va permettre aux autres de continuer à gonfler les prix.
Voir aussi https://www.minimachines.net/actu/ddrgate-marche-memoire-137926
La plupart des organisations ont découvert la GenAI ces dernières années. Dès lors, elles ont avancé vite, très vite. Les usages ont rapidement fleuri et les projets se sont empilés, mais un constat a fini par s’imposer dans les discussions entre équipes techniques : impossible d’ignorer plus longtemps les risques spécifiques liés aux grands modèles de langage.
Car c’est peu de dire que la sécurité des LLM a, dans un premier temps, été reléguée au second plan. L’arrivée de l’OWASP LLM Top 10 change cet état de fait en apportant un cadre clair pour identifier les vulnérabilités critiques observées dans les applications et comprendre comment les atténuer.
L’OWASP, pour Open Web Application Security Project, est une organisation internationale dédiée à la sécurité des logiciels. Le référentiel LLM top 10, recense les 10 principaux risques de sécurité liés spécifiquement aux modèles de langage (LLM) et aux applications qui les utilisent. Il donne enfin un vocabulaire commun aux développeurs, aux architectes et aux équipes sécurité. Sa vocation est simple : rendre les charges de travail IA plus sûres, en offrant des repères que les entreprises n’avaient pas jusqu’ici.
L’initiative a d’ailleurs pris de l’ampleur et s’inscrit désormais dans le GenAI Security Project, un effort mondial qui dépasse la seule liste des dix risques initiaux et fédère plusieurs travaux autour de la sécurité de l’IA générative.
Ce mouvement répond à une réalité vécue sur le terrain. Beaucoup d’équipes peinent encore à s’aligner au moment de déployer des technologies GenAI : responsabilités dispersées, rythmes différents et une question récurrente sur la manière d’aborder ce sujet émergent. L’OWASP arrive justement pour apporter cette cohérence, avec des contrôles compréhensibles et applicables dans des environnements où tout s’accélère.
Sa singularité tient aussi à sa place dans l’écosystème. Là où des cadres de classification des menaces comme MITRE ATT&CK et MITRE ATLAS décrivent surtout les tactiques et techniques d’attaque, l’OWASP LLM top 10 se concentre sur les risques spécifiques aux modèles génératifs. Il offre ainsi une grille de lecture complémentaire et nécessaire pour mieux structurer les priorités.
Si l’OWASP LLM Top 10 arrive à point nommé, c’est aussi parce que les environnements techniques qui portent la GenAI ont profondément changé.
Les organisations ne se contentent plus d’utiliser des services grand public. Elles déploient désormais leurs propres modèles, souvent au sein de plateformes cloud native pensées pour absorber des volumes variables et des charges de calcul élevées.
L’écosystème s’est transformé à grande vitesse, avec l’adoption de solutions comme Llama 2, Midjourney, ElevenLabs, ChatGPT ou encore Sysdig Sage dans des environnements Kubernetes taillés pour la scalabilité et l’orchestration.
Cette transition a un effet immédiat car elle élargit la surface d’attaque. Un modèle d’IA déployé dans un cluster Kubernetes n’a rien à voir avec une application traditionnelle exécutée on-premises. Les risques ne sont plus seulement liés aux données ou au comportement du modèle, mais à toute la chaîne qui l’entoure. Un conteneur mal configuré, un composant obsolète ou un accès mal maîtrisé peuvent suffire à exposer l’ensemble de l’infrastructure.
La complexité de ces environnements accentue un phénomène déjà bien visible : l’absence de repères communs pour comprendre ce qui relève d’un risque LLM, d’une mauvaise configuration Kubernetes ou d’un problème de chaîne d’approvisionnement logicielle.
Dans un tel contexte, la seule intuition ne suffit plus. Les équipes doivent composer avec des technologies qui évoluent plus vite que les pratiques internes, tout en tenant compte d’un paysage réglementaire qui se densifie, notamment avec l’entrée en vigueur de l’AI Act en Europe en 2025.
C’est précisément cette convergence, qui englobe nouveaux usages, infrastructures distribuées et pression réglementaire, qui rend indispensable une approche structurée de la sécurité GenAI. Et c’est là que l’OWASP pose les premières briques d’une méthodologie enfin partagée.
Face à ces environnements qui se complexifient, l’adage à retenir est que l’on ne protège correctement que ce qu’on voit réellement. Or, la majorité des organisations manquent encore d’un inventaire fiable de leurs actifs IA, qu’il s’agisse de modèles internes ou de solutions tierces intégrées rapidement. L’OWASP rappelle d’ailleurs que cette visibilité constitue la première étape d’une sécurité GenAI solide.
C’est là que certaines approches prennent tout leur sens, comme l’identification automatique des endroits où les paquets IA s’exécutent, en reliant ces informations aux événements d’exécution (runtime), aux vulnérabilités et aux mauvaises configurations. L’objectif est simple : faire émerger les risques réels, là où ils apparaissent.
La visibilité passe aussi par la SBOM (Software Bill of Materials). En y intégrant les composants d’IA, les équipes disposent d’une liste complète de tous les éléments qui composent leurs charges de travail GenAI. Ce recensement permet ensuite de prioriser les charges de travail selon leur niveau de risque.
Enfin, pour structurer cette démarche, les organisations peuvent s’appuyer sur des rapports OWASP Top 10 préconfigurés et sur l’alignement avec MITRE ATLAS, qui éclaire la manière dont les modèles peuvent être ciblés selon des tactiques d’attaque documentées.
En réunissant ces briques (inventaire, SBOM et visibilité sur l’exécution au runtime) les équipes disposent non seulement d’informations, mais d’une lecture hiérarchisée et exploitable de leurs risques GenAI. C’est cette capacité à voir, comprendre et prioriser qui transforme enfin la sécurité de l’IA en pratique opérationnelle.
Philippe Darley est expert sécurité du Cloud chez Sysdig
The post { Tribune Expert } – Sécuriser la GenAI commence par un inventaire clair et une visibilité réelle sur ses composants appeared first on Silicon.fr.
Le Future of Life Institute vient de publier l’édition 2025 de son AI Safety Index, un rapport qui évalue les pratiques de sécurité des principales entreprises développant des intelligences artificielles avancées.
Les conclusions sont sans appel : aucune entreprise n’atteint l’excellence en matière de sécurité, et le secteur dans son ensemble reste dangereusement mal préparé face aux risques existentiels que pourraient poser les IA futures.
Sur les huit entreprises évaluées, aucune n’obtient une note maximale. Le meilleur résultat revient à Anthropic avec un simple C+, suivi d’OpenAI (C) et de Google DeepMind (C-). Les autres acteurs ( xAI, Z.ai, Meta, DeepSeek et Alibaba Cloud) obtiennent des notes nettement inférieures, allant de D à F.
Cette situation révèle que même les leaders du secteur se situent tout au plus dans la moyenne. L’industrie de l’IA, malgré ses ambitions affichées de développer des systèmes toujours plus puissants, est loin de disposer des garde-fous nécessaires.
Malgré certaines critiques, Anthropic demeure l’entreprise la plus responsable selon l’index. Elle se distingue par une gouvernance solide (statut de Public Benefit Corporation), des efforts significatifs en recherche de sécurité, un cadre de sécurité relativement développé et une communication transparente sur les risques.
Toutefois, des faiblesses importantes subsistent. Le rapport souligne notamment l’absence récente d’essais sur l’amélioration des capacités humaines dans le cycle d’évaluation des risques, ainsi qu’un passage par défaut à l’utilisation des interactions des utilisateurs pour l’entraînement des modèles.
Les recommandations adressées à Anthropic incluent la formalisation de seuils de risques mesurables, la documentation de mécanismes concrets d’atténuation, l’amélioration de l’indépendance des évaluations externes et la publication d’une version publique robuste de sa politique de lanceurs d’alerte.
OpenAI se distingue par un processus d’évaluation des risques plus large que certains concurrents et par la publication, unique parmi ses pairs, d’une politique de lanceur d’alerte (whistleblowing) suite à sa médiatisation.
Néanmoins, le rapport appelle l’entreprise à aller plus loin : rendre ses seuils de sécurité réellement mesurables et applicables, accroître la transparence vis-à-vis des audits externes, et surtout aligner ses positions publiques avec ses engagements internes.
DeepMind montre des progrès en matière de transparence, ayant notamment complété le questionnaire de l’AI Safety Index et partagé des éléments de politique interne, comme son dispositif de « whistleblowing ».
Cependant, les fragilités persistent : l’évaluation des risques reste limitée, la validité des tests externes est jugée faible, et le lien entre la détection de risques et le déclenchement de mesures concrètes demeure flou.
Certaines entreprises ont entamé des démarches d’amélioration. Par exemple, xAI a publié un cadre de sécurité pour ses « IA de frontière », et Meta a formalisé un cadre avec seuils et modélisation des risques.
Mais les évaluations restent superficielles ou incomplètes : les couvertures de risque sont restreintes, les seuils peu crédibles, les mécanismes d’atténuation flous ou absents, et la gouvernance interne insuffisante. On note notamment l’absence de politique de lanceurs d’alerte et un manque d’autorité claire en cas de déclenchement de risques.
Pour les entreprises les moins bien notées, notamment DeepSeek et Alibaba Cloud, les progrès constatés sont très modestes, principalement sur la publication de cadres de sécurité ou la participation à des standards internationaux.
Le constat le plus alarmant du rapport concerne la sécurité existentielle, c’est-à-dire la capacité à prévenir des catastrophes majeures comme la perte de contrôle ou le mésalignement (misalignment).
Pour la deuxième édition consécutive, aucune entreprise n’obtient une note supérieure à D dans ce domaine. Cela signifie qu’en dépit des ambitions exprimées par certains acteurs de développer une AGI ou une superintelligence dans la décennie, aucune démarche crédible et concrète de planification pour garantir le contrôle ou l’alignement à long terme n’a été mise en place.
Un membre du comité d’experts qualifie ce décalage entre la cadence des innovations techniques et l’absence de stratégie de sécurité de profondément alarmant.
Cette situation pose plusieurs défis majeurs :
Un risque structurel : Si les entreprises continuent à développer des IA sans plans tangibles de contrôle existentiel, nous pourrions nous diriger vers des systèmes dont le comportement échappe à tout encadrement, posant potentiellement un danger global.
Un problème de gouvernance collective : L’absence d’un standard universel, d’un plan de surveillance indépendant ou d’une régulation contraignante rend la sécurité de l’IA dépendante de la bonne volonté des entreprises.
Une dissonance entre ambitions et préparation : Nombreuses sont les acteurs qui visent l’AGI dans la décennie, mais aucun ne démontre qu’il a envisagé, préparé ou traduit cela en mesures concrètes.
Face à ce constat, le rapport formule plusieurs recommandations à destination des entreprises, des régulateurs et des décideurs publics.
D’abord, les entreprises doivent dépasser les déclarations d’intention et produire des plans concrets, chiffrés et mesurables, avec des seuils de risque clairs, des mécanismes d’alerte, des protocoles d’atténuation et une vraie gouvernance interne, idéalement avec une surveillance indépendante..
Ensuite, les entreprises devraient s’engager publiquement à respecter des standards communs, par exemple en adoptant l’AI Act dans l’Union Européenne ou un code de bonnes pratiques similaire, et en coopérant à des initiatives globales de gouvernance de l’IA.
Enfin, en cas d’intention réelle de développer des IA très puissantes, les acteurs doivent clarifier leurs objectifs et expliquer comment ils comptent garantir le contrôle, l’alignement et la prévention des risques existentiels.
Il convient de noter que les évaluations reposent sur des éléments publics ou documentés. Il ne s’agit pas d’audits internes secrets, mais d’observations sur ce que les entreprises ont rendu public ou déclaré. Par conséquent, l’index mesure ce que l’on sait des pratiques, ce qui signifie que des efforts internes invisibles pourraient exister sans être capturés.
De plus, l’édition 2025 couvre des pratiques jusqu’à début novembre 2025 et ne prend pas en compte les événements récents, lancements de nouveaux modèles ou annonces postérieures à cette date.
AI Safety Index 2025 : la méthodologie
Sources d’information Système de notation
Limites reconnues L’édition 2025 couvre les pratiques jusqu’à début novembre 2025 et ne prend pas en compte les événements, lancements de modèles ou annonces postérieures à cette date de collecte. |
The post AI Safety Index 2025 : un bilan inquiétant de la sécurité de l’IA appeared first on Silicon.fr.
La pression monte sur OpenAI. Dans un mémo interne envoyé ce lundi et consulté par le Wall Street Journal, Sam Altman convoque une « alerte rouge » pour améliorer la qualité de ChatGPT. Une décision qui implique de reléguer d’autres projets au second plan, dont le développement de la publicité, des agents IA pour le shopping et la santé, ainsi que Pulse, un assistant personnel produisant des actualités matinales personnalisées.
Ce virage stratégique intervient alors que Google vient de reprendre la main technologique. Le géant de Mountain View vient de lancer son modèle Gemini 3, qui a surpassé le GPT-5 d’OpenAI sur les tests de référence de l’industrie. De son côté, Anthropic, autre rival montant, a également dépassé OpenAI avec son modèle Opus 4.5.
Les chiffres témoignent que la dynamique profite à Google qui affirme que sa base d’utilisateurs actifs mensuels est passée de 450 millions en juillet à 650 millions en octobre, dopée notamment par le lancement d’un générateur d’images en août. Plus révélateur encore : d’après Similarweb, les internautes passent désormais plus de temps à discuter avec Gemini qu’avec ChatGPT, même si OpenAI conserve une large avance en nombre d’utilisateurs avec plus de 800 millions d’utilisateurs hebdomadaires.
Le défi pour OpenAI ne se limite pas à la technologie. L’entreprise fait face à un désavantage structurel majeur : elle n’est pas rentable et doit lever des fonds quasiment en continu pour survivre, contrairement à Google qui peut financer ses investissements sur ses revenus courants. Selon ses propres projections financières, OpenAI devra atteindre environ 200 milliards $ de chiffre d’affaires pour devenir profitable en 2030.
Dans son mémo, Sam Altman insiste sur la nécessité d’apporter des améliorations substantielles à ChatGPT, en matière de personnalisation, de rapidité, de fiabilité et de capacité à répondre à un éventail plus large de questions. Pour y parvenir, il a instauré des conférences téléphoniques quotidiennes avec les équipes responsables et encouragé les transferts temporaires entre services.
Cette « alerte rouge » succède à une précédente « alerte orange ». OpenAI utilise un système de trois codes couleur (jaune, orange, rouge) pour hiérarchiser l’urgence des problématiques à traiter.
Malgré ces difficultés, Sam Altman conserve des arguments pour rassurer. Dans son mémo, il a affirmé qu’un nouveau modèle de raisonnement prévu la semaine prochaine surpassera le dernier Gemini de Google. Nick Turley, responsable de ChatGPT, a d’ailleurs souligné lundi soir sur X que l’objectif était de poursuivre la croissance « tout en rendant ChatGPT encore plus intuitif et personnel ».
Reste que cette mobilisation générale confirme ce que beaucoup soupçonnaient : la domination initiale d’OpenAI dans l’IA générative appartient désormais au passé. La course de fond ne fait que commencer.
Illustration : image générée par l’IA
The post Pourquoi OpenAI décrète l’« alerte rouge » face à Google appeared first on Silicon.fr.
Connexion