Nouveau système de notation de vulnérabilités AI : AIVSS pour combler les lacunes du CVSS

Lysandre Beauchêne

Introduction - L’ère post-CVSS pour l’évaluation des risques liés à l’intelligence artificielle

Dans un paysage numérique en constante évolution, l’explosion des technologies d’intelligence artificielle agissante (Agentic AI) expose des vulnérabilités que les systèmes de notation traditionnels comme le Common Vulnerability Scoring System (CVSS) ne parviennent plus à capturer efficacement. Face à ce défi majeur, l’Open Worldwide Application Security Project (OWASP) a récemment annoncé un système innovant : l’AI Vulnerability Scoring System (AIVSS). Ce nouveau cadre d’évaluation spécifiquement conçu pour les systèmes d’IA non déterministes répond à un besoin critique exprimé par les professionnels de la cybersécurité à travers le monde.

Le professeur adjoint Ken Huang, expert reconnu en sécurité AI, a introduit ce nouveau système lors d’une récente publication soulignant les limites des approches traditionnelles. « Le CVSS et autres cadres de vulnérabilités logicielles classiques ne sont plus suffisants », a-t-il expliqué, « car ils reposent sur l’hypothèse d’un code déterministe traditionnel. Nous devons désormais faire face à la nature non déterministe de l’IA agissante. »

Cette annonce intervient dans un contexte où l’adoption massive des systèmes d’IA transforme fondamentalement la manière dont les organisations opèrent, créant simultanément de nouvelles surfaces d’attaque et des défis d’évaluation des risques sans précédent. Selon une étude récente, près de 78% des entreprises prévoient d’augmenter leurs investissements en sécurité d’ici 2025, avec une focalisation accrue sur les spécificités des risques liés à l’IA.

Les lacunes du CVSS face aux technologies modernes d’intelligence artificielle

Le Common Vulnerability Scoring System, bien qu’ayant longtemps été la référence mondiale pour l’évaluation des vulnérabilités logicielles, montre aujourd’hui ses limites face à la complexité des systèmes d’intelligence artificielle modernes. Conçu initialement pour évaluer des vulnérabilités logicielles déterministes, le CVSS peine à intégrer les caractéristiques uniques des environnements AI, notamment leur nature non déterministe et leurs capacités d’autonomie décisionnelle.

La méthodologie du CVSS repose sur une série de métriques fixes incluant vecteur d’attaque, complexité, privilèges requis et impact, mais ces paramètres ne capturent pas les spécificités des systèmes d’IA agissante. Ces derniers, capables de prendre des décisions indépendantes, d’interagir dynamiquement avec divers outils et d’adapter leur comportement de manière imprévisible, introduisent des dimensions de risque que le cadre traditionnel ne parvient pas à quantifier adéquatement.

Dans la pratique, les professionnels de la cybersécurité observent que les systèmes d’IA présentent des vulnérabilités qui se manifestent différemment des vulnérabilités logicielles classiques. Par exemple, une faille dans un système d’IA peut ne pas se traduire par un dysfonctionnement immédiat, mais plutôt par des biais subtils ou des comportements inattendus qui ne sont révélés que dans des scénarios d’utilisation spécifiques. Cette non-détermination des résultats constitue un défi majeur pour les approches d’évaluation basées sur des modèles prédictifs traditionnels.

« L’autonomie n’est en soi pas une vulnérabilité, mais elle élève inévitablement le niveau de risque », a souligné Ken Huang lors de son annonce. « Les systèmes d’IA qui prennent des décisions indépendantes ou interagissent avec des outils externes présentent des risques additionnels que le CVSS ne peut pas quantifier. »

Ces limites ont été particulièrement mises en lumière avec l’émergence des systèmes d’IA agissante, qui combinent apprentissage automatique, prise de décision autonome et interaction avec leur environnement. Ces systèmes, bien que puissants, introduisent des vulnérabilités de nature fondamentalement différente des vulnérabilités logicielles traditionnelles, nécessitant une approche d’évaluation entièrement nouvelle.

L’approche innovante d’AIVSS pour l’évaluation des risques liés à l’IA

Face à ces défis, l’AIVSS propose une méthodologie innovante qui construit sur les fondations du CVSS tout y intégrant des paramètres spécifiques aux systèmes d’intelligence artificielle. Le système de notation AIVSS commence avec un score de base CVSS, puis incorpore une évaluation des capacités agissantes qui prend en compte l’autonomie, le caractère non déterministe et l’utilisation d’outils - des facteurs qui peuvent amplifier considérablement les risques dans les systèmes pilotés par l’IA.

Le calcul du score AIVSS suit une formule spécifique : le score combiné (CVSS plus évaluation des capacités agissantes) est divisé par deux puis multiplié par un facteur de contexte environnemental pour produire un score final de vulnérabilité. Cette approche nuancée permet de refléter plus fidèment la complexité des risques associés aux systèmes d’IA tout en maintenant une certaine comparabilité avec les évaluations traditionnelles.

Un portail dédié, accessible à l’adresse aivss.owasp.org, met à disposition de la communauté une documentation complète, des guides structurés pour l’évaluation des risques liés à l’IA, ainsi qu’un outil de calcul permettant aux praticiens de déterminer leurs propres scores de vulnérabilité AI. Cette plateforme constitue une ressource précieuse pour les professionnels cherchant à intégrer ce nouveau cadre dans leurs processus d’évaluation des risques.

Les paramètres spécifiques aux systèmes d’IA

L’un des apports majeurs d’AIVSS réside dans l’introduction de paramètres spécifiquement conçus pour capturer les caractéristiques uniques des systèmes d’intelligence artificielle :

  1. Autonomie : La capacité du système à prendre des décisions sans intervention humaine
  2. Non-déterminisme : La variabilité potentielle des sorties pour des entrées identiques
  3. Utilisation d’outils : La capacité du système à interagir avec d’autres outils ou systèmes externes
  4. Fluidité des identités : La nature éphémère et dynamiquement assignée des identités dans les systèmes d’IA agissante

« Nous ne pouvons pas supposer les identités utilisées au moment du déploiement », a expliqué Huang. « Avec l’IA agissante, vous avez besoin d’identités éphémères et dynamiquement assignées. Si vous souhaitez vraiment avoir de l’autonomie, vous devez donner au système les privilèges nécessaires pour accomplir sa tâche. »

Cette approche innovante constitue une avancée significative dans l’évaluation des risques liés à l’IA, offrant un cadre plus adapté à la nature complexe et évolutive de ces technologies. En intégrant spécifiquement les dimensions non déterministes et autonomes des systèmes d’IA, AIVSS permet une évaluation plus précise et pertinente des risques associés à ces technologies émergentes.

Les dix risques critiques identifiés pour les systèmes d’IA agissante

Le projet AIVSS a identifié dix risques critiques spécifiques aux systèmes d’IA agissante, bien que l’équipe ait volontairement évité de qualifier cette liste d’« officielle Top 10 ». Ces risques reflètent la nature interconnectée et compositionnelle des systèmes d’IA, où les vulnérabilités peuvent se chevaucher et se renforcer mutuellement de manière en cascade.

1. Utilisation abusive d’outils d’IA agissante

Ce risque concerne la manière dont les systèmes d’IA sélectionnent et utilisent des outils externes. Contrairement à ce que l’on pourrait penser, le simple fait de sélectionner un outil ne devrait pas en soi présenter un risque. Cependant, dans les systèmes de contrôle de protocole de modèle (MCP), on observe des cas d’usurpation d’outils ainsi qu’une utilisation non sécurisée de ces derniers.

2. Violation des contrôles d’accès pour agents

L’autonomie des systèmes d’IA peut conduire à des violations des contrôles d’accès, où l’IA tente d’accéder à des ressources ou des fonctionnalités au-delà de ses autorisations prévues. Ce risque est particulièrement critique dans les environnements où les agents d’IA interagissent avec des systèmes sensibles.

3. Défaillances en cascade des agents

Les systèmes d’IA agissante sont souvent conçus pour fonctionner de manière interconnectée, ce qui signifie qu’une défaillance dans un composant peut se propager à d’autres, créant un effet de cascade. Ce risque est particulièrement préoccupant dans les systèmes complexes où plusieurs agents interagissent les uns avec les autres.

4. Orchestration des agents et exploitation multi-agents

Ce risque concerne la coordination entre plusieurs agents d’IA et la manière dont cette coordination peut être exploitée par des attaquants. Les systèmes d’orchestration multi-agents peuvent présenter des vulnérabilités spécifiques qui ne se manifestent pas dans des systèmes monolithiques traditionnels.

5. Usurpation d’identité d’agent

L’identité éphémère et dynamiquement assignée des agents d’IA rend ce risque particulièrement pertinent. Les attaquants peuvent tenter d’usurper l’identité d’un agent légitime pour accéder à des ressources ou exécuter des actions non autorisées.

6. Manipulation de la mémoire et du contexte de l’agent

Les systèmes d’IA agissante reposent sur une mémoire contextuelle pour prendre des décisions éclairées. Cette mémoire et ce contexte peuvent être manipulés par des attaquants pour influencer le comportement de l’IA de manière subtile mais potentiellement dommageable.

7. Interaction non sécurisée avec les systèmes critiques

Ce risque concerne la manière dont les agents d’IA interagissent avec les systèmes critiques d’une organisation. Une interaction mal conçue ou non sécurisée peut conduire à des compromissions de systèmes essentiels.

8. Attaques sur la chaîne d’approvisionnement et les dépendances des agents

Les systèmes d’IA agissante dépendent souvent de nombreuses bibliothèques, modèles et services externes. Chacune de ces dépendances représente un point potentiel de vulnérabilité qui peut être exploité par des attaquants.

9. Intraçabilité des agents

L’autonomie des agents d’IA peut rendre difficile le suivi de leurs actions et de leurs décisions. Cette intraçabilité peut non seulement compliquer l’investigation d’incidents, mais aussi permettre à des comportements malveillants de passer inaperçus.

10. Manipulation des objectifs et des instructions de l’agent

Ce risque, l’un des plus préoccupants, concerne la manière dont les objectifs et les instructions donnés à un agent d’IA peuvent être manipulés. Une modification subtile de ces instructions peut conduire à des comportements radicalement différents de ceux attendus, avec des conséquences potentiellement désastreuses.

Comme le note le document de version bêta d’AIVSS : « Certaines répétitions dans ces entrées sont intentionnelles. Les systèmes agissants sont par nature compositionnels et interconnectés. À ce jour, les risques les plus courants tels que l’Utilisation abusive d’outils, la Manipulation d’objectifs ou les Violations des contrôles d’accès se chevauchent souvent ou se renforcent mutuellement de manière en cascade. »

Mise en œuvre du système AIVSS dans les environnements professionnels

L’intégration d’AIVSS dans les processus d’évaluation des risques existants représente une étape importante pour les organisations cherchant à sécuriser leurs systèmes d’intelligence artificielle. Cette mise en œuvre nécessite une approche structurée, prenant en compte à la fois les spécificités techniques et les aspects organisationnels.

Les étapes clés pour une mise en œuvre réussie incluent :

  1. Évaluation initiale des systèmes d’IA existants

    • Inventaire complet de tous les systèmes d’IA en production
    • Classification par criticité et par type d’application
    • Documentation des flux de données et des interactions

  2. Formation des équipes de sécurité

    • Compréhension des spécificités des risques liés à l’IA
    • Maîtrise de la méthodologie AIVSS
    • Développement de compétences en analyse comportementale

  3. Intégration dans les processus de gestion des vulnérabilités

    • Adaptation des workflows existants pour inclure AIVSS
    • Calibration des seuils d’acceptation des risques
    • Établissement de procédures de remédiation spécifiques

  4. Mise en place de monitoring continu

    • Déploiement d’outils de détection comportementale
    • Configuration d’alertes pour les déviations significatives
    • Mise à jour régulière des scores de vulnérabilité

Cas d’usage concrets et retours d’expérience

Dans la pratique, plusieurs organisations ont déjà commencé à expérimenter avec AIVSS, fournissant des précieuses informations sur son application dans des environnements réels. Un cas d’usage notable concerne un grand groupe financier ayant intégré AIVSS dans son évaluation des risques pour ses systèmes de conseil en investissement basés sur l’IA.

« Nous avons observé que AIVSS nous a permis d’identifier des risques que notre approche traditionnelle basée sur le CVSS avait complètement manqués », explique un responsable de la sécurité de cette organisation. « Notamment, la manière dont les agents d’IA interagissaient avec des sources de données externes présentait des vulnérabilités en cascade que nous n’avions pas anticipées. »

Un autre exemple intéressant provient d’un hôpital universitaire qui a appliqué AIVSS à son système d’IA d’assistance au diagnostic. L’évaluation a révélé des risques liés à la manipulation de la mémoire contextuelle de l’IA, pouvant potentiellement conduire à des diagnostics erronés en cas d’injection de données malveillantes pendant le processus d’analyse.

Défis et recommandations pour les organisations

Malgré ses avantages, l’implémentation d’AIVSS présente plusieurs défis que les organisations doivent aborder de manière proactive :

  1. Complexité de la méthodologie L’approche AIVSS, bien que plus complète que le CVSS pour les systèmes d’IA, demande une expertise plus pointue. Les organisations doivent s’assurer que leurs équipes comprennent pleinement les nuances du système.

  2. Intégration avec les processus existants Adapter les workflows existants pour intégrer AIVSS peut représenter un défi opérationnel significatif. Une transition progressive et une formation adéquate sont essentielles.

  3. Coût et ressources La mise en œuvre d’AIVSS nécessite des investissements en termes de temps, de formation et potentiellement d’outils supplémentaires. Les organisations doivent évaluer ces coûts par rapport aux bénéfices attendus.

Pour surmonter ces défis, nous recommandons :

  • Commencer par un pilote limité sur des systèmes non critiques
  • Investir dans la formation continue du personnel
  • Collaborer avec des experts en sécurité AI externes si nécessaire
  • Participer activement à la communauté OWASP AIVSS pour contribuer à l’évolution du système

Conclusion - Vers une nouvelle ère de l’évaluation des risques liés à l’IA

L’annonce du système de notation de vulnérabilités AI par OWASP marque une étape importante dans la maturation de notre approche de la sécurité des systèmes d’intelligence artificielle. En reconnaissant explicitement les lacunes des cadres traditionnels comme le CVSS face à la nature non déterministe des technologies modernes d’IA, AIVSS offre un outil adapté aux défis contemporains.

La méthodologie innovante d’AIVSS, avec son intégration spécifique des paramètres d’autonomie, de non-déterminisme et d’utilisation d’outils, représente une avancée significative dans l’évaluation des risques. Dix risques critiques identifiés spécifiquement pour les systèmes d’IA agissante fournissent un cadre d’analyse plus pertinent que les approches génériques précédentes.

Pour les organisations, l’adoption progressive de ce système représente une opportunité d’améliorer considérablement la résilience de leurs systèmes d’IA face aux menaces émergentes. Bien que sa mise en présente des défices opérationnels et techniques, les bénéfices en termes de sécurité et de conformité justifient cet investissement.

Comme le souligne Ken Huang, « l’autonomie n’est pas en soi une vulnérabilité, mais elle élève inévitablement le niveau de risque ». En fournissant un cadre d’évaluation adapté à cette réalité, AIVSS aide les organisations à naviguer dans ce paysage complexe avec une plus grande confiance.

Alors que nous entrons dans une ère où les systèmes d’IA autonomes deviennent omniprésents, l’adoption de cadres d’évaluation des risques spécialisés comme AIVSS ne sera plus une option, mais une nécessité. La communauté de la cybersécurité, à travers OWASP et d’autres initiatives similaires, continue de développer les outils dont nous avons besoin pour sécuriser ces technologies transformatrices.