La sécurité au service de l’IA

Bien encadrée, l’intelligence artificielle (IA) peut être une source d’opportunités infinies pour l’ensemble de l’humanité. Détournée ou mal utilisée, elle devient un redoutable Cheval de Troie. L’adoption croissante de l’intelligence artificielle (IA) dans les entreprises, les institutions publiques et les infrastructures critiques augmente la surface d’attaque pour les hackers et soulève des préoccupations à différents niveaux. De l’usagenon autorisé d’un outil LLM (« Large Language Model » ou modèle de langage) aux exploitations de failles par les cyberattaquants, il est vital de mettre en place des protocoles de sécurisation de l’IA de bout en bout. La cybersécurité des systèmes d’information   

L'intelligence artificielle (IA), notamment Générative, est désormais explorée dans tous les secteurs et toutes les fonctions, transformant les méthodes de travail et les processus. 

- Les vulnérabilités spécifiques aux systèmes d'IA suscitent des préoccupations au sein des directions des systèmes d'information et de sécurité des entreprises et des organismes, qui cherchent à sécuriser leur utilisation croissante ; 

- C’est pourquoi il est essentiel de veiller à ce que l’adoption de solutions d’IA générative s’accompagne de mesures de cybersécurité strictes, liées aux accès, aux prompts, aux données et à l’infrastructure du LLM ou des LLMs utilisés ;

- Cela nécessite une approche proactive, consciente des risques et une mise à jour continue des pratiques de sécurité afin de protéger efficacement les systèmes d’IA et les données qu’ils traitent. 

 Voyons ensemble quelles sont les mesures que vous pouvez mettre en place.  

Il est recommandé de garder un œil, et le bon, sur l’ensemble des systèmes d’IA utilisés au sein de votre entreprise ou de votre organisme.  Deux stratégies à envisager : 

• Adresser la problématique du “Shadow AI” :

La popularité croissante des applications d'intelligence artificielle générative accessibles au grand public pose des défis significatifs en matière de cybersécurité, souvent désignés sous le terme de “Shadow AI”. 
 
Pour gérer cette problématique, les organisations doivent d'abord établir une visibilité sur l'utilisation de ces outils par leurs employés, en identifiant les applications non autorisées qui pourraient compromettre la sécurité des données. L'implémentation de solutions de “Cloud Access Security Broker”(“CASB”) permet de surveiller et de contrôler l'accès à ces services, tout en définissant des politiques d'utilisation claires (Blocage total, Autorisation sous conditions, Autorisation).

Parallèlement, il est crucial d'intégrer des mécanismes de “Data Leak Protection” (DLP) pour protéger les informations sensibles et prévenir les fuites de données au travers des interactions des collaborateurs avec ces applications grand public. 

• Monitorer la posture de sécurité des applications internes basées sur du LLM : 
  En adoptant l’approche AI-SPM (« AI Security Posture Management »), vous gardez une visibilité sur l’ensemble des applications d’IA et leurs composants utilisés en interne : 

Inventaire des API de LLM (« Large Language Models » ou « Grands modèles de Langage »), des datas et d’entraînement, des data set d’inférence, des hébergements, plugins, du nombre d’utilisateurs.

Détection de bout en bout sur le pipeline AI pour l’identification de risques liés à l’IA, tels que les mauvaises configurations, la présence de vulnérabilités et priorisations, les sur-privilèges d’agent, l’identification des données sensibles au travers des jeux de données ou « datasets »…).

Avoir cette vision globale renforce non seulement la sécurité, mais aussi la conformité avec les normes et régulations en vigueur. En adoptant ces stratégies, les entreprises peuvent mieux naviguer dans le paysage complexe de l’IA tout en protégeant leurs actifs et leurs données.   

Alors que la visibilité globale des systèmes IA est essentielle, il est tout aussi crucial de comprendre et de mitiger les risques spécifiques associés aux applications basée sur cette technologie. 

La sécurisation des applications basées sur les LLM nécessite une approche globale et structurée, commençant par une sensibilisation approfondie aux risques spécifiques. Les équipes - métiers, développement et sécurité - doivent être conscientes et vigilantes face aux injections de prompts, à l'empoisonnement de données, à l’extraction de données et aux fuites d'informations sensibles… Ces menaces se distinguent des risques traditionnels de cybersécurité. La veille assurée par la « Threat Intelligence » (ou « Intelligence de la menace ») est ainsi une source de renseignement précieuse pour se tenir informé, anticiper les attaques et ajuster ses stratégies de défense en conséquence. 

Pour répondre à ces enjeux, la sécurisation des LLM s'appuie sur un mix d'outils de sécurité traditionnels directement applicables, de nouvelles briques complémentaires et de solutions spécialement conçues pour ces usages.

Les solutions AI-SPM et DSPM constituent la première ligne de défense en supervisant la posture de sécurité des modèles et en protégeant les données d'entraînement. Ces outils sont complétés par des systèmes de prévention de fuite des données (« Data Leak Protections » ou « DLP »), essentiels pour prévenir les fuites de données sensibles, un risque particulièrement critique avec les LLM qui peuvent involontairement exposer des informations confidentielles dans leurs réponses. 

La sécurisation des échanges et des accès représente un autre pilier fondamental. Les solutions d'API Security et les CASB permettent de contrôler finement les interactions avec les services d'IA, tandis que les Firewalls AI, spécifiquement conçus pour les LLM, filtrent les prompts malveillants et les tentatives d’attaques adversariales. Ces outils s'avèrent particulièrement pertinents face à l'émergence de nouvelles techniques d'attaque comme l'injection de prompts hostiles. 

Enfin, les tests d'intrusion (on parle de Pentest ou de Pentesting) dédiés aux LLM permettent d'évaluer régulièrement la robustesse des systèmes et d'adapter les stratégies de défense. Cette pratique, encore émergente mêlant technique de pentest classique et ingénierie sociale en interaction avec l’interface chatbot LLM, devient cruciale alors que les techniques d'attaque contre les modèles de langage se sophistiquent rapidement. 

Cette approche défensive multicouche s'avère indispensable dans un contexte où les menaces évoluent constamment. Les équipes de sécurité doivent maintenir une veille active et adopter une posture proactive pour exploiter pleinement le potentiel des LLM en entreprise tout en garantissant leur sécurité. 

De la formation à la gestion de crise, les experts d’Orange Cyberdefense sont là pour accompagner les entreprises et les institutions pour sécuriser l’usage des applications d’intelligence artificielle :  

• Formation et accompagnement pour sensibiliser les équipes métiers, développement et sécurité aux risques liés à l’utilisation des applications d’IA et à la GenAI ;  

• Audit et analyse des risques de vos applications GenAI ; 

• Pentesting (test d’intrusion) sur vos applications de GenIA et de LLM ;  

• Sécurisation de vos applications AI ;  

• Déploiement d’un assistant de génération de code AI sécurisé ;  

• Accompagnement sur l’intégration sécurisée de Microsoft 365 Copilot ;  

• SOC, MSSP, CERT ;

• Red team, Blue Team, Purple Team ;

• CTI ;

• Gestion de crise en cas d’intrusion.   

Pour en savoir plus sur l’état de la cybermenace et comment y remédier, consultez notre rapport Security Navigator 2025.