IA générative, deepfakes et deepaudios… Quelles menaces émergentes à court et moyen terme ?

L’évolution de l’IA générative est si rapide qu’elle bouscule la prospective, la veille et la mise en œuvre de contre-mesures. Vivien Mura, CTO chez Orange Cyberdefense, se projette avec nous sur les menaces imminentes et à venir liées à l'exploitation illicite de l'intelligence artificielle.  

Pourquoi l’IA générative au cœur des deepfakes et des deepaudios représente une menace en termes de cybersécurité ?

L’écrasante majorité des cyberattaques commence par l’ingénierie sociale, qui repose essentiellement sur du faux contenu mail ou de faux sites web. Quand on a affaire à du phishing, la meilleure barrière jusqu’ici était de sensibiliser et de former les personnes. En leur apprenant comment identifier un certain nombre d’anomalies dans les contenus (NDR : URL douteuse, présence de fautes d’orthographes, utilisation de logos et de visuels grossiers, de piètre qualité et mal intégré, demande de CB ou de RIB pour accéder ou finaliser tel service que vous auriez contracté etc). C’était la première ligne de défense à mettre en place. La seconde barrière de défense technique venait après. 

Sauf que l’IA générative est arrivée et est capable de produire un contenu tellement crédible que même les personnes les plus averties s’y perdent. Ce qui va arriver, dans les mois et les années qui viennent, va au-delà des détournements que nous connaissons et arrivons à identifier aujourd’hui sans trop de difficultés. Le faux contenu n’est plus seulement textuel. Il est « multimodal », c’est-à-dire qu’il embarque également la voix, l’image et la vidéo.  L’IA générative facilite la production de contenus multimédias poussés et va probablement permettre de le faire avec des performances accrues et à moindre coût dans les mois qui viennent.

Pour l’instant, il y a encore un frein : pour produire de faux contenus audio/vidéo convaincants, de manière intégrée et en streaming, sans latence, sans glitch, il faut faire appel à des modèles plutôt premium, avec une importante puissance de calcul derrière. Des démos que l’on a pu voir montrent encore des irrégularités, de la latence et des glitchs, ce qui peut encore éveiller des soupçons. Mais ce n’est désormais plus qu’une question de mois avant que cela devienne difficilement discernable et plus accessible, et que des outils clés en main, « as a service », émergent. 

Les modèles économiques associés à l’IA changent constamment, sans compter l’apparition, tous les deux / trois mois, d’un nouvel outil d’IA générative que l’on nous annonce comme surclassant ses prédécesseurs.  

Nous observons donc un cycle d’innovation qui est devenu très, très court. Il est hautement probable que des technologies d’IA très performantes soient utilisées par des acteurs malveillants pour mener des attaques sophistiquées à moindre coût et à faible niveau de compétence. Et face à cette situation, la sensibilisation ne va pas suffire. Parce que cela va devenir compliqué, même pour un expert, d’arriver à faire la distinction. 

Cela pose un défi dans le domaine de la cybersécurité notamment, puisqu’il va falloir trouver d’autres façons de détecter ce genre de malveillance. On peut parler de véritable tournant, de changement de paradigme. 

Dans ce contexte, trouver des solutions de contre-mesures pour faire face aux usages malveillants du Deepfake et du Deepvoice, va représenter un véritable challenge. Il va falloir innover très vite pour inventer de nouvelles façons de détecter, de répondre à ces nouvelles catégories de menace. 

Quelles sont les démarches que mène actuellement Orange Cyberdefense pour identifier la ou les contre-mesures adaptées ?

Ce n’est certainement pas une seule et unique solution technologique qui va permettre de contrer ce type de cyberattaque, mais plutôt une série de contre-mesures. C’est pourquoi nous suivons, identifions et benchmarkons activement les nouvelles solutions qui arrivent sur le marché, pour voir lesquelles font sens et apportent un minimum de résultats. 

L’objectif pour Orange Cyberdefense est de pouvoir combiner, intégrer et proposer ces solutions à nos clients pour leur offrir une réponse tangible et adaptée dans l’aide à la détection de contenus frauduleux sophistiqués. 

Au-delà des usages frauduleux des technologies d’IA Générative, quels sont les autres risques liés à l’émergence de ces plateformes ?

La démocratisation des plateformes LLM augmente en effet la surface d’attaque et comprend des vulnérabilités. Nous pensons que les cyberattaquants vont commencer à s’intéresser très fortement au hack de solutions d’IA. Pourquoi ? Parce que ces solutions d’IA représentent un accès privilégié aux données et aux systèmes d’information avec lesquels elles sont interfacées. 

Mettons-nous dans la peau d’un cyberattaquant, qui jusqu’ici exploitait les vulnérabilités habituelles pour pénétrer une infrastructure informatique ou réseau. Il faut bien comprendre qu’un service d’IA est interconnecté avec tout un ensemble de systèmes. Et quand cette population va comprendre que le chemin le plus court pour accéder à un important volume de données n’est plus d’exploiter la vulnérabilité d’un pare feu mais bien celle d’une plateforme d’IA, leur approche va très certainement changer de cap. En cybersécurité, nous allons devoir trouver des solutions pour parer l’exploitation de telles vulnérabilités.

Peux-tu nous donner plusieurs exemples de vulnérabilités inhérentes aux plateformes IA ?

Les plateformes IA sont d’abord des écosystèmes incluant des couches matérielles et applicatives qui peuvent à chaque niveau comporter des failles. Comme pour le cloud, comme pour n’importe quel logiciel, ces solutions peuvent être vulnérables si la sécurité n’est pas correctement intégrée dans leur cycle de vie. 

Le premier risque est le « Shadow AI », qui définit l’usage de ressources IA non encadrées par l’entreprise. On retrouve ainsi la notion de « Shadow IT ».  Si un employé utilise un chatbot commercial non autorisé par son entreprise pour en faire un usage professionnel, il risque ainsi d’uploader des données et des documents potentiellement sensibles qui n’ont pas à sortir du périmètre de sa société. C’est pour cela que nous incitons les entreprises à intégrer les solutions d’IA sécurisées pour leurs usages. On voit des solutions de détection de shadow AI émerger sur le marché. Nous en avons embarqué dans les solutions que nous apportons à nos clients. 

Ensuite, d’autres vecteurs d’attaques, pour le moment au stade de « POC » (« Proof of concept »), peuvent apparaître. Le « Prompt injection » ou « Injection de prompt » par exemple est une vulnérabilité bien identifiée de ces nouvelles plateformes d’intelligence artificielle. Elle consiste à forger un prompt, qui est le champ dédié à la formulation de requête sur un outil de LLM, pour par exemple obliger l’IA à sortir de sa politique de sécurité et lui faire « cracher » une réponse qui n’était pas celle prévue par les concepteurs ou le RSSI de l’entreprise. 

Une autre technique consiste à formuler une requête dont le but est de provoquer un déni de service, c’est-à-dire une saturation de l’outil. L’IA est mise en échec et n’est plus en mesure de répondre, ce qui peut avoir des conséquences importantes si l’assistant virtuel visé nécessite une continuité d’activité. 

L’IA va rapidement devenir intrinsèquement liée à nos vies numériques, personnelles et professionnelles. L’intelligence artificielle représente donc un accès privilégié à tout un ensemble de données mais aussi de services, qu’ils soient administratifs, commerciaux, pédagogiques, hospitaliers etc. Avoir un déni de service sur une IA située au cœur d’un service critique va représenter un réel problème.   

On voit par exemple de plus en plus d’assistants virtuels qui deviennent la première porte d’entrée pour accéder à un service e-commerce ou de SAV. Si ces IA tombent parce qu’un cyberattaquant arrive à en exploiter les vulnérabilités, cela peut impacter lourdement le business de l’entreprise ciblée.

Les personnes malveillantes peuvent tenter également d’extraire des informations sensibles. Voici un cas type lié à un mauvais cloisonnement des données : imaginez qu’une personne demande à l’application IA de son entreprise de lui communiquer le salaire de son dirigeant. Et qu’il reçoive en réponse le bulletin de salaire de son patron.

Il existe également un autre risque qui est le vol de modèle d’IA (ou « model theft »). 
Un modèle d’IA c’est ni plus ni moins qu’une portion de connaissance humaine, contenant énormément de données : des données de propriété intellectuelle, de droits d’auteur, à caractère personnel, des données de santé, des données liées à une expertise technique. 

Les grandes sociétés qui se sont lancées dans cette course à l’IA nous disent que l’avenir ne sera pas uniquement tourné vers les grands modèles (LLM) mais plutôt vers des modèles entraînés sur des plus petits échantillons de données spécialisés. C’est dans cette tendance que s’inscrivent les Agentic AI (ou IA agentique), qui vont permettre de prendre en charge certaines taches bien précises, avec à leur bord des connaissances assez pointues, entraînées sur des banques de données expertes, parfois confidentielles. 

Les cyberattaquants vont sans doute essayer d’extorquer des informations sensibles. Ces informations peuvent aller de numéros de téléphone ou de comptes Iban qui vont être revendues dans la foulée sur le Dark Web, jusqu’à des données économiques ou relevant du secret national dans une approche relevant de l’espionnage étatique ou industriel. 
En « volant » le modèle d’IA, le cyberattaquant pourra aspirer en une seule passe une masse importante de données stratégiques sur une entreprise, une institution, un organisme. 

As-tu une vision prospective sur d’autres menaces liées à l'usage de ces outils ?

Dans les 5 ans à venir, nous allons devoir rester très vigilant sur la capacité de ces modèles à automatiser, planifier et actionner des scénarios offensifs. 

Le niveau d’automatisation va probablement s’accroître pour des usages de la vie numérique. Une évolution technologique qui pourra être également utilisée à des fins malveillantes. Le niveau actuel de l’IA n’a pas encore atteint ce degré d’automatisation, mais nous devons nous préparer à ce qu’elle puisse prochainement : 

• Faire une phase de reconnaissance ;  
• Identifier les assets critiques ;   
• Identifier les vulnérabilités exploitables ;  
• Monter une chaîne de compromission ; 
• Voire même de monter une infrastructure d’attaque ;  
• De conduire, in fine, une cyberattaque de bout en bout. 

J’évoque bien ici l’édification d’un véritable plan de bataille que l’outil va exécuter ou aider à exécuter. Ca n’existe pas… pour l’instant, ou quasiment pas. Quand on regarde les capacités de planification des IA pour le moment, cela reste très limité.