Ce rappel est d’autant plus important que ces outils d’IA sont aujourd’hui largement utilisés, aussi bien dans les sphères professionnelles que personnelles, tant de manière encadrée et officielle que de façon informelle, voire dissimulée, au travers de pratiques de Shadow IA.
IA générative et cybersécurité : quels risques et nouvelles menaces pour les entreprises ?
Si les IA génératives servent la défense informatique, elles sont également détournées par les attaquants pour accroître l’efficacité de leurs opérations cyber…
| THEMATIQUE | DESCRIPTION |
| Facilitation tout au long de la chaîne d’attaque : L’IA générative est un facilitateur qui, sans être encore totalement autonome, permet d’améliorer la quantité, la diversité et l’efficacité des offensives cyber.
| · Ingénierie sociale et reconnaissance : Les attaquants utilisent l’IA pour générer des contenus de phishing crédibles ou créer de faux profils sur les réseaux sociaux pour tromper les victimes[1] ; · Développement d’arsenal offensif : L’IA facilite la rédaction de scripts malveillants, comme des scripts PowerShell, ou la création de codes plus complexes ; Des chercheurs ont même identifié des codes polymorphiques (comme Promptflux) qui utilisent des API d’IA pour réécrire leur propre code source toutes les heures afin d’échapper à la détection ; · Analyse de données exfiltrées : Après une intrusion, l’IA permet d’analyser massivement les données volées pour y identifier rapidement les informations d’intérêt, une tâche auparavant chronophage pour les opérateurs humains ; · Identification des vulnérabilités : Même si l’IA n’est pas encore au niveau de l’ingénierie sociale en termes d’efficacité, il convient d’être vigilant.
|
| Détournement de modèles : Le détournement de modèles d’IA générative constitue un enjeu majeur dans le paysage cyberoffensif actuel. Il repose sur le concept selon lequel un outil puissant conçu pour construire des systèmes complexes peut être détourné pour les détruire. | · Prompt Engineering : Les acteurs malveillants manipulent leurs requêtes en utilisant des formulations ambiguës, des mots-clés spécifiques ou des scénarios fictifs pour forcer l’IA à produire du contenu normalement proscrit ; · Jailbreak-as-a-Service : Des services spécialisés sont apparus sur les forums cybercriminels[2]. Ils proposent des structures de requêtes prêtes à l’emploi pour contourner les mécanismes de modération des développeurs ; · Applications malveillantes : Dès 2023, des chercheurs ont réussi à détourner ChatGPT pour développer des codes malveillants polymorphiques, capables de se transformer régulièrement pour échapper à la détection des antivirus · Modèles débridés : Des variantes nommées WormGPT[3], FraudGPT ou EvilGPT sont commercialisées sur des forums spécialisés ou des canaux Telegram pour environ une centaine de dollars par mois.
|
| L’empoisonnement des modèles (Poisoning) : elle s’attaque directement à l’intégrité de la connaissance du système dès sa phase de création. Contrairement aux attaques par injection de requêtes qui interviennent lors de l’utilisation, l’empoisonnement se produit principalement lors de l’entraînement du modèle. | · Sabotage et désinformation : Un acteur malveillant peut manipuler ou modifier les données d’entraînement pour altérer les réponses du modèle, ce qui peut mener au sabotage de systèmes opérationnels ou à la diffusion de fausses informations à grande échelle ; · Pollution des données : La prolifération de contenus fallacieux générés par IA sur Internet peut « polluer » involontairement les futurs jeux d’entraînement[4].
|
| Compromission logicielle et attaques par chaîne d’approvisionnement : attaque sophistiquée contre la chaîne d’approvisionnement. | · Modèles compromis : Des modèles en source ouverte peuvent intégrer des portes dérobées (backdoors) dès leur conception, permettant l’exécution de code arbitraire sur le poste de l’utilisateur lors du téléchargement ; · Le « Slopsquatting » : Les attaquants exploitent les hallucinations de l’IA (qui peut inventer des noms de paquets logiciels inexistants) pour créer et diffuser de vrais paquets malveillants portant ces noms, infectant ainsi les développeurs qui suivent les conseils de l’IA ; · Vulnérabilités de connectivité : L’utilisation de protocoles comme le Model Context Protocol (MCP) pour connecter les modèles à des outils externes augmente la surface d’attaque si ces serveurs ne sont pas rigoureusement sécurisés. |
| Exfiltration de données et compromission d’utilisateurs : Les systèmes d’IA constituent des cibles de choix pour l’exfiltration d’informations sensibles, que ce soit par des actions malveillantes ou des erreurs humaines. | · Vols de comptes : Entre 2022 et 2023, plus de 100 000 comptes ChatGPT ont été compromis par des logiciels de vol de données (infostealers) comme Rhadamanthys, puis revendus sur des forums cybercriminels ; · Fuites involontaires : Le ciblage n’est pas toujours technique ; il exploite aussi les erreurs humaines. Des employés peuvent par mégarde fournir des données confidentielles à une IA commerciale, comme illustré par le cas de salariés de Samsung en 2023 qui ont divulgué des secrets technologiques sur les semi-conducteurs. |
| Facilitation des process d’attaque : IA générative est également utilisée par les attaquants pour optimiser la phase d’exfiltration lors d’attaques contre des systèmes conventionnels. | · Analyse de données volées : Des opérateurs russes auraient utilisé l’IA pour analyser massivement des données déjà exfiltrées afin d’y identifier rapidement les informations d’intérêt ; · Automatisation du chiffrement et de l’exfiltration : Le prototype de rançongiciel PromptLock utilise des requêtes dynamiques pour générer, lors de l’exécution, les scripts nécessaires à l’exfiltration et au chiffrement des données de la victime.
|
Quels profils d’attaquants et quels modes opératoires ?
Comme les attaques cyber « classiques », l’usage de l’IA comme facilitateur peut varier selon la maturité de l’attaquant :
- Acteurs expérimentés : Pour eux, l’IA est un nouveau cadre pratique permettant de générer du contenu en masse dans plusieurs langues, d’effectuer des recherches rapides sur des cibles et de développer du code « non signant ». L’objectif à terme est l’automatisation complète ou quasi-complète de la chaîne d’attaque.
- Acteurs novices : L’IA sert d’outil d’apprentissage et de gain de productivité, en répondant à des questions techniques et en abaissant la barrière à l’entrée pour mener des cyberattaques.
De manière générale, l’IA permet aux acteurs malveillants d’agir plus rapidement et à plus grande échelle.
Sécuriser l’usage de l’IA générative en entreprise : recommandations de l’ANSSI et mesures de gouvernance
L’ANSSI propose notamment de mettre en place les mesures suivantes :
- Réévaluation régulière : la menace doit faire l’objet d’une réévaluation constante par les entités publiques et privées (cartographie des risques) ;
- Cloisonnement : Instaurer un cloisonnement physique et logique strict entre le système d’IA et le reste du système d’information de l’entreprise ;
- Vigilance sur les usages : Sensibiliser les employés pour éviter les fuites involontaires de secrets industriels lors de l’utilisation d’IA commerciales
En effet, un cadre organisationnel solide est indispensable pour encadrer des usages désormais diffus, parfois invisibles, et limiter les dérives liées au Shadow IA.
Ce cadre passe notamment par une adaptation de la gouvernance de l’entreprise aux nouveaux enjeux de l’IA. Cette gouvernance passe en premier lieu par l’adaptation des référentiels internes : mise à jour de la documentation interne pour intégrer explicitement les usages de l’IA : évolution de la PSSI et charte informatique afin de clarifier les pratiques autorisées ou interdites, et déploiement d’une politique d’habilitation fondée sur le principe du moindre privilège.
Ces instruments permettent de renforcer la sécurité de l’accès aux outils d’IA, de réduire la surface d’attaque et d’offrir un cadre juridique clair et opposable en cas de manquement.
La publication de l’ANSSI rappelle que l’IA générative ne constitue ni un simple outil neutre ni une menace abstraite, mais un nouveau composant critique du système d’information, capable d’amplifier aussi bien les capacités de défense que les vecteurs d’attaque.
À mesure que ces technologies se diffusent, souvent en dehors de tout cadre formalisé, la frontière entre innovation, usage maîtrisé et exposition au risque devient de plus en plus ténue. L’entreprise se doit donc de prendre les devants pour sécuriser le plus rapidement possible les outils et les usages avant qu’un potentiel drame ne se produise. A méditer…
***
Le cabinet HAAS Avocats est spécialisé depuis trente ans en droit des nouvelles technologies et de la propriété intellectuelle. Il accompagne de nombreux acteurs du numérique dans le cadre de leurs problématiques judiciaires et extrajudiciaires relatives au droit de la protection des données. Dans un monde incertain, choisissez de vous faire accompagner par un cabinet d’avocats fiables. Pour nous contacter, cliquez ici.
[1] Par exemple, le mode opératoire d’attaque (MOA) Lazarus a créé de fausses entreprises et employés, tandis que d’autres acteurs utilisent des deepfakes pour l’usurpation d’identité.
[2] tels qu’EscapeGPT ou LoopGPT
[3] Les versions les plus récentes, comme WormGPT 4, franchissent une étape supplémentaire en étant directement entraînées sur des jeux de données malveillantes, tels que des codes de malwares existants ou des modèles d’hameçonnage éprouvés
[4] Des études montrent qu’il suffirait de seulement 250 documents malveillants pour empoisonner un modèle, quelle que soit sa taille