Sécuriser l'IA générative

Nous avons déjà un peu traité la sécurité d'utilisation de l'IA générative dans Sécurité et confidentialité des données avec Copilot de Microsoft  et Implémentation de l'IA en entreprise: checklist de sécurité .

En théorie, toute entreprise qui fait appel à un prestataire pour implémenter de l'IA pourra simplement s'appuyer sur les normes ISO 27001 et SOC 2 (et vérifier via une cheklist comme celle que nous indiquons ci-avant).

Si l'entreprise veut participer ou vérifier que le prestataire est "calé" dans le domaine de la sécurisation de l'IA, voici quelques notions, méthodes, informations (bref, appelez-les comme vous voulez) donnant une idée quand même assez précise de ce qu'il faut faire et vérifier.

1) Manipulation des entrées et sorties

Avec une IA générative, les utilisateurs envoient des commandes et attendent, déclenchent des réponses.

En entrée, via les commandes, on peut "injecter" de quoi faire dépasser les bornes à l'IA.

Ainsi, au tout début de chatgpt, si on lui indiquait dans son rôle (Rappel:  Comment faire des super prompts ou l'art du Prompt Engineering ) qu'il était un super agent secret à qui rien n'était impossible, ChatGPT s'affranchissait de toutes les règles. Si ceci a été corrigé, des façons plus subtiles d'affranchir une IA existent encore.

--> Il faut donc vérifier que les instructions, les prompts, ne peuvent pas "libérer" l'IA. Les consignes, les limites doivent être testées afin de vérifier qu'elles restent valables dans tous les cas de figure.

En entrée également, comme un LLM nécessite beaucoup de ressources, une attaque "Déni de service", via par exemple des grosses requêtes, peut bloquer tout le système.

Enfin, toujours en entrée, dans l'éducation du LLM, des données "poison" peuvent avoir été introduites et elles faussent alors les résultats.

En sortie, l'IA peut par exemple créer du code qui peut présenter des faiblesses. Rien ne garantit en effet que le code fourni par l'IA est "bon" et est "sécurisé". Le mieux dans ce cas est d'ajouter une vérification systématique des trous de sécurité possibles.

2) Confidentialité et sécurité des données

C'est en général le sujet de sécurité qui est le plus abordé par les entreprises.

Tout commence par la sécurisation de la base de données, ce qui est inhérent en général à n'importe quelle base de données "moderne".

Parmi tous les éléments de la sécurité d'une base de données, la segmentation des données par type d'utilisateur est l'élément clé pour la confidentialité des données, et encore plus avec l'utilisation de l'IA. Un contrôle d'accès rigoureux à des données spécifiques pour chaque type d'utilisateur permet d'éviter les fuites d'informations.

On ajoute en général pour chaque document, des rôles et permissions pour garantir cette confidentialité des données.

Pas mal d'outils comme https://openfga.dev/  permettent ceci.

3) Gestion des accès de l'IA

Si les autorisations et contrôles d'accès des utilisateurs et des permissions par document sont nécessaires, elles ne suffisent pas car il faut aussi gérer ceci pour l'IA.

Les autorisations accordées à l'IA, notamment sur les services externes et les vulnérabilités du système, doivent être scrupuleusement vérifiées et ile ne faut pas hésiter à tester le comportement de l'IA sur les limites imposées.