Implémentation de l'IA en entreprise: checklist de sécurité

Implémenter l'IA dans une entreprise n'est pas aussi facile que ce que l'on peut croire en regardant des vidéos youtube où des jeunes allumés, véritables talibans de la tech, font croire en quelques minutes que tout est possible sans planifier, cadrer, vérifier, etc, etc..

L'implémentation de l'IA dans une entreprise commence déjà en dehors de tout aspect technologique par savoir :

• dans quels domaines et fonctions l'IA va servir, PEUT servir à quelque chose
• dans quels domaines et fonctions l'IA ne sert à rien et n'est que de la flûte
• dans quels domaines et fonctions il faut "surveiller" ce qui se passe dans le domaine de l'IA
• dans quels domaines et fonctions les concurrents font quelque chose avec l'Intelligence Artificielle

Ensuite, l'entreprise doit veiller à ce que la sécurité de ses données, processus et savoir-faire ne soit pas compromise.

Tout prestataire informatique ou spécialisé "IA" doit aussi garantir ceci à son client.

Au niveau théorique, cela s'appuie sur 2 normes, la norme ISO 27001 et SOC 2 mais très concrètement, une checklist peut être utile pour fixer clairement les choses.

Nous vous proposons la suivante.

A) Caractéristiques du LLM

1. Qui aura accès aux prompts ? (Les prompts sont le coeur des systèmes !)
2. Est-ce que le logiciel/système installé accède uniquement à vos requêtes ou fait-il autre chose (Par exemple revend-il cette donnée ?)
3. Les données en entrée et en sortie sont-elles réutilisées pour l’entraînement du LLM ou d’une autre manière ?
4. Si le LLM n’est pas propriété du prestataire, existe-t-il un risque que les données partent à l’extérieur de l'outil ?
5. Où est hébergé le LLM, techniquement et géographiquement ? SI c'est dans le "cloud", le "cloud" est-il privé ?
6. Les données sont-elles hébergées en Europe pour respecter la loi sur la souveraineté ? (souvent un simple Ping ou Tracert montre que le prestataire ment)
7. Quelles sont les garanties données par l’hébergeur sur la sécurité des données ? (En relation avec la partie du RGPD à propos des sous-traitants, un point bien souvent ignoré par les hébergeurs et prestataires, l'exemple le plus flagrant en étant Doctolib)
8. À quel point les données sont-elles chiffrées, anonymisées ? 
9. Les utilisateurs peuvent-ils supprimer les inputs et outputs de données ? Et dans ce cas, cette suppression est-elle également effective dans toutes les bases de données ?

B) Gestion des droits d’accès

13. Comment sont gérés les droits d’accès au système d'IA mis en place ?
14. Quel est la responsabilité et l'éventuelle indemnisation proposée par le prestataire ?
15. Quelle est l’assurance du prestataire sur la couverture de ces risques ? (Vérifiez bien que le prestataire a une assurance réelle et concrète)

C) Protection des données personnelles

16. L’outil respecte-t-il le RGPD et les autres réglementations de protection des données ? (Très proches d'ailleurs en principes et en éléments à vérifier de ce qu'il faut checker pour l'IA)
17. Les données sont-elles pseudonymisées ou anonymisées ?
18. Le système a-t-il une politique de confidentialité clairement définie et qui a fait l'objet d'un accord formel entre prestataire et client ?

D) Mesures de sécurité

19. Le système mis en place est-il conforme aux normes de sécurité de l’industrie ?
20. Le système mis en place a-t-il un ou des mécanismes de défense contre les attaques de cybersécurité ?
21. L’outil, le système, le prestataire a-t-il une certification type ISO 27001 ou SOC 2 ?

E) Propriété intellectuelle

23. Les algorithmes d’IA sont-ils protégés par des brevets ?
24. Le système mis en place respecte-t-il les droits d’auteur et les licences logicielles ?
25. Y a-t-il des garanties sur le fait que les sources d’entraînement n’enfreignent pas le droit de tiers ?
26. L’entreprise a-t-elle mis en place des politiques pour protéger sa propriété intellectuelle ?
27. L’outil/système utilise-t-il du contenu open source ? Peut-il le détecter ?
28. Qui détient la propriété des entrées et sorties de données ?

F) Engagements spécifiques du prestataire par rapport à son client

29. La rétention des données est-elle limitée et si oui à combien de jour au maximum ? (Il est conseillé de limiter au maximum à 30 jours)
30. Les données sont-elles confidentielles et non utilisées pour entraîner des modèles d’IA ?
31. Y a -t-il des éléments, des données dont les prestataires sont propriétaires ?
32. Les données du client ne sont-elles pas disponibles pour d’autres clients ?
33. Les données du client ne sont-elles pas utilisées pour fournir des réponses aux autres clients ?
34. Les données du client ne sont-elles pas utilisées pour améliorer les modèles d’IA ?