Certains modèles de l'IA ne sont pas conformes aux lois européennes
Alors que chaque jour qui passe voit l'Intelligence Artificielle défoncer l'informatique, l'Internet, les logiciels et le monde tels qu'on les connait, on se rend compte (un peu tard) que les modèles IA ne sont pas tous "conformes" avec les lois européennes...
En effet, certains des modèles d'intelligence artificielle les plus connus ne répondent pas aux exigences des réglementations européennes dans des domaines clés tels que la résilience en matière de cybersécurité et la production de résultats discriminatoires, selon des données consultées par Reuters.
L'UE avait longuement débattu de nouvelles réglementations sur l'IA avant qu'OpenAI ne publie ChatGPT à la fin de 2022. La popularité record de ce modèle et le débat public qui a suivi concernant les risques prétendument existentiels de tels modèles ont poussé les législateurs à élaborer des règles spécifiques pour les IA dites "à usage général" (GPAI).
À l'heure actuelle, l'UE tente encore d'établir comment les règles de l'AI Act concernant les outils d'IA générative tels que ChatGPT seront appliquées, réunissant des experts pour élaborer un code de pratique régissant cette technologie d'ici le printemps 2025.
Un nouvel outil conçu par la startup suisse LatticeFlow et ses partenaires, avec le soutien des responsables de l'Union européenne, a testé des modèles d'IA générative développés par des géants de la technologie comme Meta et OpenAI, selon des dizaines de catégories conformes à l'AI Act de l'UE, qui entrera progressivement en vigueur au cours des deux prochaines années.
Les tests de LatticeFlow, développé en collaboration avec des chercheurs de l'université suisse ETH Zurich et de l'institut de recherche bulgare INSAIT, donnent un premier aperçu des domaines spécifiques où les entreprises technologiques risquent de ne pas se conformer à la loi.
Ils ont montré par exemple des résultats discriminatoires, un problème persistant dans le développement des modèles d'IA générative, reflétant les biais humains concernant le genre, la race et d'autres aspects lorsqu'on les interroge.
Lors des tests de sortie discriminatoire, le "LLM Checker" de LatticeFlow a attribué au modèle "GPT-3.5 Turbo" d'OpenAI une note relativement basse de 0,46. Dans la même catégorie, le modèle "Qwen1.5 72B Chat" d'Alibaba Cloud a reçu seulement 0,37.
Lors du test de "détournement de prompt", un type de cyberattaque dans lequel les pirates déguisent un prompt malveillant en prompt légitime pour extraire des informations sensibles, le LLM Checker a attribué au modèle "Llama 2 13B Chat" de Meta une note de 0,42. Dans la même catégorie, le modèle "8x7B Instruct" de la startup française Mistral a obtenu 0,38.
"Claude 3 Opus", un modèle développé par Anthropic, soutenu par Google, a reçu la meilleure note moyenne, 0,89.
Le test a été conçu conformément au texte de l'AI Act et sera élargi pour inclure d'autres mesures d'application au fur et à mesure de leur introduction. LatticeFlow a indiqué que le LLM Checker serait librement accessible aux développeurs pour tester la conformité de leurs modèles en ligne.
Petar Tsankov, PDG et cofondateur de LatticeFlow, a déclaré à Reuters que les résultats des tests étaient globalement positifs et offraient aux entreprises une feuille de route pour ajuster leurs modèles conformément à l'AI Act.
"L'UE travaille encore sur les critères de conformité, mais nous pouvons déjà voir des lacunes dans les modèles", a-t-il déclaré. "Avec une plus grande focalisation sur l'optimisation pour la conformité, nous pensons que les fournisseurs de modèles peuvent être bien préparés pour répondre aux exigences réglementaires." Meta a refusé de commenter. Alibaba, Anthropic, Mistral et OpenAI n'ont pas immédiatement répondu aux demandes de commentaires.
Bien que la Commission européenne ne puisse pas vérifier les outils externes, elle a été informée tout au long du développement du LLM Checker et l'a décrit comme une "première étape" dans la mise en œuvre des nouvelles lois.
Un porte-parole de la Commission européenne a déclaré : "La Commission salue cette étude et la plateforme d'évaluation des modèles d'IA comme une première étape vers la traduction de l'AI Act de l'UE en exigences techniques."
Attribuant une note entre 0 et 1 à chaque modèle, un tableau de classement publié par LatticeFlow mercredi a montré que les modèles développés par Alibaba, Anthropic, OpenAI, Meta et Mistral ont tous reçu des notes moyennes de 0,75 ou plus.
Cependant, le "Large Language Model (LLM) Checker" de la société a révélé certaines lacunes des modèles dans des domaines clés, mettant en lumière les points sur lesquels les entreprises doivent peut-être consacrer des ressources afin d'assurer leur conformité.
Les entreprises qui ne respecteront pas l'AI Act seront passibles d'amendes de 35 millions d'euros (38 millions de dollars) ou de 7 % du chiffre d'affaires annuel mondial.
Certains modèles de l'IA ne sont pas conformes aux lois européennes dans Avenir du web, d'internet ? | octobre 17, 2024 | Commentaires (1)
Commentaires sur: Certains modèles de l'IA ne sont pas conformes aux lois européennes
Intéressant article ! Pensez-vous que les entreprises technologiques réussiront à combler ces lacunes avant que l'AI Act ne soit pleinement mis en place ?
Rédigé par : Stefan Smiljkovic | 21 oct 2024 15:07:16
Poster un commentaire sur: Certains modèles de l'IA ne sont pas conformes aux lois européennes
« 56 % des consommateurs et consommatrices ont déjà abandonné ou reporté un achat en raison d'un trop grand nombre d'options ou d'informations. | Accueil | Comment certaines agences web compliquent Wordpress pour rendre leurs clients dépendants »

Besoin de SEO, de développement, de rédaction de contenu web ? Besoin d'un blog, de Wordpress, de Prestashop ou autres nouvelles "choses web" ? Envie de travailler dans ces domaines ? --> Contactez-nous