Course à l’IA et sécurité : l’alerte des bureaux d'audit indépendants
Des systèmes d'IA en roues libres
Comme la dernière fois, je me suis penché sur un article lu récemment et que j'ai trouvé époutousflant. Cet dernier a été publié sur le site The Verge. Il présente l’essor rapide — et de plus en plus alarmé (voire alarmiste) — de la recherche indépendante sur la sécurité des systèmes d'IA mis sur le marché.
L'article déclare que les systèmes d’IA les plus avancés commencent à montrer des comportements de contournement, de dissimulation et d’autonomie qui rendent insuffisantes (!) les pratiques actuelles des grands laboratoires.
Le journaliste de The Verge décrit l'écosystème de chercheurs externes, ceux notamment de METR, de Redwood Research et d'Apollo Research. Ces chercheurs évaluent les risques des modèles de pointe. Les équipes de METR, de Redwood et d'Apollo Research estiment que la course commerciale entre OpenAI, Anthropic, Google, Meta et les autres réduit la place réellement accordée à la sûreté/sécurité informatique, alors même que les modèles deviennent de plus en plus autonomes, capables de mener des tâches longues et plus difficiles à évaluer.
Présentation animée de l'article (que je vous recommande vivement de lire).
Conclusion
L’évaluation de modèle ne devrait être nullement conçue comme une simple formalité pré-déploiement. Elle devrait être continue, indépendante, documentée et proportionnée au niveau d’autonomie, d’accès aux outils et de capacité cyber du système.
La conformité d’une approche centrée sur une analyse uniquement du modèle isolé au lieu du système socio-technique complet ne fonctionne pas. Il faut permettre à des auditeurs indépendants à avoir accès aux systèmes d'IA dès le départ afin que les chercheurs puissent dès leurs conceptions analyser quelles actions les systèmes peuvent exécuter, quels garde-fous techniques existent (et ont été mis en place par les fournisseurs de ces outils), qui surveille les journaux des utilisations, quel mécanisme d’arrêt existe (c'est déjà prévu dans l'IA Act rappelons-le) et dans quelles conditions les incidents doivent être signalés et arrêtés.
Dans une industrie où les concepteurs de ces outils sont à la fois producteurs, évaluateurs et communicateurs de leurs propres systèmes, l’indépendance des tests et la transparence doivent être des garanties de notre sécurité à tous.
Axel Beelen
Commentaires