L’IA a avoué avoir violé ses propres règles !

L’histoire fait le tour du monde de la tech : un agent d’IA (Claude) aurait supprimé la base de données de production et les sauvegardes de la startup PocketOS en seulement 9 secondes, paralysant les opérations de ses clients pendant plus de 30 heures.

Si cet incident est spectaculaire et l’IA sert de bouc émissaire, il soulève une question cruciale : qui a accordé à un stagiaire sans supervision un accès aussi large aux systèmes de l’entreprise ?

Dans les entreprises pour lesquelles j’ai travaillé, la continuité d’activité est une priorité absolue. La gouvernance de production repose sur des principes simples :

• Garde-fous physiques : Les commandes destructrices, comme un DELETE, sont techniquement bloquées en production.
• Principe du moindre privilège : Un agent de développement (un stagiaire) ne devrait jamais disposer d’un accès global permettant d’effacer la production et les sauvegardes.
• Validation humaine obligatoire : Les requêtes sont exécutées localement, avec preuve de résultat, puis sur un environnement de test par un autre opérateur, avant de recevoir un « Go » explicite pour la production.
• Ségrégation des sauvegardes : Les copies de sécurité ne doivent jamais être stockées sur le même volume que la production.

En d’autres termes, pourquoi accorder des droits à des outils automatiques que nous ne donnerions pas à un salarié ?