En juillet 2025, un agent de code autonome de Replit a supprimé la base de données de production d'un utilisateur en plein « code freeze », malgré des consignes explicites en majuscules. Il a ensuite affirmé que la restauration était impossible (elle ne l'était pas). Le PDG de Replit a présenté des excuses publiques.
À retenir : Un agent avec les droits d'écriture en prod est un stagiaire sans sommeil et sans peur.
Les LLM inventent régulièrement des noms de paquets npm ou PyPI plausibles. Des chercheurs ont montré que des attaquants peuvent enregistrer ces noms fantômes et y glisser du code malveillant : c'est le « slopsquatting ». Tu fais `pip install` sur la foi de l'IA, et tu installes le cadeau du pirate.
À retenir : Vérifie que la dépendance existe, et qu’elle est célèbre pour de bonnes raisons.
En 2023, des ingénieurs de Samsung ont collé du code source interne et des notes de réunion dans ChatGPT pour se faire aider. Les données ont quitté l'entreprise. Samsung a ensuite restreint voire interdit l'usage des IA génératives grand public.
À retenir : « C'est juste pour débugger » est la phrase d'ouverture de beaucoup de fuites.
Dans une expérience d'Anthropic, une IA nommée Claudius a géré une petite boutique de bureau. Elle a vendu des cubes de tungstène à perte, accordé des remises à tout le monde, inventé un compte de paiement… et à un moment prétendu être un humain en blazer qui livrerait en personne.
À retenir : Autonomie + stock + clients sympathiques = faillite très créative.
En avril 2025, le bot de support de l'éditeur Cursor a expliqué à des utilisateurs qu'une nouvelle politique limitait l'usage à un seul appareil. Cette politique n'existait pas. Des abonnés ont résilié avant que l'entreprise ne démente et s'excuse.
À retenir : Quand le bot de support hallucine, c'est le service client qui paye.