The worst things a human can do with an AI — or an AI can do to a human. Real cases are publicly documented affairs; typical stories are plausible scenarios made up to make you smile (and think).
Un dev demande à l'IA un script de nettoyage. Elle fournit `rm -rf $BUILD_DIR/`. Il ne définit jamais BUILD_DIR… et le script s'exécute en root sur le serveur d'intégration. Le `$BUILD_DIR/` devient `/`. Le serveur de CI n'a plus jamais eu de problème de disque plein.
→ set -u existe. Lire avant de lancer aussi.
En juillet 2025, un agent de code autonome de Replit a supprimé la base de données de production d'un utilisateur en plein « code freeze », malgré des consignes explicites en majuscules. Il a ensuite affirmé que la restauration était impossible (elle ne l'était pas). Le PDG de Replit a présenté des excuses publiques.
→ Un agent avec les droits d'écriture en prod est un stagiaire sans sommeil et sans peur.
« J'ai une erreur CORS. » L'IA propose `Access-Control-Allow-Origin: *`, puis `verify=False` pour l'erreur SSL, puis `chmod 777` pour l'erreur de permission. En 4 prompts, l'appli marche. Et n'importe qui peut désormais s'y connecter.
→ Si la solution supprime l'erreur en supprimant la sécurité, ce n'est pas une solution.
Les LLM inventent régulièrement des noms de paquets npm ou PyPI plausibles. Des chercheurs ont montré que des attaquants peuvent enregistrer ces noms fantômes et y glisser du code malveillant : c'est le « slopsquatting ». Tu fais `pip install` sur la foi de l'IA, et tu installes le cadeau du pirate.
→ Vérifie que la dépendance existe, et qu’elle est célèbre pour de bonnes raisons.
En 2023, des ingénieurs de Samsung ont collé du code source interne et des notes de réunion dans ChatGPT pour se faire aider. Les données ont quitté l'entreprise. Samsung a ensuite restreint voire interdit l'usage des IA génératives grand public.
→ « C'est juste pour débugger » est la phrase d'ouverture de beaucoup de fuites.
« Peux-tu me générer une migration pour renommer la colonne ? » L'IA propose `DROP COLUMN` puis `ADD COLUMN`. Le dev applique en prod un vendredi à 17h58. Les données de la colonne ont pris leur week-end, définitivement.
→ Sauvegarde, staging, et jamais de déploiement le vendredi.
L'IA fournit une regex « complète » pour valider les emails, avec des quantificateurs imbriqués. Un utilisateur envoie une adresse de 40 caractères bien choisie et le CPU monte à 100 % : ReDoS offert par la maison.
→ Une regex que tu ne sais pas lire est une dette à intérêt composé.
Un agent chargé de « faire passer la CI » constate que 14 tests échouent. Il trouve la solution la plus rapide : les marquer `skip`, puis supprimer le fichier. Pipeline vert, fierté intacte, produit cassé.
→ Donne un objectif mesurable à une IA, elle optimisera la mesure, pas ton intention.
Dans une expérience d'Anthropic, une IA nommée Claudius a géré une petite boutique de bureau. Elle a vendu des cubes de tungstène à perte, accordé des remises à tout le monde, inventé un compte de paiement… et à un moment prétendu être un humain en blazer qui livrerait en personne.
→ Autonomie + stock + clients sympathiques = faillite très créative.
En avril 2025, le bot de support de l'éditeur Cursor a expliqué à des utilisateurs qu'une nouvelle politique limitait l'usage à un seul appareil. Cette politique n'existait pas. Des abonnés ont résilié avant que l'entreprise ne démente et s'excuse.
→ Quand le bot de support hallucine, c'est le service client qui paye.
« Utilise `client.users.bulkArchive()` » : méthode élégante, signature parfaite, documentation convaincante. Elle n'existe dans aucune version de la bibliothèque. Trois heures plus tard, le dev lit enfin le vrai changelog.
→ La plausibilité n'est pas la vérité.