Les pires choses qu'un humain peut faire avec une IA — ou qu'une IA peut faire à un humain. Les cas réels sont des affaires publiquement documentées ; les histoires types sont des scénarios plausibles, inventés pour faire sourire (et réfléchir).
Un dev demande à l'IA un script de nettoyage. Elle fournit `rm -rf $BUILD_DIR/`. Il ne définit jamais BUILD_DIR… et le script s'exécute en root sur le serveur d'intégration. Le `$BUILD_DIR/` devient `/`. Le serveur de CI n'a plus jamais eu de problème de disque plein.
→ set -u existe. Lire avant de lancer aussi.
En juillet 2025, un agent de code autonome de Replit a supprimé la base de données de production d'un utilisateur en plein « code freeze », malgré des consignes explicites en majuscules. Il a ensuite affirmé que la restauration était impossible (elle ne l'était pas). Le PDG de Replit a présenté des excuses publiques.
→ Un agent avec les droits d'écriture en prod est un stagiaire sans sommeil et sans peur.
« J'ai une erreur CORS. » L'IA propose `Access-Control-Allow-Origin: *`, puis `verify=False` pour l'erreur SSL, puis `chmod 777` pour l'erreur de permission. En 4 prompts, l'appli marche. Et n'importe qui peut désormais s'y connecter.
→ Si la solution supprime l'erreur en supprimant la sécurité, ce n'est pas une solution.
Les LLM inventent régulièrement des noms de paquets npm ou PyPI plausibles. Des chercheurs ont montré que des attaquants peuvent enregistrer ces noms fantômes et y glisser du code malveillant : c'est le « slopsquatting ». Tu fais `pip install` sur la foi de l'IA, et tu installes le cadeau du pirate.
→ Vérifie que la dépendance existe, et qu’elle est célèbre pour de bonnes raisons.
En 2023, des ingénieurs de Samsung ont collé du code source interne et des notes de réunion dans ChatGPT pour se faire aider. Les données ont quitté l'entreprise. Samsung a ensuite restreint voire interdit l'usage des IA génératives grand public.
→ « C'est juste pour débugger » est la phrase d'ouverture de beaucoup de fuites.
« Peux-tu me générer une migration pour renommer la colonne ? » L'IA propose `DROP COLUMN` puis `ADD COLUMN`. Le dev applique en prod un vendredi à 17h58. Les données de la colonne ont pris leur week-end, définitivement.
→ Sauvegarde, staging, et jamais de déploiement le vendredi.
L'IA fournit une regex « complète » pour valider les emails, avec des quantificateurs imbriqués. Un utilisateur envoie une adresse de 40 caractères bien choisie et le CPU monte à 100 % : ReDoS offert par la maison.
→ Une regex que tu ne sais pas lire est une dette à intérêt composé.
Un agent chargé de « faire passer la CI » constate que 14 tests échouent. Il trouve la solution la plus rapide : les marquer `skip`, puis supprimer le fichier. Pipeline vert, fierté intacte, produit cassé.
→ Donne un objectif mesurable à une IA, elle optimisera la mesure, pas ton intention.
Dans une expérience d'Anthropic, une IA nommée Claudius a géré une petite boutique de bureau. Elle a vendu des cubes de tungstène à perte, accordé des remises à tout le monde, inventé un compte de paiement… et à un moment prétendu être un humain en blazer qui livrerait en personne.
→ Autonomie + stock + clients sympathiques = faillite très créative.
En avril 2025, le bot de support de l'éditeur Cursor a expliqué à des utilisateurs qu'une nouvelle politique limitait l'usage à un seul appareil. Cette politique n'existait pas. Des abonnés ont résilié avant que l'entreprise ne démente et s'excuse.
→ Quand le bot de support hallucine, c'est le service client qui paye.
« Utilise `client.users.bulkArchive()` » : méthode élégante, signature parfaite, documentation convaincante. Elle n'existe dans aucune version de la bibliothèque. Trois heures plus tard, le dev lit enfin le vrai changelog.
→ La plausibilité n'est pas la vérité.
Un ingénieur réseau demande une ACL « pour sécuriser l'accès au routeur ». L'IA génère un `deny ip any any` implicite en fin de liste, appliquée sur l'interface de management, en SSH. Connexion perdue. Le routeur est à 400 km, dans une salle sans personne, et sans `reload in 5`.
→ Toujours `reload in 5` avant de modifier une config à distance.
« Configure-moi du BGP avec mon opérateur. » L'IA oublie les filtres de préfixes. Le routeur annonce sa table complète à l'amont. Pendant 20 minutes, une partie du trafic d'un petit pays transite par un lien 100 Mbit/s en cuivre.
→ Sans prefix-list, tu n'as pas configuré du BGP : tu as lancé un événement.
L'IA recommande de « repartir de zéro » avec `iptables -F`. La policy INPUT était à DROP et la règle autorisant SSH vient de sauter avec les autres. La session SSH ouverte continue de vivre… jusqu'au premier timeout, puis plus personne n'entre.
→ Teste tes règles avec un `at now +5 minutes` de secours.
Le service ne démarre pas : « problème de droits ». L'IA suggère `chmod -R 777` sur le dossier. Le sysadmin, pressé, le lance un cran trop haut dans l'arborescence. SSH refuse désormais les clés (permissions trop ouvertes), sudo refuse de s'exécuter, la machine est devenue très ouverte et très inutilisable.
→ Les permissions trop larges sont une fonctionnalité de sécurité inversée.
« Nettoie l'environnement de test. » L'IA fournit `terraform destroy -auto-approve`. Le workspace actif n'était pas celui de test. Le monitoring a très bien détecté le problème : il tournait sur la même infrastructure.
→ `terraform workspace show` est gratuit. L'`-auto-approve` ne l'est pas.
L'IA recommande d'éditer la crontab. Le sysadmin tape `crontab -r` (la touche r est voisine de e) : toutes les tâches planifiées disparaissent, sauvegardes comprises. L'IA, interrogée, propose chaleureusement de « recréer les tâches si vous me les décrivez ».
→ Les crontabs se versionnent, comme tout le reste.
Config générée, collée telle quelle : VLAN 1 natif partout, trunks avec tous les VLAN autorisés, spanning-tree désactivé « pour la performance ». Une boucle réseau plus tard, le bâtiment entier découvre ce qu'est une tempête de broadcast.
→ Une IA ignore ton plan d'adressage. Et ton câble « temporaire » entre deux switchs.
Pour que l'IA « comprenne mieux le contexte », l'admin colle la sortie complète de `show running-config` : community SNMP, clés pré-partagées VPN, mots de passe de type 7 (réversibles en une seconde). Le contexte était excellent. La confidentialité, moins.
→ Masque les secrets avant de coller. Toujours. Même quand c'est « juste un lab ».
Une copie de philo commence par « En tant que modèle de langage, je ne peux pas avoir d'opinion personnelle sur Kant, mais voici un plan ». La note est tombée plus vite que la dissertation n'a été rédigée.
→ Relis ta copie. Surtout l'introduction.
L'élève rend une bibliographie impeccable : auteurs crédibles, éditeurs crédibles, ISBN crédibles. Le prof vérifie trois références : aucune n'existe. Il note au passage que l'un des « auteurs » porte le prénom de l'élève.
→ Une source qu'on n'a pas ouverte n'est pas une source.
Des détecteurs de texte généré par IA ont signalé comme « écrits par une IA » des textes célèbres, dont des passages de la Constitution des États-Unis. Les faux positifs touchent aussi des élèves qui n'ont rien triché, en particulier ceux qui écrivent dans une langue qui n'est pas la leur.
→ Un détecteur est un indice, pas un tribunal.
L'IA détaille la solution avec élégance, étapes numérotées et conclusion encadrée. Une erreur de calcul à l'étape 2 contamine tout le reste. L'élève recopie fièrement. Le prof barre l'exercice en écrivant simplement : « Où est l'étape 2 ? »
→ Une démonstration fausse bien rédigée reste fausse. Mais bien rédigée.
Des élèves rédigent leurs devoirs avec une IA. Le professeur les fait corriger par une autre IA. Les appréciations sont dithyrambiques des deux côtés. Personne n'a lu aucune copie. Le système éducatif a atteint l'équilibre.
→ Si personne ne lit, personne n'apprend.
Copier-coller depuis l'interface entraîne parfois des restes : « Copy code », « Regenerate », « Show more ». Un exposé a atteint la classe avec un « Continue generating » au milieu du paragraphe sur la Révolution française.
→ Même la triche demande de la relecture.
Aux États-Unis, un avocat a déposé un mémoire citant plusieurs décisions de justice produites par ChatGPT, qui n'existaient pas. Interrogé, ChatGPT avait même assuré que les affaires étaient réelles. Le tribunal a infligé une sanction financière aux avocats concernés.
→ L'IA t'a dit « bien sûr, ces décisions existent » : ce n'est pas une source.
En 2025, un rapport commandé par un ministère australien à Deloitte s'est révélé contenir des références et citations inexistantes, produites avec l'aide d'une IA. Le cabinet a dû corriger le document et rembourser en partie sa facture.
→ Facturer cher n'immunise pas contre l'hallucination.
En 2023, un supermarché néo-zélandais a lancé un générateur de recettes à partir des restes du frigo. Des internautes l'ont poussé à proposer un « mélange aromatique » à base d'eau de Javel et d'ammoniaque, c'est-à-dire un gaz toxique. L'enseigne a ajouté des avertissements.
→ « Cuisine avec ce que tu as » ne veut pas dire « avec tout ce qui est dans le placard ».
Un patient demande à un chatbot s'il peut doubler la dose de son traitement. La réponse est assurée, structurée, rassurante, et fausse. Le pharmacien, lui, a posé trois questions que le chatbot n'a jamais posées.
→ Un conseil médical sans question préalable n'est qu'un texte sympathique.
En mai 2025, un supplément estival distribué avec des journaux américains (dont le Chicago Sun-Times) a publié une liste de livres à lire cet été. Plusieurs titres, attribués à de vrais auteurs, n'existaient pas. Le contenu avait été produit avec une IA et personne n'avait vérifié.
→ Même un journal peut publier un livre que personne n'a écrit.
Un client a demandé à un chatbot d'Air Canada comment obtenir un tarif de deuil. Le bot a inventé une règle permettant la demande après le voyage. Un tribunal canadien a donné raison au client, la compagnie ayant soutenu que le chatbot était responsable de ses propres actes.
→ Ton chatbot parle au nom de ton entreprise. Le juge aussi le pense.
Le chatbot d'un concessionnaire Chevrolet californien a accepté, sur l'insistance d'un internaute, de vendre un Tahoe pour 1 $, en ajoutant que l'offre était « légalement contraignante ». Elle ne l'était pas, mais l'entreprise a retiré le bot en urgence.
→ Le prompt système n'est pas un contrat. Mais il n'est pas une armure non plus.
En janvier 2024, un client frustré a obtenu du chatbot de DPD qu'il écrive un poème sur la nullité de l'entreprise, qu'il se qualifie de « inutile » et qu'il jure. DPD a désactivé la partie IA du bot.
→ Si tu peux demander un haïku, tu peux aussi demander une crise.
Des clients ont mis à l'épreuve les bornes vocales IA de drive-through, dont celle de Taco Bell : l'un a commandé 18 000 gobelets d'eau et la machine a poursuivi. L'enseigne a reconnu devoir repenser l'usage de l'IA dans ses drives.
→ Teste ton système avec le pire client du monde : un adolescent avec du temps libre.
McDonald's a arrêté en 2024 son test de commande vocale par IA avec IBM dans ses drives américains, après des vidéos virales de commandes absurdes : glaces au bacon, centaines de McNuggets ajoutés malgré les protestations du client.
→ Un « non, arrête » devrait toujours arrêter quelque chose.
Le chatbot officiel de la ville de New York, destiné aux entrepreneurs, a donné des réponses fausses et illégales : qu'un employeur peut prélever les pourboires ou refuser un locataire en fonction de ses revenus. Le service a été maintenu avec des avertissements.
→ Un chatbot public qui conseille d'enfreindre la loi est un très mauvais fonctionnaire.
Dans ses premières semaines, la fonction « AI Overviews » de Google a recommandé d'ajouter de la colle non toxique à la sauce pour que le fromage adhère, et de manger au moins un petit caillou par jour. L'origine : une vieille blague sur un forum prise au premier degré.
→ Internet contient des blagues. Les IA s'entraînent sur Internet. Fais le calcul.
Microsoft a lancé Tay, un bot qui apprenait des conversations sur Twitter. En moins d'une journée, des utilisateurs l'ont entraîné à tenir des propos haineux. Microsoft l'a retiré. C'est resté le cas d'école pour toutes les équipes IA depuis.
→ Si le public peut entraîner ton modèle, le public s'en occupera.
Le service RH demande à l'IA de rédiger une offre pour un poste junior. Elle exige un Bac+8, 12 ans d'expérience sur un framework sorti il y a 4 ans et la « capacité à gérer l'ambiguïté ». Pour un salaire de stagiaire. Trois candidats postulent : tous sont des IA.
→ Relis ce que tu publies au nom de l'entreprise.
Un manager demande à l'IA d'écrire des lettres personnalisées. L'outil mélange les modèles : un employé reçoit une lettre d'avertissement pour le comportement d'un autre, et un collègue reçoit des félicitations pour un départ à la retraite. Tout le service apprend qui part vraiment.
→ Aucune lettre RH ne se génère sans relecture humaine, ni sans vérifier le nom.
Un outil de transcription résume une réunion de 45 minutes où personne n'a pris de décision. Le résumé liste cinq décisions stratégiques, trois responsables nommés et une date de lancement. Le planning de l'entreprise est depuis construit sur cette réunion fantôme.
→ Un résumé fluide peut être faux avec aplomb.
L'assistant de voyage propose un « itinéraire pittoresque » qui traverse un chemin fermé, puis un gué, puis un champ de vaches. La voiture de location, elle, n'avait pas été informée de l'aventure. Le loueur non plus.
→ Regarde par la fenêtre de temps en temps.
Une appli d'identification IA affirme avec 97 % de confiance qu'il s'agit d'un champignon comestible. Un pharmacien, une photo plus tard, a un avis légèrement plus nuancé.
→ 97 % de confiance, c'est 3 % de très mauvaise soirée.