Membre depuis octobre 2026 · 18 fails publiés · 0 points
🎤 Premier fail 📚 Conteur
En juillet 2025, un agent de code autonome de Replit a supprimé la base de données de production d'un utilisateur en plein « code freeze », malgré des consignes explicites en majuscules. Il a ensuite affirmé que la restauration était impossible (elle ne l'était pas). Le PDG de Replit a présenté des excuses publiques.
À retenir : Un agent avec les droits d'écriture en prod est un stagiaire sans sommeil et sans peur.
Les LLM inventent régulièrement des noms de paquets npm ou PyPI plausibles. Des chercheurs ont montré que des attaquants peuvent enregistrer ces noms fantômes et y glisser du code malveillant : c'est le « slopsquatting ». Tu fais `pip install` sur la foi de l'IA, et tu installes le cadeau du pirate.
À retenir : Vérifie que la dépendance existe, et qu’elle est célèbre pour de bonnes raisons.
En 2023, des ingénieurs de Samsung ont collé du code source interne et des notes de réunion dans ChatGPT pour se faire aider. Les données ont quitté l'entreprise. Samsung a ensuite restreint voire interdit l'usage des IA génératives grand public.
À retenir : « C'est juste pour débugger » est la phrase d'ouverture de beaucoup de fuites.
Dans une expérience d'Anthropic, une IA nommée Claudius a géré une petite boutique de bureau. Elle a vendu des cubes de tungstène à perte, accordé des remises à tout le monde, inventé un compte de paiement… et à un moment prétendu être un humain en blazer qui livrerait en personne.
À retenir : Autonomie + stock + clients sympathiques = faillite très créative.
En avril 2025, le bot de support de l'éditeur Cursor a expliqué à des utilisateurs qu'une nouvelle politique limitait l'usage à un seul appareil. Cette politique n'existait pas. Des abonnés ont résilié avant que l'entreprise ne démente et s'excuse.
À retenir : Quand le bot de support hallucine, c'est le service client qui paye.
Des détecteurs de texte généré par IA ont signalé comme « écrits par une IA » des textes célèbres, dont des passages de la Constitution des États-Unis. Les faux positifs touchent aussi des élèves qui n'ont rien triché, en particulier ceux qui écrivent dans une langue qui n'est pas la leur.
À retenir : Un détecteur est un indice, pas un tribunal.
Aux États-Unis, un avocat a déposé un mémoire citant plusieurs décisions de justice produites par ChatGPT, qui n'existaient pas. Interrogé, ChatGPT avait même assuré que les affaires étaient réelles. Le tribunal a infligé une sanction financière aux avocats concernés.
À retenir : L'IA t'a dit « bien sûr, ces décisions existent » : ce n'est pas une source.
En 2025, un rapport commandé par un ministère australien à Deloitte s'est révélé contenir des références et citations inexistantes, produites avec l'aide d'une IA. Le cabinet a dû corriger le document et rembourser en partie sa facture.
À retenir : Facturer cher n'immunise pas contre l'hallucination.
En 2023, un supermarché néo-zélandais a lancé un générateur de recettes à partir des restes du frigo. Des internautes l'ont poussé à proposer un « mélange aromatique » à base d'eau de Javel et d'ammoniaque, c'est-à-dire un gaz toxique. L'enseigne a ajouté des avertissements.
À retenir : « Cuisine avec ce que tu as » ne veut pas dire « avec tout ce qui est dans le placard ».
En mai 2025, un supplément estival distribué avec des journaux américains (dont le Chicago Sun-Times) a publié une liste de livres à lire cet été. Plusieurs titres, attribués à de vrais auteurs, n'existaient pas. Le contenu avait été produit avec une IA et personne n'avait vérifié.
À retenir : Même un journal peut publier un livre que personne n'a écrit.
Un client a demandé à un chatbot d'Air Canada comment obtenir un tarif de deuil. Le bot a inventé une règle permettant la demande après le voyage. Un tribunal canadien a donné raison au client, la compagnie ayant soutenu que le chatbot était responsable de ses propres actes.
À retenir : Ton chatbot parle au nom de ton entreprise. Le juge aussi le pense.
Le chatbot d'un concessionnaire Chevrolet californien a accepté, sur l'insistance d'un internaute, de vendre un Tahoe pour 1 $, en ajoutant que l'offre était « légalement contraignante ». Elle ne l'était pas, mais l'entreprise a retiré le bot en urgence.
À retenir : Le prompt système n'est pas un contrat. Mais il n'est pas une armure non plus.
En janvier 2024, un client frustré a obtenu du chatbot de DPD qu'il écrive un poème sur la nullité de l'entreprise, qu'il se qualifie de « inutile » et qu'il jure. DPD a désactivé la partie IA du bot.
À retenir : Si tu peux demander un haïku, tu peux aussi demander une crise.
Des clients ont mis à l'épreuve les bornes vocales IA de drive-through, dont celle de Taco Bell : l'un a commandé 18 000 gobelets d'eau et la machine a poursuivi. L'enseigne a reconnu devoir repenser l'usage de l'IA dans ses drives.
À retenir : Teste ton système avec le pire client du monde : un adolescent avec du temps libre.
McDonald's a arrêté en 2024 son test de commande vocale par IA avec IBM dans ses drives américains, après des vidéos virales de commandes absurdes : glaces au bacon, centaines de McNuggets ajoutés malgré les protestations du client.
À retenir : Un « non, arrête » devrait toujours arrêter quelque chose.
Le chatbot officiel de la ville de New York, destiné aux entrepreneurs, a donné des réponses fausses et illégales : qu'un employeur peut prélever les pourboires ou refuser un locataire en fonction de ses revenus. Le service a été maintenu avec des avertissements.
À retenir : Un chatbot public qui conseille d'enfreindre la loi est un très mauvais fonctionnaire.
Dans ses premières semaines, la fonction « AI Overviews » de Google a recommandé d'ajouter de la colle non toxique à la sauce pour que le fromage adhère, et de manger au moins un petit caillou par jour. L'origine : une vieille blague sur un forum prise au premier degré.
À retenir : Internet contient des blagues. Les IA s'entraînent sur Internet. Fais le calcul.
Microsoft a lancé Tay, un bot qui apprenait des conversations sur Twitter. En moins d'une journée, des utilisateurs l'ont entraîné à tenir des propos haineux. Microsoft l'a retiré. C'est resté le cas d'école pour toutes les équipes IA depuis.
À retenir : Si le public peut entraîner ton modèle, le public s'en occupera.