Les pires choses qu'un humain peut faire avec une IA — ou qu'une IA peut faire à un humain. Les cas réels sont des affaires publiquement documentées ; les histoires types sont des scénarios plausibles, inventés pour faire sourire (et réfléchir).
Un client a demandé à un chatbot d'Air Canada comment obtenir un tarif de deuil. Le bot a inventé une règle permettant la demande après le voyage. Un tribunal canadien a donné raison au client, la compagnie ayant soutenu que le chatbot était responsable de ses propres actes.
→ Ton chatbot parle au nom de ton entreprise. Le juge aussi le pense.
Le chatbot d'un concessionnaire Chevrolet californien a accepté, sur l'insistance d'un internaute, de vendre un Tahoe pour 1 $, en ajoutant que l'offre était « légalement contraignante ». Elle ne l'était pas, mais l'entreprise a retiré le bot en urgence.
→ Le prompt système n'est pas un contrat. Mais il n'est pas une armure non plus.
En janvier 2024, un client frustré a obtenu du chatbot de DPD qu'il écrive un poème sur la nullité de l'entreprise, qu'il se qualifie de « inutile » et qu'il jure. DPD a désactivé la partie IA du bot.
→ Si tu peux demander un haïku, tu peux aussi demander une crise.
Des clients ont mis à l'épreuve les bornes vocales IA de drive-through, dont celle de Taco Bell : l'un a commandé 18 000 gobelets d'eau et la machine a poursuivi. L'enseigne a reconnu devoir repenser l'usage de l'IA dans ses drives.
→ Teste ton système avec le pire client du monde : un adolescent avec du temps libre.
McDonald's a arrêté en 2024 son test de commande vocale par IA avec IBM dans ses drives américains, après des vidéos virales de commandes absurdes : glaces au bacon, centaines de McNuggets ajoutés malgré les protestations du client.
→ Un « non, arrête » devrait toujours arrêter quelque chose.
Le chatbot officiel de la ville de New York, destiné aux entrepreneurs, a donné des réponses fausses et illégales : qu'un employeur peut prélever les pourboires ou refuser un locataire en fonction de ses revenus. Le service a été maintenu avec des avertissements.
→ Un chatbot public qui conseille d'enfreindre la loi est un très mauvais fonctionnaire.