Zenn·IA · Découverte · Le revers

Là où ça a raté.

Quatre affaires réelles, dont deux jugées. On ne vous les montre pas pour vous faire peur — mais parce qu'une formation qui ne montre que ce qui marche n'est pas une formation.

Découverte · aucun prérequis ~20 min

Pourquoi ce module existe

Tout le monde vous montrera les réussites. Personne ne vous montrera ça.

Vous venez de voir douze secteurs où l'IA produit des résultats mesurés. Si on s'arrêtait là, vous repartiriez avec une image fausse — et vous vous feriez avoir la première fois que ça dérape chez vous.

⚖️ Le test honnête

Un formateur qui ne peut citer aucun échec documenté n'a pas étudié son sujet, ou il vous vend quelque chose. Posez-lui la question. C'est aussi valable pour nous : voici les nôtres.

Les quatre affaires de ce module sont publiques. Trois ont donné lieu à une décision formelle — deux de justice, une d'autorité de régulation — référencée et consultable.

La carte du module

Il n'y a que trois façons de se planter.

Façon 1

L'invention

L'IA produit une information fausse, présentée avec le même aplomb qu'une vraie. Personne ne vérifie.

Cas : deux avocats, New York, 2023

Façon 2

La promesse

Votre outil dit quelque chose à un client. Ce qu'il dit vous engage, même si vous ne l'avez pas écrit.

Cas : Air Canada, 2024

Façon 3

Le biais

Le modèle apprend sur votre passé. Si votre passé était injuste, il apprend l'injustice — et la répète.

Cas : Amazon, 2018

Retenez ces trois mots. Tout le reste du module les illustre, et les trois réflexes de la fin les désamorcent.

Façon 1 · l'invention

Six décisions de justice. Aucune n'existait.

5 000 $ d'amende

Deux avocats new-yorkais et leur cabinet ont été sanctionnés par le tribunal fédéral du district sud de New York pour avoir déposé un mémoire citant des décisions de justice qui n'existaient pas : ChatGPT les avait inventées, avec leurs numéros et leurs citations. Interrogé, l'outil avait confirmé qu'elles étaient authentiques.

06/2023 · Mata v. Avianca, Inc., S.D.N.Y. — ordonnance de sanctions du juge P. Kevin Castel, 22 juin 2023

Comment on en arrive là

À aucun moment quelqu'un n'a ouvert un lien.

Étape 1

Un avocat demande à ChatGPT de trouver des précédents favorables à son client. L'outil en produit six, parfaitement formatés.

Étape 2

Un doute, quand même. Il demande à ChatGPT : « ces affaires sont-elles réelles ? » L'outil répond que oui.

Étape 3

Le mémoire est déposé. La partie adverse cherche les décisions citées. Elle n'en trouve aucune.

Étape 4

Le tribunal sanctionne les avocats et leur cabinet. L'affaire fait le tour du monde.

L'erreur exacte — demander à l'outil de se vérifier lui-même.

Ce qu'il fallait faire — ouvrir les six liens. Quinze minutes. Une IA qui invente une source invente aussi la confirmation que la source existe : c'est le même mécanisme.

Façon 2 · la promesse qui engage

Son chatbot a promis un tarif. L'entreprise a payé.

l'entreprise paie

Le tribunal civil de Colombie-Britannique a jugé Air Canada responsable des informations erronées données par son agent conversationnel à un passager sur les tarifs de deuil, et l'a condamnée à l'indemniser. La compagnie avait plaidé que son chatbot était « une entité juridique distincte, responsable de ses propres actes » — l'argument a été rejeté.

02/2024 · Moffatt v. Air Canada, 2024 BCCRT 149 — Civil Resolution Tribunal de Colombie-Britannique, 14 février 2024

Le montant en jeu est dérisoire, et c'est justement l'intérêt : ce qui compte est le principe posé. Ce que votre agent conversationnel affirme vous engage.

Le montant en jeu est dérisoire — quelques centaines de dollars. C'est le principe qui compte, et il est désormais posé.

La défense

L'argument à ne jamais tenter.

« Le chatbot est une entité juridique distincte, responsable de ses propres actes. »

— en substance, la défense d'Air Canada devant le tribunal

Rejeté. Le tribunal a retenu que l'entreprise reste responsable de toute l'information publiée sur son site — qu'elle vienne d'une page statique ou d'un agent conversationnel.

Traduisez-le chez vous : si vous branchez une IA en contact avec vos clients, ce qu'elle dit, c'est vous qui le dites.

Façon 3 · le biais hérité

Il a appris votre passé. Y compris ses travers.

outil abandonné

Amazon a abandonné un outil interne de tri automatique des CV après avoir constaté qu'il défavorisait systématiquement les candidatures féminines. Le modèle avait appris sur dix ans de CV reçus, majoritairement masculins : il avait donc appris que « masculin » ressemblait à un signal de réussite.

10/2018 · Reuters — enquête du 10 octobre 2018 sur l'outil expérimental de recrutement d'Amazon

Source de presse, pas un document primaire. Amazon a indiqué que l'outil n'avait jamais été le seul critère de sélection.

Source de presse, pas une décision de justice — on vous le dit, parce que ce n'est pas le même niveau de preuve que les deux affaires précédentes.

Ce que ça veut dire chez vous

Le modèle ne juge pas. Il imite.

Personne chez Amazon n'a programmé « écarter les femmes ». L'outil a simplement reproduit une régularité qu'il a trouvée dans les données. C'est ça, un biais : pas une intention, une imitation.

Données d'apprentissage — les exemples passés sur lesquels le modèle s'est entraîné. Elles décident de ce qu'il considère comme « normal ».

Biais — une régularité du passé que le modèle reproduit, sans savoir si elle était juste.

🏭 Chez vous

Vous faites trier vos candidatures, vos devis ou vos réclamations par une IA entraînée sur vos décisions passées. Question à se poser avant, pas après : mes décisions passées, étaient-elles toutes bonnes ?

Un quatrième cas, différent des trois

Cette fois, ce n'est pas l'utilisateur. C'est l'éditeur du modèle.

L'avocat, la compagnie aérienne, Amazon : dans les trois cas précédents, c'est celui qui déploie l'IA qui répond de ses actes. Cette affaire-ci vise directement l'éditeur — OpenAI — pour la manière dont le modèle a été entraîné.

15 M€, puis suspendue en appel

Le régulateur italien de la protection des données a sanctionné OpenAI de 15 millions d'euros et lui a imposé six mois de campagne d'information publique — radio, télévision, presse, internet. Quatre manquements retenus : une violation de données de mars 2023 non notifiée, l'entraînement de ChatGPT sur des données personnelles sans base légale identifiée au préalable, un défaut de transparence envers les utilisateurs, et l'absence de vérification d'âge exposant des enfants de moins de 13 ans. **Mais l'affaire n'est pas close** : saisi par OpenAI, le tribunal de Rome a suspendu l'exécution de la sanction le 21 mars 2025, sous condition de consignation, et le fond reste à juger.

12/2024 · Garante per la protezione dei dati personali — communiqué du 20/12/2024 (décision n° 755 du 02/11/2024)

L'amende ne se lit pas seule : le service avait d'abord été suspendu en Italie. Et la décision d'un régulateur n'est pas définitive tant que le juge n'a pas tranché. Ce que le cas établit : entraîner un modèle sur des données personnelles sans base légale est attaquable.

Le piège, ici, serait de citer le chiffre seul — 15 M€ — et de s'arrêter là.

Ce que la nuance change — la sanction a été suspendue en appel par le tribunal de Rome en mars 2025, le fond reste à juger. Répéter « OpenAI condamné à 15 M€ » sans le dire serait exactement l'erreur que ce module enseigne à éviter : un fait vrai, sorti de son contexte, devient une désinformation. Vérifiez avant de répéter — même une source primaire, jusqu'au bout.

Le fil rouge des quatre affaires

Dans tous les cas, l'IA n'est pas coupable.

L'avocat n'a pas ouvert les six liens qu'il citait. L'outil a inventé ; c'est l'humain qui a signé.

La compagnie a mis un agent en contact avec ses clients sans encadrer ce qu'il avait le droit d'affirmer.

L'entreprise a entraîné un modèle sur ses données sans se demander ce qu'elles contenaient.

L'éditeur répond, lui aussi, de la façon dont il a entraîné et exposé son modèle — et sa sanction n'est définitive que si le juge la confirme.

Aucun tribunal n'a condamné une IA — ça n'existe pas. La responsabilité reste, entièrement, chez celui qui publie, qui déploie, qui entraîne, ou qui signe. C'est une mauvaise nouvelle et une excellente : ça veut dire que c'est entre vos mains.

La conclusion à ne pas tirer

« Donc il ne faut pas y toucher. » Non.

Ce que ces affaires prouvent

Qu'un outil puissant sans vérification humaine produit des dégâts — comme n'importe quel outil puissant.

Ce qu'elles ne prouvent pas

Que l'outil est inutile. Le module précédent montrait un essai clinique sur 105 934 femmes. Les deux sont vrais en même temps.

Le piège symétrique — se servir de ces affaires pour tout refuser. C'est aussi paresseux que de tout accepter.

La position juste — l'IA propose, l'humain dispose, et l'humain reste responsable. Les trois réflexes de la slide suivante suffisent à couvrir les trois façons de rater.

À emporter

Trois réflexes, trois façons désamorcées.

1Contre l'invention — tout fait, tout chiffre, tout nom que l'IA vous donne, vous l'ouvrez à la source avant de le transmettre. Jamais en redemandant à l'IA.
2Contre la promesse — avant de mettre une IA face à vos clients, écrivez noir sur blanc ce qu'elle a le droit d'affirmer, et ce qu'elle doit renvoyer à un humain.
3Contre le biais — avant d'automatiser une décision sur vos données passées, demandez-vous ce que ces données contiennent. Et gardez un humain sur les décisions qui touchent des personnes.

Pourquoi une IA invente → S1 Encadrer, RGPD, AI Act → S9 Votre cas à vous → module « Et vous ? »

Toutes les sources de ce module

Trois décisions, une enquête. Vérifiables.

Affaire	Date	Référence	Niveau de preuve
Décisions inventées	22 juin 2023	Mata v. Avianca, Inc. — S.D.N.Y., juge P. Kevin Castel	décision de justice
Chatbot qui engage	14 février 2024	Moffatt v. Air Canada — 2024 BCCRT 149	décision de justice
Tri de CV biaisé	10 octobre 2018	Reuters — enquête	presse
Éditeur sanctionné, puis suspendu	20 déc. 2024 · appel 21 mars 2025	Garante per la protezione dei dati personali — décision n° 755	décision d'autorité, en appel

Aucune capture d'écran dans ce module : les bases juridiques (CanLII, CourtListener), les sites de presse et le régulateur italien ne se laissent pas copier. Les références ci-dessus se vérifient à la main, en une recherche. Nous vous encourageons à le faire.

Suite du parcours : « Et vous ? » →