C'est effectivement arrivé en 2023 quand un avocat à New York a déposé un mémoire dans une affaire fédérale qui citait six précédents juridiques qui n'existaient pas. Quand le juge a découvert le problème et a demandé d'où venaient ces affaires, l'avocat a avoué qu'il avait utilisé ChatGPT pour l'aider dans ses recherches et que l'IA avait complètement fabriqué les citations. Apparemment, il avait juste copié ce que le chatbot avait généré sans vérifier quoi que ce soit contre les vrais dossiers judiciaires.
Ce qui est fou, c'est la facilité avec laquelle ça a pu passer inaperçu initialement. ChatGPT est vraiment convaincant quand il s'agit de sonner avec autorité - il va inventer avec confiance des noms de cas, des numéros de dossier et des citations qui semblent tout à fait légitimes si tu ne les vérifies pas réellement. L'avocat n'a pas fait de vérifications de base, ce qui... ouais, c'est de sa faute. Tu ne peux pas juste balancer une requête IA dans des dépôts judiciaires sans vérifier les faits pour chaque truc qu'elle produit. L'IA hallucine constamment et ne « sait » pas vraiment de quoi elle parle - c'est de la reconnaissance de motifs basée sur les données d'entraînement.
Ça a définitivement soulevé des drapeaux rouges concernant la façon dont les gens utilisaient ces outils sans réfléchir dans des situations à enjeux élevés. Les tribunaux l'ont pris assez au sérieux pour que certains juges commencent à avertir explicitement les avocats de ne pas se fier à l'IA pour la recherche juridique sans vérification humaine. L'affaire elle-même a fait face à des sanctions et c'est devenu une histoire préventive qui a circulé dans les milieux juridiques pendant un moment. C'est moins une question d'IA étant dangereuse dans les salles d'audience et plus une question de gens étant imprudents avec des outils qu'ils ne comprennent pas vraiment.
