Isso realmente aconteceu em 2023 quando um advogado em Nova York apresentou uma petição em um caso federal que citava seis precedentes legais que não existiam. Quando o juiz descobriu e perguntou de onde esses casos vinham, o advogado admitiu que havia usado o ChatGPT para ajudar na pesquisa e a IA havia fabricado completamente as citações. Aparentemente ele só copiou o que o chatbot gerou sem verificar nada contra os registros reais do tribunal.
O absurdo é como foi fácil isso passar despercebido inicialmente. O ChatGPT é genuinamente convincente em soar autoridade - vai confiantemente inventar nomes de casos, números de protocolo e citações que parecem totalmente legítimas se você não verificar de verdade. O advogado não fez verificações básicas, o que... bom, isso é culpa dele. Você não pode simplesmente jogar um prompt de IA em petições legais sem verificar cada coisa que ele produz. IA alucina constantemente e não "sabe" realmente do que está falando - é correspondência de padrões com base em dados de treinamento.
Definitivamente levantou alertas sobre como as pessoas estavam usando essas ferramentas de forma descuidada em situações críticas. Os tribunais levaram a sério o suficiente para alguns juízes começarem a avisar explicitamente os advogados a não confiar em IA para pesquisa legal sem verificação humana. O caso em si enfrentou sanções e virou uma história de alerta que circulou por um tempo nos círculos jurídicos. É menos sobre IA ser perigosa em tribunais e mais sobre pessoas sendo imprudentes com ferramentas que não entendem completamente.