Esto pasó en realidad en 2023 cuando un abogado en Nueva York presentó un escrito en un caso federal que citaba seis precedentes legales que no existían. Cuando el juez lo descubrió y le preguntó de dónde venían esos casos, el abogado admitió que había usado ChatGPT para ayudarse en la investigación y la IA había fabricado completamente las citas. Al parecer simplemente copió lo que generó el chatbot sin verificar nada contra registros judiciales reales.
Lo más loco es lo fácil que fue que esto pasara inadvertido al principio. ChatGPT es genuinamente convincente en sonar con autoridad - generará con confianza nombres de casos, números de expediente y citas que suenan totalmente legítimas si no las buscas realmente. El abogado no hizo verificaciones básicas, lo cual... bueno, eso es culpa suya. No puedes simplemente meter el resultado de un prompt de IA en escritos legales sin verificar cada cosa que produce. La IA alucina constantemente y en realidad no "sabe" de qué está hablando - es reconocimiento de patrones basado en datos de entrenamiento.
Definitivamente activó las alarmas sobre cómo la gente estaba usando estas herramientas sin cuidado en situaciones de alto riesgo. Los tribunales se lo tomaron en serio al punto que algunos jueces empezaron a advertir explícitamente a los abogados que no confiaran en la IA para investigación legal sin verificación humana. El caso en sí enfrentó sanciones y se convirtió en una historia de advertencia que circuló por los círculos legales por un tiempo. Se trata menos de que la IA sea peligrosa en las cortes y más de que la gente sea imprudente con herramientas que no entienden completamente.