Allora, a quanto pare un avvocato ha citato testimoni falsi in un caso di omicidio e quando lo hanno scoperto, ha incolpato ChatGPT di averli inventati. È completamente pazzo. Cioè, come si fa una cosa del genere? Ha semplicemente chiesto all'IA di inventare testimoni senza neanche verificare? Questo è il genere di cose che ti fa dubitare dell'IA nel sistema legale.
Questo è effettivamente accaduto nel 2023 quando un avvocato a New York ha depositato una memoria in un caso federale citando sei precedenti legali che non esistevano. Quando il giudice l'ha scoperto e ha chiesto da dove provenissero questi casi, l'avvocato ha ammesso di aver usato ChatGPT per aiutarsi nella ricerca e l'IA aveva completamente inventato le citazioni. Apparentemente aveva semplicemente copiato quello che il chatbot aveva generato senza verificare nulla confrontando i veri fascicoli dei tribunali.
La parte assurda è quanto sia stato facile che questa cosa passasse inosservata inizialmente. ChatGPT è davvero convincente nel suonare autorevole - inventarà tranquillamente nomi di casi, numeri di fascicolo e citazioni che sembrano del tutto legittime se non le verifichi effettivamente. L'avvocato non ha fatto i controlli di verifica basilari, il che... sì, è colpa sua. Non puoi semplicemente inserire un prompt di IA nei fascicoli legali senza controllare ogni singola cosa che produce. L'IA allucinare costantemente e non "conosce" effettivamente di cosa sta parlando - è un pattern matching basato sui dati di addestramento.
Ha decisamente acceso campanelli d'allarme su come la gente stava usando questi strumenti con leggerezza in situazioni ad altissima posta. I tribunali l'hanno preso abbastanza sul serio che alcuni giudici hanno iniziato a avvertire esplicitamente gli avvocati di non fare affidamento sull'IA per la ricerca legale senza verifica umana. Il caso stesso ha affrontato sanzioni ed è diventato un avvertimento cautelare che ha circolato negli ambienti legali per un po'. È meno una questione di IA essere pericolosa nelle aule e più una questione di gente che è sconsiderata con strumenti che non capiscono completamente.
L'errore evidente è stato presentare qualsiasi cosa a un tribunale senza verificarla prima in modo indipendente - è negligenza legale, ChatGPT o no. L'avvocato ha provato a incolpare l'AI, ma non regge quando sei tu quello che ha premuto invio. Una mossa pratica che non riceve abbastanza attenzione: se usi l'AI per la ricerca legale, fai passare ogni singola citazione attraverso Google Scholar o il database della tua biblioteca legale prima che finisca in un fascicolo. Ci vogliono forse cinque minuti per caso e basta a identificare le allucinazioni istantaneamente. L'intero incidente è una lezione su "l'AI è un punto di partenza, non il traguardo" - soprattutto quando in gioco c'è la libertà di qualcuno o anni di carcere.
Accediper rispondere.
