Это действительно произошло в 2023 году, когда адвокат из Нью-Йорка подал ходатайство в федеральный суд со ссылками на шесть судебных прецедентов, которых не существовало. Когда судья это заметил и спросил, откуда взялись эти дела, адвокат признался, что использовал ChatGPT для помощи в исследовании, и искусственный интеллект полностью выдумал ссылки. Похоже, он просто скопировал то, что сгенерировал чатбот, без проверки по реальным судебным записям.
Самое дикое - насколько легко это прошло изначально. ChatGPT действительно убедительно звучит как авторитетный источник - с уверенностью выдумывает названия дел, номера реестров и цитаты, которые звучат совершенно легитимно, если ты их не проверишь. Адвокат не провёл базовую проверку фактов, что... ну да, это его ошибка. Нельзя просто выкидывать запросы в ChatGPT в судебные документы без проверки каждой строки, которую он сгенерирует. ИИ постоянно галлюцинирует и на самом деле не «знает», о чём говорит - это просто сопоставление паттернов на основе данных обучения.
Это определённо вызвало тревогу по поводу того, как люди беспечно используют эти инструменты в критически важных ситуациях. Суды воспринял это серьёзно настолько, что некоторые судьи начали явно предупреждать адвокатов не полагаться на ИИ для юридических исследований без проверки человеком. Само дело понесло санкции и превратилось в поучительный пример, который долго циркулировал в юридических кругах. Это скорее не о том, что ИИ опасен в судах, а о том, что люди неосторожно обращаются с инструментами, которые не полностью понимают.