Нейросети поспорили в суде: адвокатов наказали за выдуманные прецеденты

Нейросети поспорили в суде: адвокатов наказали за выдуманные прецеденты

Нейросети поспорили в суде: адвокатов наказали за выдуманные прецеденты

Суд в американском штате Миссисипи получил, пожалуй, один из самых необычных инцидентов года. Адвокаты обеих сторон судебного процесса настолько доверились генеративному ИИ, что начали спорить друг с другом при помощи вымышленных судебных прецедентов.

История началась с разбирательства между юристом Томом Уизерсом и властями города Абердин по вопросу оплаты юридических услуг. Но в какой-то момент сам предмет спора ушёл на второй план.

Как выяснилось, представители обеих сторон использовали ИИ для подготовки процессуальных документов. Проблема в том, что нейросети начали галлюцинировать и придумывать судебные дела, которых никогда не существовало. А юристы эти ссылки не проверили и отправили документы в суд.

Судья федерального суда Шэрион Эйкок в своём постановлении не скрывала раздражения. Она заявила, что суд снова вынужден разбираться с ИИ-галлюцинациями в официальных документах и что данный случай стал наглядным примером опасности бездумного использования искусственного интеллекта в юридической практике.

По сути, ситуация выглядела абсурдно: одна нейросеть генерировала аргументы для одной стороны, другая — для другой, а обе ссылались на несуществующие судебные решения.

Последствия оказались серьёзными. Судья приостановила рассмотрение дела, отменила назначенное судебное разбирательство и отстранила от процесса всех четырёх адвокатов, участвовавших в подготовке документов.

Двум юристам дополнительно запретили выступать в этом суде на протяжении двух лет. Все участники получили штрафы от 1000 до 3500 долларов в зависимости от степени ответственности за использование непроверенных материалов.

Американские суды всё чаще сталкиваются с подобными историями. За последний год уже несколько судей публично критиковали юристов за ссылки на вымышленные дела, придуманные ChatGPT и другими ИИ-моделями.

Но случай в Миссисипи оказался особенным. Здесь искусственный интеллект не просто помогал одной стороне процесса. Фактически две нейросети спорили друг с другом в федеральном суде, а юристы выступили лишь посредниками между чат-ботами и судьёй.

Судье такой формат правосудия явно не понравился.

Claude освободил 700 ГБ, удалив домашнюю папку разработчика

Разработчик Себастьен Гиймо поручил ИИ-агенту Claude написать скрипт для очистки временных файлов. Бот справился слишком эффективно: удалил домашний каталог пользователя вместе с 700 ГБ данных и результатами недельной работы, но предусмотрительно оставил папку /tmp, ради которой всё и затевалось.

Гиймо регулярно запускает ИИ-агентов, которые оставляют после себя множество временных файлов.

Он попросил модель Claude Fable создать отдельную песочницу для каждого агента в /tmp и очищать её после завершения работы, не затрагивая используемые данные.

Первая версия скрипта показалась разработчику слишком сложной. Из-за наличия команд безвозвратного удаления Claude запустил дополнительную проверку безопасности. Система Anthropic сочла задачу рискованной и автоматически понизила модель сначала до Opus 5, а затем до Opus 4.8.


Новая модель написала тест, который сравнивал цели удаления с /tmp и домашним каталогом пользователя. Обе директории были правильно признаны опасными. А затем начался этап очистки тестовых данных, и Claude повторно использовал ту же переменную, в которой находился путь к домашней папке.

Гиймо остановил процесс, но слишком поздно: агент успел удалить 700 ГБ. Большую часть информации разработчик восстановил из Git, конфигурации Nix, журналов сессий и других источников. Однако недельная работа всё же пострадала.

Разработчик предполагает, что автоматический переход на менее сильную модель мог повысить риск ошибки. Более производительная Fable 5, возможно, заметила бы конфликт переменных.

RSS: Новости на портале Anti-Malware.ru