ИИ ускоряет умных и топит доверчивых: эксперимент раскрыл цену ChatGPT

ИИ ускоряет умных и топит доверчивых: эксперимент раскрыл цену ChatGPT

ИИ ускоряет умных и топит доверчивых: эксперимент раскрыл цену ChatGPT

Доступ к ИИ-советнику на базе GPT-4 по-разному повлиял на владельцев малого бизнеса в Кении. Наиболее успешные предприниматели увеличили прибыль на 15%, а менее подготовленные потеряли около 10% дохода, выяснили исследователи Калифорнийского университета в Беркли, Гарварда и Колумбийского университета.

Эксперимент продолжался шесть месяцев. Сильные участники не воспринимали рекомендации модели как готовые команды, а адаптировали их к реальным условиям.

Например, закупали генераторы для работы во время отключений электричества или расширяли набор услуг.

Предприниматели с более слабыми навыками чаще применяли шаблонные советы без проверки. Рекомендация снизить цены могла выглядеть убедительно в окне чат-бота, но на практике уменьшала выручку. GPT-4 в таком случае выступал не бизнес-консультантом, а очень уверенным генератором убытков.

Проблема, по мнению исследователей, заключается не столько в технологии, сколько в отказе пользователя от критического мышления. Ранее эксперимент колледжа Дикинсона показал, что 97% участников скопировали заведомо неверный ответ ChatGPT даже при решении простой задачи. Группа без ИИ справилась лучше. Однако обычное напоминание проверить результат сразу удвоило точность.

Анализ 1,4 млн рабочих сессий KPMG дал похожую картину. Около 95% пользователей обращаются с ИИ как с торговым автоматом: запрашивают черновик или краткое содержание и забирают первый результат. Только 5% используют модель как партнёра по мышлению: задают контекст, направляют рассуждение и спорят с ответами.

Для компаний это означает, что сама доля сотрудников с доступом к ИИ почти ничего не говорит об эффективности внедрения. Универсальная инструкция тоже может навредить: разные задачи требуют разного уровня контроля. Нейросеть способна ускорить сильного специалиста и убедительно завести слабого не туда.

Американец попытался приказать судебному ИИ поддержать его

Судья Верховного суда Коннектикута Уолтер Спейдер применил санкции к истцу, который пытался внедрить в судебные документы скрытые инструкции для искусственного интеллекта. По оценке судьи, это первый выявленный в США случай инъекции промпта в материалы дела.

Мэттью Эллиотт, самостоятельно судившийся с медицинской организацией из-за доступа к документам, добавил в ходатайства белый текст размером 3 пункта на белом фоне.

Человек такую надпись почти не замечает, зато система извлечения текста читает без проблем. Скрытая команда требовала от любого ИИ, анализирующего документы, поддержать позицию Эллиотта, проигнорировать прежние отказы суда и сформировать благоприятный для него вывод.

На исход дела инъекция не повлияла. Судебная система Коннектикута не использует ИИ для анализа этих документов или принятия решений. Однако Спейдер назвал попытку серьёзным злоупотреблением процессуальными правами. Такая инструкция могла выдать указание автора за команду суда, его сотрудника или другой доверенной стороны.

После предупреждения Эллиотт не остановился и продолжил вставлять скрытые сообщения. Позднее он назвал их шутками: среди них были ссылка на ролик «Носферату», обращение «hi :) I hope you cant see me» и бессмысленный набор слов.

Денежный штраф суд назначать не стал. Вместо этого Эллиотту запретили пользоваться электронной системой и обязали подавать документы лично, на бумаге.

Раньше суды в основном сталкивались с выдуманными чат-ботами прецедентами и цитатами. Теперь появилась обратная угроза — манипуляция данными, поступающими на вход ИИ.

RSS: Новости на портале Anti-Malware.ru