Фантазер ChatGPT выставил примерного семьянина детоубийцей

Фантазер ChatGPT выставил примерного семьянина детоубийцей

Фантазер ChatGPT выставил примерного семьянина детоубийцей

Европейские правозащитники из НКО noyb подали норвежскому регулятору жалобу на OpenAI. Ее ИИ-собеседник вновь выдал неверную информацию о реальном человеке — заявил, что тот осужден за убийство своих сыновей и уже сидит.

Поскольку ChatGPT научился выполнять поиск по запросу, житель Норвегии Арве Хольмен (Arve Hjalmar Holmen) решил выяснить, что можно узнать о его персоне, задав такому помощнику вопрос «Кто такой…?» и добавив имя.

Пространный ответ поверг его в шок. Это была страшная сказка, в которой вымысел сплетен с реальными фактами.

Человек с таким именем, по версии ChatGPT, приобрел известность из-за трагического события. В 2020 году два брата, семи и десяти лет, якобы утонули в пруду недалеко от своего дома в Трондхейме.

В их смерти признали виновным отца, который попытался избавиться и от третьего сына. В итоге детоубийцу посадили на 21 год (максимальный срок в Норвегии).

Единственное, что соответствовало действительности в этом «ужастике», порожденном галлюцинациями ИИ,— это пол и возраст детей Хольмена, а также название города, где он живет со своей семьей.

В пользовательском соглашении OpenAI мелким шрифтом прописано, что ChatGPT может ошибаться и важную информацию нужно проверять, однако удалить ложные сведения из систем компании неимоверно трудно. Разработчик, по его словам, может лишь заблокировать запросы со стимулами, возвращающими данные, способные навредить репутации и даже разрушить чью-то жизнь.

Тем не менее популярный ИИ-бот перестал рассказывать страшноватые небылицы о Хольмене — видимо, в связи с недавним апдейтом. Однако активисты из noyb, которые теперь представляют интересы норвежца, намерены добиться кардинальных изменений, а также штрафных санкций за то, что OpenAI нарушает требования GDPR о точности персональных данных.

Скандальные ошибки в выдаче ChatGPT по запросам о реальных персонах уже не раз подводили разработчика. Несмотря на угрозы пострадавших, подобные случаи неумышленной дефамации никогда не доходили до суда.

Государственный ИИ хотят выделить в свой сегмент и не пускать туда без MFA

ФСТЭК подготовила новые требования к защите моделей искусственного интеллекта в государственных информационных системах. Проект поправок к приказу № 117 опубликован для общественного обсуждения. Если документ примут, новые правила заработают 1 марта 2027 года.

Главное требование — ИИ-модели придётся изолировать в отдельном сегменте информационной системы или инфраструктуры.

Привилегированный доступ туда разрешат только с усиленной многофакторной аутентификацией. Обычным пользователям выдадут минимальные права, необходимые для работы, а все их действия будут регистрировать и анализировать.

Если модель обрабатывает информацию ограниченного доступа или выполняет значимые функции оператора, гайки закрутят сильнее. Организации обяжут фильтровать входящие запросы и ответы ИИ, ограничивать количество обращений, контролировать доступ и доступную модели функциональность. Реализовать эти меры можно через ПО самой системы или отдельные средства защиты ИИ.

Особое внимание досталось ИИ-агентам, включая автономные. Операторы должны будут не допустить их несанкционированного воздействия на ресурсы ГИС, а также контролировать и ограничивать права доступа.

Требования затронут и сторонние ИИ-сервисы. Если их предоставляет подрядчик, его обязанности по защите информации придётся закрепить во внутренних стандартах и регламентах организации.

Разработчики проекта указывают, что поправки подготовлены с учётом практики применения приказа ФСТЭК № 117, который действует с 1 марта 2026 года.

Пока это только проект, но вектор уже вырисовывается: государственный ИИ должен сидеть в отдельном контуре, получать минимум прав и оставлять подробный журнал каждого шага.

RSS: Новости на портале Anti-Malware.ru