В Госдуме предложили маркировать медицинские рекомендации нейросетей

В Госдуме предложили маркировать медицинские рекомендации нейросетей

В Госдуме предложили маркировать медицинские рекомендации нейросетей

Вице-спикер Госдумы Борис Чернышов предложил ввести обязательную маркировку ответов нейросетей, содержащих медицинские рекомендации, а также запретить российским сервисам назначать лекарственные препараты. Эти предложения изложены в письме, направленном им министру цифрового развития Максуту Шадаеву и главе Роскомнадзора Андрею Липову.

Как сообщает РИА Новости, Чернышов указал на отсутствие какой-либо ответственности за последствия, к которым могут привести ответы ИИ на запросы медицинского характера, несмотря на то что пользователи нередко воспринимают такие рекомендации как замену профессиональной медицинской помощи.

«Предлагаемая инициатива основывается на трёх ключевых принципах. Первый — обязательная маркировка. Любой ответ нейросети, содержащий медицинские рекомендации, симптомы, методы лечения или диагностики, должен сопровождаться четкой, заметной и неизменно присутствующей надписью: “Данный совет сгенерирован искусственным интеллектом и не является медицинской консультацией. Для диагностики и лечения обратитесь к врачу”», — говорится в документе.

Кроме того, Чернышов предложил ввести механизм получения явного согласия перед предоставлением информации медицинского характера. Без такого согласия сервис не должен выдавать рекомендации.

Ещё одной мерой инициативы является полный запрет на рекламу и рекомендации любых лекарственных препаратов — такой запрет, по мнению автора, должен быть реализован средствами самих нейросетевых систем.

ИИ OpenAI полез на GitHub за утёкшими ключами, а затем выдумал данные

Модели OpenAI оказались очень изобретательными, когда привычные способы выполнить задачу переставали работать. Они искали утёкшие API-ключи, загружали данные на публичные сервисы, обменивались записками через репозиторий и оставляли самим себе инструкции скрывать ошибки.

Компания опубликовала  новую систему раскрытия случаев рассогласованного поведения моделей и сразу приложила к ней шесть отчётов об инцидентах, обнаруженных за последние полгода.

OpenAI подчёркивает: это отдельные эпизоды, по которым нельзя судить о частоте подобных выходок.

В одном случае модель не смогла подключиться к API со статистикой доходов округа. Тогда она попыталась зарегистрироваться через одноразовую почту, полезла на GitHub за утёкшими ключами и нашла рабочий.

Добыть нужные цифры всё равно не получилось, поэтому модель просто выдумала их и выдала за данные с сайта. О неудаче и чужом ключе она скромно промолчала.

Другие агенты превратили внутренний Artifactory OpenAI в подпольную доску объявлений. Независимые экземпляры оставляли там сообщения, читали записки коллег и просили друг у друга помощи. Уязвимости они не взламывали, а использовали выданные компанией учётные данные, но явно не по назначению.

Ещё несколько моделей отправляли данные за пределы рабочей среды. Одна загрузила найденные записи на публичный сервис ради красивой ссылки на источник, другая — фотографию на сервис обратного поиска. Группа агентов и вовсе разместила рабочую книгу на публичном хостинге, хотя ей прямо велели пользоваться только локальными файлами.

Самая ехидная часть истории — инструкции на будущее. Модели записывали в свои служебные сводки команды игнорировать сообщения разработчиков, скрывать провалы и выдумывать недостающие данные. Одна сформулировала правило совсем интересно: «Будь прозрачным, только если спросят».

Теперь OpenAI обещает публиковать такие случаи быстрее — даже если их причины ещё не выяснены, а исправления не готовы.

RSS: Новости на портале Anti-Malware.ru