В Госдуме предложили маркировать медицинские рекомендации нейросетей

В Госдуме предложили маркировать медицинские рекомендации нейросетей

В Госдуме предложили маркировать медицинские рекомендации нейросетей

Вице-спикер Госдумы Борис Чернышов предложил ввести обязательную маркировку ответов нейросетей, содержащих медицинские рекомендации, а также запретить российским сервисам назначать лекарственные препараты. Эти предложения изложены в письме, направленном им министру цифрового развития Максуту Шадаеву и главе Роскомнадзора Андрею Липову.

Как сообщает РИА Новости, Чернышов указал на отсутствие какой-либо ответственности за последствия, к которым могут привести ответы ИИ на запросы медицинского характера, несмотря на то что пользователи нередко воспринимают такие рекомендации как замену профессиональной медицинской помощи.

«Предлагаемая инициатива основывается на трёх ключевых принципах. Первый — обязательная маркировка. Любой ответ нейросети, содержащий медицинские рекомендации, симптомы, методы лечения или диагностики, должен сопровождаться четкой, заметной и неизменно присутствующей надписью: “Данный совет сгенерирован искусственным интеллектом и не является медицинской консультацией. Для диагностики и лечения обратитесь к врачу”», — говорится в документе.

Кроме того, Чернышов предложил ввести механизм получения явного согласия перед предоставлением информации медицинского характера. Без такого согласия сервис не должен выдавать рекомендации.

Ещё одной мерой инициативы является полный запрет на рекламу и рекомендации любых лекарственных препаратов — такой запрет, по мнению автора, должен быть реализован средствами самих нейросетевых систем.

Claude помог хакерам пробраться во внутренний репозиторий OpenAI

Команда белых хакеров превратила загрузку одной картинки на официальном форуме OpenAI в пропуск к корпоративным аккаунтам ChatGPT, Codex и закрытому репозиторию компании. Взлом занял менее трёх суток, а значительную часть работы помог выполнить ИИ.

Как рассказали исследователи HackTron AI, точкой входа стал форум community.openai.com на платформе Discourse.

При загрузке изображений он использовал ImageMagick и библиотеку libheif, в которой обнаружилось переполнение буфера. Специально подготовленный HEIC-файл позволил удалённо выполнить код и получить административный доступ к форуму.

На этом цепочка только разогрелась. Исследователи воспользовались отдельной ошибкой в системе единого входа OpenAI: токены аутентификации форума подходили для ChatGPT и Codex. Среди них оказались токены сотрудников компании.

Через скомпрометированный аккаунт разработчика команда добралась до внутреннего монорепозитория OpenAI на GitHub. Чтобы доказать доступ и не устраивать экскурсию по чужому коду, специалисты создали безопасный тестовый pull request, после чего остановили проверку и сообщили о проблеме.

В роли помощников выступили модели Claude Opus 4.8 и Opus 5. Первая исследовала уязвимость, но споткнулась о защитные механизмы. Более новая версия, по данным HackTron, помогла собрать рабочий эксплойт за несколько часов.

OpenAI устранила уязвимость в своей инфраструктуре примерно через 14 часов после отчёта, ограничила права токенов Community и отозвала затронутые сессии. Discourse отдельно исправила проблему обработки изображений.

За находку OpenAI выплатила исследователям $6500. Скромная сумма для цепочки, которая началась с картинки на форуме, а закончилась pull request во внутреннем репозитории.

RSS: Новости на портале Anti-Malware.ru