ФСТЭК России готовит стандарт безопасной разработки систем ИИ

ФСТЭК России готовит стандарт безопасной разработки систем ИИ

ФСТЭК России готовит стандарт безопасной разработки систем ИИ

Выступая на BIS Summit 2025, первый замдиректора ФСТЭК России Виталий Лютиков сообщил, что регулятор планирует до конца года вынести на обсуждение проект стандарта привнесения аспекта безопасности в разработку ИИ-систем.

Новое методическое руководство будет представлено как дополнение к действующим нормативам по безопасной разработке программного обеспечения, в том числе ГОСТ Р 56939-2024.

У ИИ-моделей есть своя специфика с точки зрения ИБ — склонность к галлюцинациям, риск утечки конфиденциальных данных и злоупотреблений через манипуляцию промптами, возможность вмешательства в алгоритмы машинного обучения, и ее следует учитывать при создании подобных инструментов.

Приказ ФСТЭК России № 117 от 11.04.2025 об усилении защиты данных в ГИС (заработает с 1 марта будущего года) содержит раздел об ИИ-технологиях, однако изложенные в нем требования по безопасности ограничены эксплуатацией.

Вместе с тем, как и в случае с обычным софтом, не менее важно обезопасить ИИ-системы еще на стадии разработки (такой подход известен как security by design). Новая инициатива регулятора призвана восполнить этот пробел.

Claude помог хакерам пробраться во внутренний репозиторий OpenAI

Команда белых хакеров превратила загрузку одной картинки на официальном форуме OpenAI в пропуск к корпоративным аккаунтам ChatGPT, Codex и закрытому репозиторию компании. Взлом занял менее трёх суток, а значительную часть работы помог выполнить ИИ.

Как рассказали исследователи HackTron AI, точкой входа стал форум community.openai.com на платформе Discourse.

При загрузке изображений он использовал ImageMagick и библиотеку libheif, в которой обнаружилось переполнение буфера. Специально подготовленный HEIC-файл позволил удалённо выполнить код и получить административный доступ к форуму.

На этом цепочка только разогрелась. Исследователи воспользовались отдельной ошибкой в системе единого входа OpenAI: токены аутентификации форума подходили для ChatGPT и Codex. Среди них оказались токены сотрудников компании.

Через скомпрометированный аккаунт разработчика команда добралась до внутреннего монорепозитория OpenAI на GitHub. Чтобы доказать доступ и не устраивать экскурсию по чужому коду, специалисты создали безопасный тестовый pull request, после чего остановили проверку и сообщили о проблеме.

В роли помощников выступили модели Claude Opus 4.8 и Opus 5. Первая исследовала уязвимость, но споткнулась о защитные механизмы. Более новая версия, по данным HackTron, помогла собрать рабочий эксплойт за несколько часов.

OpenAI устранила уязвимость в своей инфраструктуре примерно через 14 часов после отчёта, ограничила права токенов Community и отозвала затронутые сессии. Discourse отдельно исправила проблему обработки изображений.

За находку OpenAI выплатила исследователям $6500. Скромная сумма для цепочки, которая началась с картинки на форуме, а закончилась pull request во внутреннем репозитории.

RSS: Новости на портале Anti-Malware.ru