Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Документация на микроконтроллер Baikal-U стала общедоступна

«Байкал Электроникс» запустила публичный информационный портал с полной технической документацией на серийный микроконтроллер Baikal-U (BE-U1000). Теперь все ключевые материалы — от даташитов и SDK до схем, reference design плат и API — доступны открыто, без запросов, согласований и лишней бюрократии.

По сути, компания открыла весь базовый набор, который обычно нужен для старта разработки и интеграции микроконтроллера в реальные проекты.

Идея простая: сократить время входа, упростить жизнь инженерным командам и сделать работу с Baikal-U более предсказуемой и удобной — как для технологических партнёров, так и для независимых разработчиков, образовательных проектов и сообществ.

Портал планируют развивать и дальше. Со временем там должны появляться новые практические примеры использования микроконтроллера, прикладные заметки и кейсы, а также доработки интерфейса и навигации на основе обратной связи от пользователей.

Baikal-U (BE-U1000) — универсальный отечественный микроконтроллер на базе российских RISC-V-ядер CloudBEAR. Он рассчитан на индустриальные сценарии, включая применение на объектах критической информационной инфраструктуры.

Среди типовых областей использования — роботизированные комплексы АСУ ТП, датчики безопасности, приборы учёта, устройства ввода-вывода и решения для интернета вещей. За счёт встроенных функций управления электродвигателями и высокой энергоэффективности микроконтроллер может применяться и в системах управления беспилотными летательными аппаратами.

Генеральный директор «Байкал Электроникс» Андрей Евдокимов отметил, что компания сознательно решила изменить подход к взаимодействию с разработчиками и убрать избыточные барьеры. По его словам, открытая документация должна упростить работу с продуктами компании и помочь развитию экосистемы чипов Baikal в целом — в том числе за счёт обратной связи от инженерного сообщества.

В итоге запуск портала выглядит как попытка сделать российский микроконтроллер более «приземлённым» для практического использования — без закрытых архивов, долгих переписок и ограниченного доступа к базовой технической информации.

RSS: Новости на портале Anti-Malware.ru