Нейросеть с сюрпризом: AppSec.Track проверит модели из Hugging Face

Нейросеть с сюрпризом: AppSec.Track проверит модели из Hugging Face

...
Нейросеть с сюрпризом: AppSec.Track проверит модели из Hugging Face

ML-модель из публичного репозитория может оказаться не только умной, но и с неприятным сюрпризом внутри. AppSec Solutions добавила в платформу AppSec.Track предварительную проверку моделей из Hugging Face. По заявлению компании, это первое российское решение, которое блокирует потенциально опасные модели до их попадания на машины разработчиков и в CI.

Каждый запрошенный через корпоративный репозиторий файл автоматически отправляется в «карантин». Пока идёт сканирование, разработчик не может скачать модель, зато видит статус проверки и своё место в очереди. После анализа платформа решает, пропускать артефакт в корпоративную инфраструктуру или оставить за дверью.

Модели проверяются без запуска. AppSec.Track разбирает файлы PyTorch, TensorFlow, Keras и другие сериализованные форматы, включая вложенные архивы, и ищет код, способный выполниться при загрузке. Обнаруженным угрозам присваивается уровень критичности.

Проблема особенно актуальна для моделей в формате pickle. Они могут содержать исполняемый код, поэтому одной заражённой загрузки достаточно, чтобы злоумышленник закрепился в среде разработки. Обычный сканер зависимостей здесь способен промахнуться: зловред сидит не в пакете, а внутри самой модели.

В AppSec Solutions считают, что со временем индустрия перейдёт на безопасный формат safetensors. Но пока публичные хабы забиты pickle-файлами, доверять модели только за красивые метрики — так себе стратегия.

Второй рубеж защиты работает на этапе сборки. AppSec.Track формирует SBOM и проверяет библиотеки и зависимости по собственной базе уязвимостей. Она охватывает PyPI, npm, Maven, NuGet, CUDA, Julia и другие экосистемы. Фид можно подключить онлайн или развернуть в закрытом контуре.

Политики безопасности настраиваются один раз и затем применяются автоматически. Сама модель проходит досмотр при входе и повторно не сканируется, а её окружение контролируется при каждой сборке. Получается вполне понятный фейс-контроль: нейросеть сначала показывает, что у неё внутри, и только потом идёт работать.

Подпишитесь на новости

Диасофт заявила об ускорении разработки до десяти раз с помощью ИИ

На рынке мультиагентной разработки становится теснее. «Диасофт» представила AI-driven Digital Q — ИИ-версию экосистемы для команд разработки. На собственных примерах компания заявляет об ускорении до десяти раз и сокращении трудозатрат. Корреспондент Anti-Malware.ru побывал на презентации и выяснил, что предлагают разработчикам.

Модель распространения тоже с претензией на встряску рынка: по заявлению компании, платформу можно бесплатно скачать и использовать, а платить — за созданный код.

При этом бесплатная платформа не означает бесплатную разработку: подробные тарифы в переданных материалах не приведены.

Digital Q объединяет работу людей и агентов в конвейер от выяснения потребностей бизнеса до выпуска ПО. В нем предусмотрены проектирование, генерация кода, тестирование и подготовка документации. Компания заявляет возможность работы с любым языком программирования.

Агенты работают в изолированных средах, модели автоматически подбираются под задачи, а взаимодействие с людьми организовано через трекер. Предусмотрены общий контекст, библиотека компонентов, аудит и контроль расхода токенов. Человек участвует в ключевых проверках.

На слайдах «Диасофт» показала три собственных примера: CRM с нуля за три месяца, модуль факультативного перестрахования за полтора месяца и прототип системы управления закупками для авиакомпании за два дня. Последний — именно прототип, а не готовая промышленная система.


Также заявлены соответствие кода требованиям более чем на 99% и покрытие тестами свыше 80% там, где это применимо. Автоматические проверки охватывают архитектуру, контракты, уязвимости и секреты.

Ускорение до десяти раз — оценка самой компании по ее задачам, а не универсальный результат для любого проекта. Но заявка для рынка громкая: если такой эффект удастся повторить у заказчиков, продавать привычные объемы человеко-часов интеграторам станет сложнее.

RSS: Новости на портале Anti-Malware.ru