В VirusTotal Code Insight добавили поддержку CMD, VBS, BAT, SH

В VirusTotal Code Insight добавили поддержку CMD, VBS, BAT, SH

В VirusTotal Code Insight добавили поддержку CMD, VBS, BAT, SH

ИИ-сервис Code Insight, недавно появившийся на VirusTotal, вызвал положительный отклик в ИБ-сообществе. Окрыленные успехом участники проекта расширили поддержку скриптовых форматов, а также увеличили лимит на объем загружаемых файлов.

Дополнительный VirusTotal-инструмент был анонсирован на конференции RSA, проведенной в Сан-Франциско в конце прошлого месяца. Новый помощник аналитика построен на основе большой языковой модели (LLM) и доступен по запросу всем пользователям VT Intelligence, которым достаточно просто скопипастить нужные фрагменты кода (без загрузки всего семпла на VirusTotal).

Все остальные смертные довольствуются стандартным процессом, с предварительной фильтрацией ввода по таким критериям, как размер кода, сходство с уже обработанными образцами, наличие сигналов об абьюзах и т. п. Сгенерированные вердикты доступны через вызов API и отображаются в результатах поиска на сайте.

Изначально Code Insight помогал выявлять только PowerShell-зловредов. Недавно Google расширила сервис, добавив поддержку других форматов, в том числе BAT, CMD, SH и VBS. Максимальный размер загружаемых файлов (лимит, обусловленный использованием LLM) был увеличен в два раза, и это, по мнению разработчиков, не предел.

Объемный ввод можно разбивать на фрагменты с раздельной обработкой и последующим объединением результатов. Совершенствование методов предобработки и токенизации LLM тоже позволит оптимизировать обработку кодов большего размера.

Языковая модель теперь выдает более четкие и емкие пояснения с упором на поведение кода. Обновлен также пользовательский интерфейс: в нем по умолчанию отображаются лишь первые фразы отчета (чтобы не утяжелять вид), а расширить текст можно с помощью специальной опции.

Изучив отзывы и пожелания пользователей, Google наметила основные направления развития проекта:

  • дальнейшее расширение поддержки типов файлов и размеров;
  • реализация возможности анализа бинарников и экзешников;
  • обеспечение возможности добавлять контекст к вводу — метаданных, связанных с URL и файлами, залинкованными в коде.

Что касается последнего пункта: сейчас Code Insight можно скормить лишь сам код, и LLM может истолковать его превратно из-за пресловутой склонности к «галлюцинациям». Например, принять безобидный инсталлятор за вредоносного загрузчика, и наоборот.

Участники проекта осознают, что злоумышленники могут воспользоваться этим свойством LLM и заставить ее выдать неверный вердикт. Таких вредоносов в дикой природе пока не замечено. В первые дни после анонса наблюдались лишь многочисленные PoC-попытки инъекции подсказок и выполнения других трюков, способных ввести Code Insight в заблуждение.

Ошибочная раскладка помогла обойти первый рубеж защиты GPT-6 Astra

Разработчик под ником vechen обнаружил странность в GPT-6 Astra: модель понимает русский и украинский текст, случайно набранный в английской раскладке, но система предварительной модерации может увидеть в нём лишь безобидную кашу из букв.

В опубликованном эксперименте GPT-6 Astra High без дополнительных инструкций распознала смысл фразы, введённой латиницей вместо кириллицы.

Затем исследователь проверил слова и запросы, которые потенциально должны привлекать внимание защитных механизмов. В одном из тестов модель согласилась помочь со взломом сайта под предлогом проверки собственного ресурса, хотя аналогичный запрос в нормальной раскладке должен проходить более строгую проверку.

Причина, предположительно, в разделении системы на несколько уровней. Сначала входной фильтр анализирует текст пользователя, после чего сама модель интерпретирует запрос и формирует ответ.

 

Впрочем, до полноценного джейлбрейка не дошло. Проверка «Код.ру» показала, что неправильная раскладка действительно может помочь опасному запросу добраться до модели, но финальный фильтр блокирует запрещённый ответ.

Метод работает не со всеми языковыми парами. Кириллический текст, набранный латиницей, Astra распознаёт стабильно, а сочетание английской и турецкой раскладок в тестах не сработало. Похожее поведение исследователь заметил и у Fable 5.

Напомним, на прошлой неделе мы писали, что первые пользователи GPT-6 Astra заметили, что модель распараллеливает задачи и нагружает компьютеры кучей процессов.

RSS: Новости на портале Anti-Malware.ru