ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Детские сим-карты в России хотят ставить на стоп при нулевом балансе

Минцифры предложило новые правила для детских сим-карт: если на счету закончились деньги, оператор должен будет автоматически отключать платные услуги связи. Документ опубликован на портале проектов нормативных правовых актов.

Речь идёт о номерах, оформленных на несовершеннолетних, а также о сим-картах, которые родители передали детям.

Ограничение касается авансовой системы расчётов, когда сначала пополняешь баланс, а потом пользуешься связью. При нуле на счету должны приостанавливаться звонки, СМС, мобильный интернет и дополнительные платные услуги.

В Минцифры поясняют: экстренная связь никуда не денется. Вызов 112 и других служб останется доступен круглосуточно и бесплатно. Входящие и другие бесплатные услуги также сохранятся. Главная идея — не дать ребёнку уйти в минус или случайно накупить услуг без ведома родителей.

Но автоблокировка — только часть пакета. Для детских номеров также хотят полностью запретить входящие звонки из-за границы, отключить роуминг за пределами России, убрать массовые рассылки, включая рекламу и часть банковских сообщений, и бесплатно фильтровать контент, который может навредить ребёнку.

Чтобы ограничения заработали, родителю нужно будет сообщить оператору, что номер передан несовершеннолетнему, и указать возраст ребёнка. Сделать это можно в салоне связи, через личный кабинет или электронным документом с усиленной квалифицированной подписью. Если договор заключил сам несовершеннолетний, правила тоже будут применяться.

Проект затрагивает не только детские сим-карты. В правила хотят добавить запрет на быстрый отказ от номера: абонент-физлицо не сможет расторгнуть договор раньше чем через 90 дней после получения сим-карты. Это должно ударить по серым симкам, которые мошенники используют для обзвона и быстро выбрасывают.

Новые нормы могут вступить в силу 1 марта 2027 года и действовать до конца 2030-го. Затраты операторов на выполнение требований оцениваются от 300 млн до 3 млрд рублей. Контролировать всё это будет Роскомнадзор.

RSS: Новости на портале Anti-Malware.ru