ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

ИТ-рынок уходит в узкую экспертизу: в цене дата-инженеры и MLOps

На рынке ИТ всё заметнее тренд на узкую специализацию. Работодатели всё чаще ищут не просто разработчиков, а экспертов, способных строить сложные архитектуры данных и работать с нейросетями. За последние четыре года число вакансий, связанных с инфраструктурой данных, выросло почти в четыре раза.

По данным hh.ru, которые передаёт «Коммерсант», особенно востребованы дата-инженеры и архитекторы данных — именно они создают масштабируемые инфраструктуры, на которых держится аналитика компаний.

Их зарплаты уже на 20–30% выше, чем у специалистов по машинному обучению. Аналитики TRIADA Partners оценивают ежегодный рост спроса на дата-инженеров и дата-сайентистов примерно в 20%.

По словам представителей Университета ИТМО, именно дата-инженеры формируют «фундамент из данных», а дата-сайентисты ищут в этих данных закономерности и паттерны, влияющие на бизнес-результаты. В ближайшие годы потребность в обеих ролях, по оценке экспертов, продолжит расти.

Работодатели, как отмечают в hh.ru, переходят от массового набора ИТ-специалистов к качественному подбору по компетенциям. Причём цифровая грамотность становится обязательной не только для ИТ, но и для других профессий. Популярность набирают и «гибридные» роли, такие как Chief Data Officer — руководитель по управлению данными. По данным «Ростелекома», в трёх четвертях крупных компаний такая должность уже есть.

Тем временем сфера VR и AR, по словам экспертов, уходит от развлечений в промышленность и образование — там технологии применяются для обучения сотрудников и моделирования опасных ситуаций. Однако из-за экономических ограничений и фокуса на импортозамещение развитие этого сегмента сейчас замедлилось.

На рынке появляются и редкие, но перспективные профессии — блокчейн-юристы, IoT-архитекторы, специалисты по этике искусственного интеллекта. Как считают в Yandex B2B Tech, всё большую ценность получают инженеры по созданию ИИ-агентов и MLOps-специалисты, отвечающие за автоматизацию и масштабирование моделей.

По оценке TRIADA Partners, специалисты, работающие с генеративным искусственным интеллектом и большими языковыми моделями, зарабатывают уже на треть больше классических ML-инженеров. И этот разрыв, судя по всему, будет только расти.

Отметим, на одном из свежих эфиров AM Live мы обсуждали с экспертами горячую тему MLSecOps — как защищать искусственный интеллект от кибератак.

Кроме того, собрали специально для вас подборку бесплатных курсов и материалов по MLSecOps — как обеспечить безопасность ИИ и ML.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru