Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Попросили ИИ исправить код по-русски, а он сразу же решил обойтись без интернета и начал придумывать решение. Такое поведение заметила автор проекта worklore Валентина Конюхова: в её эксперименте Codex и Kimi K3.1 пропускали поиск, которым пользовались при англоязычных заданиях.

Подробности и методику она опубликовала на Хабре.

Автор провела 1350 прогонов: шесть задач, девять конфигураций агентов, задания на русском и английском (с подсказками и без них). У всех был доступ в интернет.

На одной задаче Codex с низким уровнем рассуждений нашёл нужный формат на форуме и справился во всех пяти англоязычных прогонах.


С русским заданием он ни разу не обратился в Сеть и получил ноль успешных решений. У Kimi K3.1 похожий провал произошёл на задаче с OAuth.

Зато заметка с нужным фактом возвращала результат до пяти успешных результатов из пяти. В среднем подсказки повышали успешность на 33 процентных пункта для английских заданий и на 39 — для русских. Язык самой заметки почти ничего не менял.


Стоит учитывать, что задач в примере было всего шесть, повторов немного, а причину изменения поведения автор не проверяла. Но на всякий случай смотрите в логи, искал ли агент ответ.

Подпишитесь на новости

ИИ пишет код, а кто отвечает за безопасность? Разберут на AI AppSec Night

Нейросети ускоряют разработку, пока промпт-инъекции и небезопасные агенты не подбрасывают команде новую головную боль. Как защищать ИИ-системы и договариваться об этом с менеджментом, обсудят на AI AppSec Night — встрече сообщества Альфа-Банка для опытных специалистов по безопасной разработке.

Мероприятие пройдёт 17 ноября на московской площадке «Альфа-Кристалл». Для участников из других городов и стран будет онлайн-трансляция. Регистрация уже открыта.

Вместо сплошного марафона слайдов организаторы готовят ИИ-ток-шоу: практики кибербезопасности представят идеи безопасной разработки, а руководители ИБ из крупных технологических компаний прокомментируют острые вопросы. В центре разговора будут защита ИИ и общий язык между теми, кто разрабатывает системы, и теми, кто принимает решения.

После дискуссии можно будет проверить, насколько уверенно теория держится под давлением вопросов. В командной игре «Что? Где? Безопасность!» участники посоревнуются в знаниях AppSec и поборются за призы.

Для споров в менее формальной обстановке предусмотрена зона Speakeasy bar: горячие темы CyberSec, напитки и возможность продолжить разговор без микрофона. Завершится вечер нетворкингом — время найти коллег, с которыми можно обсудить проблемы, не объясняя сначала, что такое промпт-инъекция.

Программа уже опубликована на сайте мероприятия: можно заранее выбрать, куда направить силы — на дискуссию, интеллектуальную битву или профессиональные знакомства.

Реклама, 18+ АО «Альфа-Банк». ИНН 7728168971
ERID: 2VfnxvrXfxR

RSS: Новости на портале Anti-Malware.ru