Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Попросили ИИ исправить код по-русски, а он сразу же решил обойтись без интернета и начал придумывать решение. Такое поведение заметила автор проекта worklore Валентина Конюхова: в её эксперименте Codex и Kimi K3.1 пропускали поиск, которым пользовались при англоязычных заданиях.

Подробности и методику она опубликовала на Хабре.

Автор провела 1350 прогонов: шесть задач, девять конфигураций агентов, задания на русском и английском (с подсказками и без них). У всех был доступ в интернет.

На одной задаче Codex с низким уровнем рассуждений нашёл нужный формат на форуме и справился во всех пяти англоязычных прогонах.


С русским заданием он ни разу не обратился в Сеть и получил ноль успешных решений. У Kimi K3.1 похожий провал произошёл на задаче с OAuth.

Зато заметка с нужным фактом возвращала результат до пяти успешных результатов из пяти. В среднем подсказки повышали успешность на 33 процентных пункта для английских заданий и на 39 — для русских. Язык самой заметки почти ничего не менял.


Стоит учитывать, что задач в примере было всего шесть, повторов немного, а причину изменения поведения автор не проверяла. Но на всякий случай смотрите в логи, искал ли агент ответ.

Подпишитесь на новости

Клиентов российских ЦОДов могут отключать ради сервисов из белых списков

Оплаченный сервер может оказаться недостаточно веским аргументом: российские дата-центры могут обязать отключать неприоритетных клиентов, если мощности понадобятся сервисам из белых списков. Такой механизм обсуждают на случай потери части инфраструктуры.

Об инициативе узнал РБК от трёх источников в ИТ-отрасли. Обсуждение прошло на совещании в Минцифры 6 ноября.

Основа — указ президента о резервировании 10% площадей и мощностей ЦОДов. После решения специальной подкомиссии предоставить ресурсы потребуется в течение суток. Если свободного места не хватит, рассматривается отключение действующих клиентов.

По данным источников, такие отключения предлагают признавать форс-мажором. А невыполнение требований может стать основанием для введения временного управления дата-центром.

Требования предполагается распространить на коммерческие ЦОДы, включая площадки, обслуживающие одновременно внешних клиентов и собственные системы. Корпоративные дата-центры исключительно для внутренних нужд и пострадавшие площадки, по словам собеседников издания, под них не подпадут.

За само резервирование платить не планируют — только за фактически затребованное размещение. Участники рынка предупреждают: освободить мощности и перенести системы за сутки без подготовки крайне сложно.

В Минцифры подчёркивают, что механизм ещё прорабатывается вместе с экспертами и рынком.

RSS: Новости на портале Anti-Malware.ru