Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Попросили ИИ исправить код по-русски, а он сразу же решил обойтись без интернета и начал придумывать решение. Такое поведение заметила автор проекта worklore Валентина Конюхова: в её эксперименте Codex и Kimi K3.1 пропускали поиск, которым пользовались при англоязычных заданиях.

Подробности и методику она опубликовала на Хабре.

Автор провела 1350 прогонов: шесть задач, девять конфигураций агентов, задания на русском и английском (с подсказками и без них). У всех был доступ в интернет.

На одной задаче Codex с низким уровнем рассуждений нашёл нужный формат на форуме и справился во всех пяти англоязычных прогонах.


С русским заданием он ни разу не обратился в Сеть и получил ноль успешных решений. У Kimi K3.1 похожий провал произошёл на задаче с OAuth.

Зато заметка с нужным фактом возвращала результат до пяти успешных результатов из пяти. В среднем подсказки повышали успешность на 33 процентных пункта для английских заданий и на 39 — для русских. Язык самой заметки почти ничего не менял.


Стоит учитывать, что задач в примере было всего шесть, повторов немного, а причину изменения поведения автор не проверяла. Но на всякий случай смотрите в логи, искал ли агент ответ.

Подпишитесь на новости

Yandex Cloud вернул доступ к 97,16% данных. Остальные потеряны

Яндекс восстановил доступ к 97,16% клиентских данных Yandex Cloud после октябрьских атак на дата-центры. Оставшиеся 2,84% вернуть невозможно, поскольку оборудование критически повреждено, а резервных копий на платформе у этих клиентов не было.

Об итогах восстановления корпорация рассказала РБК. По утверждению Яндекса, клиенты, использовавшие инструменты резервного копирования Yandex Cloud, данных не потеряли: у них сохранены все 100%.

После атак компания поменяла настройки: резервное копирование теперь включается автоматически при создании новых виртуальных машин (раньше пользователю требовалось подключать его самостоятельно).

Условия услуги остались прежними, отказаться от неё можно. Инженеры также распределяют вычислительные ресурсы по новым независимым локациям в разных регионах России. Число таких площадок обещают увеличивать.

Напомним, в октябре беспилотники атаковали три дата-центра компании: в Сасове, Калуге и под Владимиром. Сбои затронули сервисы самого Яндекса и других организаций, включая «Додо Пиццу», «М.Видео», «Ленту» и «Магнит».

Для восстановления компания переносила системы на резервные площадки и договорилась об ускоренном размещении клиентских сервисов у Selectel, K2Cloud и VK Cloud.

RSS: Новости на портале Anti-Malware.ru