Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Попросили ИИ исправить код по-русски, а он сразу же решил обойтись без интернета и начал придумывать решение. Такое поведение заметила автор проекта worklore Валентина Конюхова: в её эксперименте Codex и Kimi K3.1 пропускали поиск, которым пользовались при англоязычных заданиях.

Подробности и методику она опубликовала на Хабре.

Автор провела 1350 прогонов: шесть задач, девять конфигураций агентов, задания на русском и английском (с подсказками и без них). У всех был доступ в интернет.

На одной задаче Codex с низким уровнем рассуждений нашёл нужный формат на форуме и справился во всех пяти англоязычных прогонах.


С русским заданием он ни разу не обратился в Сеть и получил ноль успешных решений. У Kimi K3.1 похожий провал произошёл на задаче с OAuth.

Зато заметка с нужным фактом возвращала результат до пяти успешных результатов из пяти. В среднем подсказки повышали успешность на 33 процентных пункта для английских заданий и на 39 — для русских. Язык самой заметки почти ничего не менял.


Стоит учитывать, что задач в примере было всего шесть, повторов немного, а причину изменения поведения автор не проверяла. Но на всякий случай смотрите в логи, искал ли агент ответ.

Подпишитесь на новости

Цифровой рубль без ажиотажа: за два месяца открыли 300 тыс. кошельков

За два месяца массового внедрения цифрового рубля в России открыли чуть больше 300 тысяч кошельков. К 1 ноября счета появились почти у 290 тысяч граждан и менее чем у 16 тысяч юридических лиц. Новая форма денег доступна, но очереди желающих переложить в неё привычные рубли пока не наблюдается.

Такие данные Банк России предоставил «Известиям». За сентябрь и октябрь на платформе прошло 235 тысяч операций.

Доминируют в этой статистике пополнения счетов, также пользователи оплачивали товары и услуги, переводили деньги друг другу и платили налоги.

Темп открытия счетов снизился: в сентябре их появлялось около 7 тысяч в день, в октябре — около 3 тысяч. Опрошенные изданием эксперты считают, что интерес пока во многом связан с любопытством.

Экономических приманок немного: проценты на остаток не начисляются, привычного банковского кешбэка нет.

Массовый запуск начался 1 сентября. Кошелёк открывается на платформе ЦБ через приложение подключённого банка, пользоваться цифровыми рублями граждане могут по желанию. Пополнять счёт со своих банковских счетов можно на сумму до 300 тысяч рублей в месяц.

Подстегнуть интерес, по мнению экспертов, способны смарт-контракты и платежи без интернета. Но офлайн-оплата пока находится на стадии прототипа. Но зачем человеку менять уже работающий способ оплаты на новый? Одной цифровой новизны для этого маловато.

RSS: Новости на портале Anti-Malware.ru