Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Попросили ИИ исправить код по-русски, а он сразу же решил обойтись без интернета и начал придумывать решение. Такое поведение заметила автор проекта worklore Валентина Конюхова: в её эксперименте Codex и Kimi K3.1 пропускали поиск, которым пользовались при англоязычных заданиях.

Подробности и методику она опубликовала на Хабре.

Автор провела 1350 прогонов: шесть задач, девять конфигураций агентов, задания на русском и английском (с подсказками и без них). У всех был доступ в интернет.

На одной задаче Codex с низким уровнем рассуждений нашёл нужный формат на форуме и справился во всех пяти англоязычных прогонах.


С русским заданием он ни разу не обратился в Сеть и получил ноль успешных решений. У Kimi K3.1 похожий провал произошёл на задаче с OAuth.

Зато заметка с нужным фактом возвращала результат до пяти успешных результатов из пяти. В среднем подсказки повышали успешность на 33 процентных пункта для английских заданий и на 39 — для русских. Язык самой заметки почти ничего не менял.


Стоит учитывать, что задач в примере было всего шесть, повторов немного, а причину изменения поведения автор не проверяла. Но на всякий случай смотрите в логи, искал ли агент ответ.

Подпишитесь на новости

Соцсетям готовят штрафы до 5 млн рублей за дискредитацию ценностей

Не убрали фильм за сутки — готовьте деньги. Владельцев соцсетей и онлайн-кинотеатров предлагают штрафовать за отказ ограничить доступ к произведениям, дискредитирующим традиционные российские духовно-нравственные ценности. При повторном нарушении штраф для компании может достигнуть 5 млн рублей.

Профильный комитет Госдумы рекомендовал принять законопроект в первом чтении, сообщает «Интерфакс».

За первое неисполнение требования Роскомнадзора предлагают взыскивать до 20 тысяч рублей с граждан — владельцев площадок, до 200 тысяч с должностных лиц и до миллиона с компаний. За повторное — до 300 тысяч, 800 тысяч и 5 млн рублей соответственно.

Сергей Боярский отдельно уточнил: под гражданами здесь понимаются владельцы соцсетей, а не пользователи. Отдельный состав предусмотрен для владельцев онлайн-кинотеатров за само распространение таких произведений.

Для компаний потолок составит 700 тысяч рублей, при повторном нарушении — 3 млн. Если сервис удалит произведение в течение суток после отзыва прокатного удостоверения, проект предусматривает освобождение от ответственности.

Основанием для требования РКН должно стать решение или заключение Минкультуры. Дела о распространении предлагают возбуждать министерству, о неудалении — Роскомнадзору, а рассматривать их будут районные суды.

Сам запрет и обязанность ограничивать доступ уже существуют. Теперь к ним хотят прикрутить денежный аргумент.

RSS: Новости на портале Anti-Malware.ru