Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Codex и Kimi провалили задачи после перевода промптов на русский

Попросили ИИ исправить код по-русски, а он сразу же решил обойтись без интернета и начал придумывать решение. Такое поведение заметила автор проекта worklore Валентина Конюхова: в её эксперименте Codex и Kimi K3.1 пропускали поиск, которым пользовались при англоязычных заданиях.

Подробности и методику она опубликовала на Хабре.

Автор провела 1350 прогонов: шесть задач, девять конфигураций агентов, задания на русском и английском (с подсказками и без них). У всех был доступ в интернет.

На одной задаче Codex с низким уровнем рассуждений нашёл нужный формат на форуме и справился во всех пяти англоязычных прогонах.


С русским заданием он ни разу не обратился в Сеть и получил ноль успешных решений. У Kimi K3.1 похожий провал произошёл на задаче с OAuth.

Зато заметка с нужным фактом возвращала результат до пяти успешных результатов из пяти. В среднем подсказки повышали успешность на 33 процентных пункта для английских заданий и на 39 — для русских. Язык самой заметки почти ничего не менял.


Стоит учитывать, что задач в примере было всего шесть, повторов немного, а причину изменения поведения автор не проверяла. Но на всякий случай смотрите в логи, искал ли агент ответ.

Подпишитесь на новости

В России ограничивают целые сети хостингов: соединение есть, данные не идут

Российские пользователи могут сталкиваться с ограничениями доступа не к отдельным сайтам, а к сетям зарубежных хостинг-провайдеров. К такому выводу пришёл автор под ником msinakaev: он проверил 435 тестовых точек у 154 компаний. Характерный симптом — соединение устанавливается, передаёт немного данных и зависает.

Методику и результаты автор опубликовал на Хабре. Сначала исследователь проверил доступность файлов из Европы, затем повторил тесты из России.

Через домашнее подключение загрузка прошла у 87% точек. Зависшие адреса, по его подсчётам, сгруппировались в 14 сетей, включая OVH, Hetzner, DigitalOcean, Vultr и Scaleway.


Стоит отметить, что небольшой хостинг может арендовать инфраструктуру крупного провайдера и попадать под ограничения вместе с его сетью. У одного бренда разные площадки поэтому могут работать по-разному.


Дополнительные эксперименты привели автора к выводу, что порог зависит от количества пакетов в TCP-соединении, а не от фиксированного объёма данных. После его достижения обмен зависал в обе стороны. Проверенные UDP-подключения в этих опытах продолжали работать.


Исследователь связывает поведение с ТСПУ, но доступа к оборудованию и правилам фильтрации у него нет.

Тем не менее масштаб выводов стоит держать в узде: основные замеры сделаны 5-6 ноября одним человеком на двух подключениях в одном городе, МТС проверялся на небольшой выборке. AWS и Azure в исследование не вошли.

RSS: Новости на портале Anti-Malware.ru