Попросили ИИ исправить код по-русски, а он сразу же решил обойтись без интернета и начал придумывать решение. Такое поведение заметила автор проекта worklore Валентина Конюхова: в её эксперименте Codex и Kimi K3.1 пропускали поиск, которым пользовались при англоязычных заданиях.
Подробности и методику она опубликовала на Хабре.
Автор провела 1350 прогонов: шесть задач, девять конфигураций агентов, задания на русском и английском (с подсказками и без них). У всех был доступ в интернет.
На одной задаче Codex с низким уровнем рассуждений нашёл нужный формат на форуме и справился во всех пяти англоязычных прогонах.
С русским заданием он ни разу не обратился в Сеть и получил ноль успешных решений. У Kimi K3.1 похожий провал произошёл на задаче с OAuth.
Зато заметка с нужным фактом возвращала результат до пяти успешных результатов из пяти. В среднем подсказки повышали успешность на 33 процентных пункта для английских заданий и на 39 — для русских. Язык самой заметки почти ничего не менял.
Стоит учитывать, что задач в примере было всего шесть, повторов немного, а причину изменения поведения автор не проверяла. Но на всякий случай смотрите в логи, искал ли агент ответ.
Комментирует Сергей Хайрук, аналитик InfoWatch:
«Сейчас бывшему сотруднику предъявлены обвинения в компьютерном взломе. Однако если полиция докажет, что злоумышленник собирался продать полученные данные или использовать их в мошеннических целях, его действия, скорее всего, переквалифицируют и предъявят более тяжкое обвинение в «краже личности». Впрочем, интересно другое – информационная система госпиталя оказалась совершенно не подготовлена к саботажу со стороны уволенного сотрудника. Складывается ощущение, что руководство госпиталя даже не рассматривало риск неправомерных действий персонала в отношении данных пациентов».