Попросили ИИ исправить код по-русски, а он сразу же решил обойтись без интернета и начал придумывать решение. Такое поведение заметила автор проекта worklore Валентина Конюхова: в её эксперименте Codex и Kimi K3.1 пропускали поиск, которым пользовались при англоязычных заданиях.
Подробности и методику она опубликовала на Хабре.
Автор провела 1350 прогонов: шесть задач, девять конфигураций агентов, задания на русском и английском (с подсказками и без них). У всех был доступ в интернет.
На одной задаче Codex с низким уровнем рассуждений нашёл нужный формат на форуме и справился во всех пяти англоязычных прогонах.
С русским заданием он ни разу не обратился в Сеть и получил ноль успешных решений. У Kimi K3.1 похожий провал произошёл на задаче с OAuth.
Зато заметка с нужным фактом возвращала результат до пяти успешных результатов из пяти. В среднем подсказки повышали успешность на 33 процентных пункта для английских заданий и на 39 — для русских. Язык самой заметки почти ничего не менял.
Стоит учитывать, что задач в примере было всего шесть, повторов немного, а причину изменения поведения автор не проверяла. Но на всякий случай смотрите в логи, искал ли агент ответ.
Комментирует Сергей Хайрук, аналитик InfoWatch:
«Эксперты по всему миру предупреждали, что медучреждения и компании, занимающиеся медстрахованием, рано или поздно станут целью охотников за персональными данными. И вот прогнозы начинают сбываться. Виной тому – огромный объем данных, которые обрабатывают компании. Очевидно, мы стали свидетелями крупнейшей, но не последней утечки данных из компании медицинской вертикали».