Попросили ИИ исправить код по-русски, а он сразу же решил обойтись без интернета и начал придумывать решение. Такое поведение заметила автор проекта worklore Валентина Конюхова: в её эксперименте Codex и Kimi K3.1 пропускали поиск, которым пользовались при англоязычных заданиях.
Подробности и методику она опубликовала на Хабре.
Автор провела 1350 прогонов: шесть задач, девять конфигураций агентов, задания на русском и английском (с подсказками и без них). У всех был доступ в интернет.
На одной задаче Codex с низким уровнем рассуждений нашёл нужный формат на форуме и справился во всех пяти англоязычных прогонах.
С русским заданием он ни разу не обратился в Сеть и получил ноль успешных решений. У Kimi K3.1 похожий провал произошёл на задаче с OAuth.
Зато заметка с нужным фактом возвращала результат до пяти успешных результатов из пяти. В среднем подсказки повышали успешность на 33 процентных пункта для английских заданий и на 39 — для русских. Язык самой заметки почти ничего не менял.
Стоит учитывать, что задач в примере было всего шесть, повторов немного, а причину изменения поведения автор не проверяла. Но на всякий случай смотрите в логи, искал ли агент ответ.
Комментирует Сергей Хайрук, аналитик InfoWatch:
«Страховые компании наряду с финансовыми организациями периодически сталкиваются с нелояльностью собственных сотрудников. С начала этого года мы уже зарегистрировали 35 серьезных инцидентов в банках и страховых компаниях. В большинстве случаев вина за утечки данных и нелегитимное использование информации лежит на персонале пострадавших компаний. За 2013 год из банков и страховых компаний во всем мире утекло более 1,77 млн записей – персональные и платежные данные пользователей. В нашей стране за тот же период на долю сегмента «банки и финансы», куда входят страховые компании, пришлось 16% всех утечек персональных данных».