Папскую энциклику об ИИ заподозрили в использовании ИИ

Автор LessWrong Линч разобрал первую энциклику Папы Льва XIV Magnifica Humanitas, посвящённую защите человека в эпоху искусственного интеллекта, и пришёл к довольно ироничному выводу: значительная часть текста, возможно, была написана с помощью ИИ.

Линч утверждает, что его насторожили не отдельные фразы, а целый набор признаков.

Среди них подозрительно частое использование длинного тире, повторяющиеся риторические конструкции из трёх элементов и слова вроде genuinely, которое автор считает характерным маркером текстов Claude от Anthropic.

По его подсчётам, в Magnifica Humanitas длинное тире встречается 127 раз. Для сравнения, в нескольких предыдущих папских энцикликах таких случаев либо не было вовсе, либо их было заметно меньше. То же самое, по словам Линча, касается частоты употребления слов genuine и genuinely: в новом документе они встречаются гораздо чаще, чем в сопоставимых текстах прошлых лет.

Линч прогнал фрагменты энциклики через ИИ-детектор Pangram. По его словам, часть абзацев сервис оценил как написанные ИИ с вероятностью от 40% до 100%, тогда как большинство абзацев выглядели человеческими. Прошлые энциклики, которые Линч использовал для сравнения, Pangram якобы определил как полностью написанные людьми.

Отдельно автор проверял версию о том, что странности могли появиться из-за перевода. Но, по его словам, похожие признаки сохранились и в итальянской версии документа. Более того, итальянский текст тоже получил срабатывания в Pangram. Поэтому Линч считает, что дело не просто в неудачном английском переводе.

Самая пикантная часть гипотезы — возможный почерк Claude. Линч пишет, что именно эта модель часто использует лексику и ритм, похожие на спорные фрагменты энциклики. При этом он не утверждает, что весь текст написал ИИ. Скорее, по его версии, разные части документа могли готовить разные участники, и некоторые из них активно пользовались нейросетями.

Автор также допускает, что сам Папа Лев XIV мог не знать о таком участии ИИ в подготовке текста. В пользу этого он приводит результат проверки речи понтифика, произнесённой при представлении энциклики: её Pangram определил как человеческую.