Даже самые продвинутые ИИ-модели пока что во многом лишь повторяют — учатся на примерах человеческой работы или решают задачи, которые им заранее придумали люди. Но что если искусственный интеллект сможет учиться почти как человек — сам задавать себе интересные вопросы и искать на них ответы?
Похоже, это уже не фантазия. Исследователи из Университета Цинхуа, Пекинского института общего искусственного интеллекта (BIGAI) и Университета штата Пенсильвания показали, что ИИ способен осваивать рассуждение и программирование через своеобразную «игру с самим собой».
Проект получил название Absolute Zero Reasoner (AZR). Его идея проста и изящна одновременно. Сначала языковая модель сама придумывает задачи по программированию на Python — достаточно сложные, но решаемые. Затем она же пытается их решить, после чего проверяет себя самым честным способом: запускает код.
Если решение сработало — отлично. Если нет — ошибка становится сигналом для обучения. На основе успехов и провалов система дообучает исходную модель, постепенно улучшая и умение формулировать задачи, и способность их решать.
Исследователи протестировали подход на открытой языковой модели Qwen с 7 и 14 миллиардами параметров. Оказалось, что такой «самообучающийся» ИИ заметно улучшает навыки программирования и логического мышления — и в некоторых тестах даже обгоняет модели, обученные на вручную отобранных человеческих данных.
По словам аспиранта Университета Цинхуа Эндрю Чжао, одного из авторов идеи, подход напоминает реальный процесс обучения человека:
«Сначала ты копируешь родителей и учителей, но потом начинаешь задавать собственные вопросы. И в какой-то момент можешь превзойти тех, кто тебя учил».
Идея «самоигры» для ИИ обсуждается не первый год — ещё раньше её развивали такие исследователи, как Юрген Шмидхубер и Пьер-Ив Удейер. Но в Absolute Zero особенно интересно то, как растёт сложность задач: чем умнее становится модель, тем более сложные вопросы она начинает ставить перед собой.
«Уровень сложности растёт вместе с возможностями модели», — отмечает исследователь BIGAI Цзилун Чжэн.
Сейчас подход работает только там, где результат можно легко проверить — в программировании и математике. Но в будущем его хотят применить и к более «жизненным» задачам: работе ИИ-агентов в браузере, офисных сценариях или автоматизации процессов. В таких случаях модель могла бы сама оценивать, правильно ли агент действует.
«В теории это может стать путём к суперинтеллекту», — признаёт Чжэн.
