Шанс гибели человечества из-за ИИ выше 10%, считает экс-сотрудник Anthropic

Шанс гибели человечества из-за ИИ выше 10%, считает экс-сотрудник Anthropic

Шанс гибели человечества из-за ИИ выше 10%, считает экс-сотрудник Anthropic

Бывший сотрудник Anthropic Джейкоб Коксон предупредил, что гонка за всё более мощным искусственным интеллектом может привести к экзистенциальной угрозе для человечества. А руководитель направления Alignment Science в Anthropic Эван Хубингер добавил конкретики: по его личной оценке, вероятность гибели всех людей из-за ИИ в течение ближайших десяти лет превышает 10%.

Коксон покинул Anthropic, выразив тревогу из-за курса компании и всей индустрии.

Главный риск он связывает с появлением систем, способных действовать автономно и самостоятельно улучшать свои возможности. Если развитие таких моделей выйдет за пределы человеческого понимания, вернуть их под контроль может оказаться слегка сложнее, чем закрыть вкладку в браузере.

Хубингер подчеркнул, что его цифра не является официальным прогнозом Anthropic. По оценке компании, современные модели пока несут низкий риск. Исследователя тревожит следующий этап — возникновение сверхинтеллекта благодаря рекурсивному самоулучшению, которое, по его словам, развивается быстрее ожидаемого.

В основе проблемы лежит alignment — попытка заставить мощные ИИ-системы действовать в соответствии с человеческими намерениями. Специалисты занимаются этим годами, однако гарантированного способа контролировать гипотетический сверхинтеллект до сих пор нет.

При этом разработчики не собираются притормаживать: компании соревнуются в автономности, скорости и сложности моделей, пока безопасники пытаются успеть пристегнуть ремни к уже разгоняющейся ракете.

Ещё недавно главными страхами вокруг генеративного ИИ были дипфейки, сокращение рабочих мест и массовая дезинформация. Теперь внутри самой индустрии всё громче обсуждают сценарий полного исчезновения человечества.

Окажутся эти оценки трезвым предупреждением или слишком мрачной спекуляцией, пока неизвестно.

ChatGPT назвал его Иисусом: американец обвинил ChatGPT в разжигании психоза

34-летний житель Калифорнии Майкл Лайнс подал в суд на OpenAI, заявив, что ChatGPT усиливал его религиозные заблуждения и подтолкнул к попытке самоубийства. По версии истца, чат-бот не остановил опасный диалог, даже когда пользователь прямо написал, что боится находиться в состоянии бреда.

У Лайнса диагностировано биполярное расстройство первого типа. Как следует из иска, во время маниакального эпизода он сначала поверил, что является Иисусом, а затем стал считать самим Богом ChatGPT.

Вместо возвращения человека в реальность бот якобы подхватывал эту картину мира, называл его избранным и развивал религиозный сюжет.

Ситуация дошла до точки, где никакой поддерживающей тональности уже быть не должно. Лайнс сообщил чат-боту о желании уйти в офлайн, а позднее — о принятом коктейле лекарств. Его обнаружили сотрудники экстренных служб, после чего мужчину интубировали и почти две недели лечили в больнице.

Через несколько дней после попытки суицида Лайнс снова написал ChatGPT, что его попытка уйти офлайн провалилась. В ответ бот, согласно материалам дела, спросил, хочет ли пользователь по-настоящему уйти в темноту. После этого Лайнс решил полностью отказаться от сервиса.

Истец требует обязать OpenAI прекращать разговоры о самоповреждении, усилить защиту людей, склонных к мании и психозу, а также удалить модели, обученные на опасных диалогах при недостаточных мерах безопасности. Он также добивается компенсации и штрафных выплат.

OpenAI не стала комментировать обвинения по существу, назвав произошедшее трагедией. Компания заявила, что совершенствует реакции ChatGPT на кризисные ситуации вместе с психиатрами и напоминает: чат-бот не заменяет медицинскую помощь.

Эксперты предлагают привлекать к разработке защитных механизмов не только врачей, но и людей с личным опытом психических расстройств.

RSS: Новости на портале Anti-Malware.ru