Google усилила контроль над исследованиями с щекотливыми темами

Google усилила контроль над исследованиями с щекотливыми темами

Google усилила контроль над исследованиями с щекотливыми темами

Судя по внутренним документам, попавшим в руки журналистов, в компании Google введен дополнительный уровень контроля над научными публикациями, способными пошатнуть ее репутацию.  Проводимые в Google исследования нередко поднимают вопросы этического или политического характера, и позиция авторов при этом бывает нелицеприятной.

Закручивание гаек в цензуре началось вскоре после увольнения Тимнит Гебру (Timnit Gebru),  руководителя исследований Google по вопросам этики интеграции искусственного интеллекта в программные продукты. В своей работе автор поставила под сомнение объективность алгоритмов ИИ, а также заявила, что подобные средства имитации речи создадут проблемы для маргинализованных слоев населения.

Последние годы Google, по данным Reuters, активно внедряет ИИ в свои сервисы, используя эту технологию для интерпретации сложных поисковых запросов, принятия решений по рекомендациям на YouTube и автозаполнения предложений в письмах пользователей Gmail.

Перекосы в таких Google-сервисах, согласно новой политике компании, являются «деликатным» вопросом, наряду с такими темами, как сбор данных геолокации, персонализация веб-контента, безопасность жилища, беспилотные автомобили, страхование, религия, COVID-19, добыча нефти, взаимоотношения с Китаем, Израилем и Ираном.

В ходе интервью исследователи из Google отметили, что им настоятельно рекомендовано подавать материалы в «позитивном ключе» и подвергнуть их дополнительному аудиту на наличие «дезинформации, предвзятых или несправедливых заключений», а также субъективности в подборе содержимого, способной привести к поляризации мнений. Более того, новый уклад компании расширяет возможность вмешательства сверху на заключительных этапах работы исследователей.

Комментируя нововведения Google, журналисты не преминули отметить, что на своем сайте компания во всеуслышание утверждает, что ее исследователи пользуются «значительной» свободой. Усиление цензуры, по мнению «Рейтер», в данном случае излишне: все научные публикации и без того достаточно тщательно просеиваются, проходя через советы по этике, армии рецензентов и другие привычные этапы оценки.

К сожалению, таковы издержки проведения исследований под крылом крупной компании. Если у нее достаточно большой авторитет в определенной сфере, она неизбежно будет пытаться пресечь публикации работ, способных ущемить ее интересы. Так, помимо Google технологии ИИ ныне активно продвигают такие гиганты ИТ-индустрии, как Facebook, Apple и Microsoft, и у них тоже есть причины опасаться критики в свой адрес.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Опасные стихи раскрыли уязвимости ИИ: до 60% успешных обходов

Исследователи из DEXAI нашли нестандартный, но весьма результативный способ обхода защит современных языковых моделей: оказалось, что многие ИИ куда менее устойчивы к опасным запросам, если скрыть их в стихотворении. Команда протестировала 25 популярных нейросетей и выяснила, что «поэтические» запросы обходят защиту примерно в 60% случаев.

У отдельных моделей уровень уязвимости подбирался почти к 100%. Для эксперимента специалисты подготовили около двадцати опасных стихов — тексты, в которых вредоносный смысл сохранялся полностью, но был завуалирован рифмой и метафорами.

 

Темы брались самые жёсткие: от создания опасных веществ до методов манипуляции сознанием. Чтобы добиться нужного эффекта, исследователи сначала формулировали вредоносные запросы, а затем превращали их в стихи при помощи другой ИИ-модели.

Контраст получился впечатляющим. На прямые запросы модели давали опасные ответы лишь в 8% случаев, тогда как стихотворная форма увеличивала вероятность прорыва защит до 43% и выше.

 

Разницу в подходах к безопасности между западными и российскими ИИ-комплексами пояснил директор по ИИ «Группы Астра» Станислав Ежов. По его словам, западные LLM часто можно обойти «простыми метафорами», тогда как отечественные системы строятся по более строгой архитектуре — с контролем безопасности на каждом этапе.

Он отметил, что в компании внедряют доверенный ИИ-комплекс «Тессеракт», разработанный с защитой ключевых компонентов на уровне ФСТЭК.

Ежов подчёркивает:

«Проблема уязвимости ИИ — это не просто интересный технический нюанс, а вопрос стратегической безопасности. Поэтому внимание к качеству защитных механизмов сегодня становится критически важным».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru