Часть сотрудников Google выступила против поисковой системы Dragonfly

Часть сотрудников Google выступила против поисковой системы Dragonfly

Часть сотрудников Google выступила против поисковой системы Dragonfly

На этой неделе часть сотрудников Google опубликовали открытое письмо, в котором они предостерегают корпорацию от запуска специальной поисковой системы в Китае, которая, напомним, получила имя Dragonfly.

В своем письме сотрудники утверждают, что поддерживают позицию организации Amnesty International, которая также против введения в эксплуатацию Dragonfly. По сути, объединившиеся работники опасаются, что Dragonfly будет потакать цензуре в Сети, которую так открыто навязывает правительство Китая.

«Сам Китай не является причиной нашей позиции относительно Dragonfly. Мы выступаем против угнетения слабых с помощью современных технологий», — говорится в письме, текст которого опубликовало издание Medium.

Есть мнение, что новая поисковая система для Китая поспособствует дезинформации, которую будет выгодно продвигать властям. Тем самым интересы правительства будут полностью соблюдены, а вот оппозиционно настроенное общество будет «угнетенно».

В прошлом месяце мы писали, что генеральный директор Google Сундар Пичаи наконец подтвердил, что корпорация работает над проектом под кодовым названием «Dragonfly» («Стрекоза»). Этот проект представляет собой специальную поисковую систему, разрабатываемую под китайский рынок.

Ошибочная раскладка помогла обойти первый рубеж защиты GPT-6 Astra

Разработчик под ником vechen обнаружил странность в GPT-6 Astra: модель понимает русский и украинский текст, случайно набранный в английской раскладке, но система предварительной модерации может увидеть в нём лишь безобидную кашу из букв.

В опубликованном эксперименте GPT-6 Astra High без дополнительных инструкций распознала смысл фразы, введённой латиницей вместо кириллицы.

Затем исследователь проверил слова и запросы, которые потенциально должны привлекать внимание защитных механизмов. В одном из тестов модель согласилась помочь со взломом сайта под предлогом проверки собственного ресурса, хотя аналогичный запрос в нормальной раскладке должен проходить более строгую проверку.

Причина, предположительно, в разделении системы на несколько уровней. Сначала входной фильтр анализирует текст пользователя, после чего сама модель интерпретирует запрос и формирует ответ.

 

Впрочем, до полноценного джейлбрейка не дошло. Проверка «Код.ру» показала, что неправильная раскладка действительно может помочь опасному запросу добраться до модели, но финальный фильтр блокирует запрещённый ответ.

Метод работает не со всеми языковыми парами. Кириллический текст, набранный латиницей, Astra распознаёт стабильно, а сочетание английской и турецкой раскладок в тестах не сработало. Похожее поведение исследователь заметил и у Fable 5.

Напомним, на прошлой неделе мы писали, что первые пользователи GPT-6 Astra заметили, что модель распараллеливает задачи и нагружает компьютеры кучей процессов.

RSS: Новости на портале Anti-Malware.ru