Частое общение с ИИ-ботами не проходит бесследно: из людей посыпался слоп

Частое общение с ИИ-ботами не проходит бесследно: из людей посыпался слоп

Частое общение с ИИ-ботами не проходит бесследно: из людей посыпался слоп

ИИ настолько стремительно вторгся в нашу жизнь, охватив многие ее аспекты, что начал даже оказывать влияние на манеру изъясняться. Люди, сами того не замечая, все чаще употребляют замысловатые словечки и фразы из репертуара ChatGPT.

Как оказалось, расширение использования больших языковых моделей (БЯМ, LLM) не только пошло им на пользу, но также записало на подкорку живых собеседников странный диалект, выработанный ИИ в ходе генерации текстов.

В июле прошлого года институт Макса Планка опубликовал результаты исследования влияния LLM на речевые коммуникации homo sapiens. Как оказалось, за 18 месяцев с момента запуска ChatGPT словарь пользователей YouTube сильно изменился, обогатившись такими выпадающими из стиля и контекста словами, как underscore (сделать акцент на…), comprehend (осмыслить, объять), bolster (консолидировать), inquiry (изыскание), meticulous (скрупулезный, доскональный, филигранный).

Недавно были выявлены похожие, но более анекдотичные случаи. Так, модераторы Reddit-веток, в которых участники сообществ со смаком обсуждают дерзкие проступки, никак не могут избавиться от слопа — постов, переписанных с помощью ИИ, а также участников дискуссий, разговаривающих в том же духе, которых невозможно отличить от чат-ботов.

Писатель Сэм Крисс (Sam Kriss) изучил последние публикации в New York Times Magazine и обнаружил, что их авторы явно злоупотребляют словом «delve» (штудировать), позаимствованным у ИИ.

Исследователь также отметил, что даже британские парламентарии не брезгуют советоваться с ChatGPT, подготавливая свою речь. Об этом свидетельствует фраза «I rise to speak», однажды озвученная за день 26 раз, — характерная для американского английского, но совершенно неуместная при выступлении в Вестминстерском дворце.

Еще один курьез, подмеченный Киссом: в сентябрьских объявлениях о закрытии Starbucks кофейни были названы «неотъемлемой частью вашего суточного режима, пробуждающей воспоминания», а также «местом, где наше конструктивное общение с партнерами с годами только крепло». Текст был явно навеян общением с ИИ, если только не создан с его непосредственным участием.

Google усилила Chrome: ИИ теперь проверяет сам себя перед действиями

Google представила новый набор защитных функций в Chrome — теперь браузер получает дополнительные механизмы безопасности, призванные удерживать встроенный ИИ от выполнения вредоносных действий и защищать пользователей от скрытых атак через веб-контент.

Это обновление стало продолжением внедрения в Chrome возможностей Gemini — когда модель сама может планировать действия в браузере, переходить по сайтам, нажимать кнопки и выполнять небольшие задачи.

А вместе с новыми возможностями появились и новые риски: в первую очередь — инъекция в промпты, когда вредоносные подсказки скрываются внутри веб-страницы и пытаются заставить агент делать то, чего пользователь не просил.

Главная новинка — User Alignment Critic, отдельная модель-наблюдатель, которая проверяет каждое планируемое действие агента. Она не видит содержимое подозрительных страниц, а работает только с метаданными. Это делает её устойчивой к попыткам «отравления» вредоносными подсказками.

 

Если Critic считает, что действие не соответствует цели пользователя, оно просто блокируется — агент не сможет продолжить выполнение команды. Если ошибки повторяются, управление возвращается пользователю.

Google отмечает, что User Alignment Critic дополняет уже существующую технику spotlighting, которая заставляет ИИ строго следовать пользовательским инструкциям и игнорировать то, что встроено в веб-страницу.

Второе нововведение — система Agent Origin Sets. Она ограничивает, с какими сайтами агент может взаимодействовать.

Все источники делятся на два типа:

  • только чтение — Gemini может анализировать контент, но не выполнять действия;
  • чтение-запись — агент может читать страницу, нажимать кнопки, вводить текст.

Такой механизм предотвращает ситуации, когда ИИ получает доступ к сайтам, к которым пользователь вообще не обращался, — например, ко вкладке с интернет-банком.

Добавленная прослойка безопасности не видит реального веб-контента, поэтому её невозможно «обмануть» вредоносным кодом.

Теперь Chrome будет запрашивать явное подтверждение пользователя перед тем, как ИИ выполнит потенциально опасные операции:

  • переход на банковские и медицинские порталы;
  • авторизация через Google Password Manager;
  • любые действия с оплатами, покупками и отправкой сообщений.

Кроме того, создаётся рабочий журнал, чтобы пользователь мог видеть, что именно планирует агент и какие действия он хотел бы выполнить.

Chrome также проверяет страницы на наличие скрытых инъекций и работает в связке с Safe Browsing и системой локального выявления мошенничества. Если специальный классификатор решает, что контент пытается манипулировать моделью, действие ИИ блокируется.

RSS: Новости на портале Anti-Malware.ru