В попытке замять промах ИИ-помощник WhatsApp окончательно заврался

В попытке замять промах ИИ-помощник WhatsApp окончательно заврался

В попытке замять промах ИИ-помощник WhatsApp окончательно заврался

Вместо телефона горячей линии перевозчика ИИ-ассистент WhatsApp (принадлежит Meta, признанной экстремистской и запрещенной в России) выдал схожий номер другого пользователя мессенджера, а потом стал выдумывать оправдания, чтобы его не сочли невеждой.

При этом умный чат-бот старался переключить внимание собеседника: говорил, что работал по неким шаблонам, предлагал сконцентрироваться на поиске правильного ответа и даже противоречил сам себе в попытках не ударить в грязь лицом.

Степень стремления бесплатного ИИ-помощника угодить 41-летний работник музыкального магазина Барри Сметерст (Barry Smethurst) познал, когда ждал электричку до Манчестера. Она сильно запаздывала, и, чтобы узнать причину, истомившийся пассажир зашел в WhatsApp.

Когда выяснилось, что выданный по запросу телефон не имеет ничего общего с TransPennine Express, путешественник попытался узнать, кому принадлежит этот номер. ИИ-бот поспешил заявить, что не должен был раскрывать его, и предложил вместе поискать правильный ответ.

Однако Сметерст захотел узнать, почему ему дали чей-то мобильный номер, притом явно без согласия владельца (потом выяснилось, что телефон был указан на сайте компании, в которой работал потерпевший).

ИИ пояснил, что это результат генерации «на основе шаблонов», и пообещал его улучшить. Однако встречное недоверие заставило бот изменить свои показания — телефонный номер был якобы по ошибке стянут из некоей базы данных.

Когда его спросили, что за база, умный помощник совсем растерялся и пошел на попятный:

«Я не доставал его из базы данных, а сгенерировал последовательность цифр по формату мобильных номеров Великобритании, притом без использования реальных данных».

Потеряв терпение, Сметерст решительно заявил, что не верит чат-боту и результат в виде произвольного числа в данном случае непростителен для ИИ. Позднее Meta (признана экстремистской и запрещена в России) были высказаны соответствующие претензии.

Ошибаются, иногда даже более катастрофично, и другие ИИ-боты. Так, минувшей весной в Норвегии была подана жалоба на OpenAI: ее ChatGPT в ответ юзеру, вставившему свое имя в вопрос «Кто такой…?», заявил, что этот человек — известный детоубийца, чем привел в ужас примерного семьянина.

Однако OpenAI, по крайней мере, предупреждает пользователей о склонности ИИ к галлюцинациям и рекомендует всегда проверять выдачу с важной информацией. Кстати, недавно выяснилось, что ChatGPT как помощник лингвиста тоже требует присмотра из-за возможности ошибочных суждений.

AM LiveКак эффективно защититься от шифровальщиков? Расскажем на AM Live - переходите по ссылке, чтобы узнать подробности

Мультиагентная система взяла на себя треть задач SOC в Yandex Cloud

Yandex Cloud сообщила, что автоматизировала значительную часть рутинных задач в своём центре мониторинга безопасности (SOC), внедрив мультиагентную систему на базе ИИ. По данным компании, около 39% операций, которые раньше занимали существенную долю рабочего времени аналитиков, теперь выполняют ИИ-помощники. Речь идёт о разборе алертов, первичном анализе инцидентов и поиске данных во внутренних базах.

Внутри SOC несколько ИИ-агентов работают параллельно: один сортирует входящие уведомления, другой перепроверяет данные и выявляет ошибки.

Такой подход позволяет снизить риск некорректных выводов и ускорить фильтрацию ложных срабатываний. По оценкам компании, время на обработку некорректных оповещений сократилось на 86%.

За два года Yandex Cloud прошла путь от экспериментов с ИИ в SOC до полноценной промышленной эксплуатации. Значимую роль сыграли RAG-технологии, которые позволяют моделям работать с актуальными документами и накопленной базой инцидентов. Мультиагентный подход, в свою очередь, сделал возможным разделить задачи между специализированными помощниками, способными учитывать контекст крупных корпоративных инфраструктур.

По словам Евгения Сидорова, директора по информационной безопасности Yandex Cloud, система помогает ускорять обнаружение угроз и автоматизировать обработку данных киберразведки. Он отмечает, что современные SOC-команды всё чаще работают на стыке ИБ и инструментов ИИ.

Мультиагентная система используется не только внутри компании, но и доступна клиентам облачной платформы — в частности, в сервисах Detection and Response и Security Deck. Их уже применяют организации из разных отраслей, включая финтех, здравоохранение и страхование, для автоматизации части процессов мониторинга.

ИИ-помощник, встроенный в сервисы, может разбирать инциденты пошагово, анализировать индикаторы компрометации и артефакты в контексте облачной инфраструктуры, а также предлагать варианты реагирования. Он также собирает дополнительные данные, например по IP-адресам, и формирует рекомендации по предотвращению дальнейших угроз.

AM LiveКак эффективно защититься от шифровальщиков? Расскажем на AM Live - переходите по ссылке, чтобы узнать подробности

RSS: Новости на портале Anti-Malware.ru