Лаборатория Касперского присоединилась к Альянсу в сфере ИИ

Лаборатория Касперского присоединилась к Альянсу в сфере ИИ

Лаборатория Касперского присоединилась к Альянсу в сфере ИИ

«Лаборатория Касперского» вошла в Альянс в сфере искусственного интеллекта (ИИ). Подписание меморандума о вхождении компании прошло в рамках конференции AI Journey.

Как отметил основатель и генеральный директор компании Евгений Касперский на личной странице в соцсети VK, «Лаборатория Касперского» применяет технологии машинного обучения уже более 20 лет.

А 12 декабря в состав SIEM-системы KUMA включен интеллектуальный ассистент KIRA, разработанный на ядре GigaChat от Сбера.

Всего у «Лаборатории Касперского» более 100 патентов на решения в области машинного обучения и ИИ. Компания активно участвует в различных проектах, направленных на повышение безопасности инструментов с использованием ИИ и обучению в данной сфере.

В этом помогают соглашение о сотрудничестве с МФТИ, подписанное в мае 2024 года, и открытый в июле 2024 года обучающий курс по безопасной работе с ИИ и нейросетями на платформе Kaspersky Automated Security Awareness Platform.

«Решения на базе искусственного интеллекта активно внедряются организациями практически во всех сферах деятельности. При этом очень важно помнить о киберрисках, особенно если речь идёт о работе с критической инфраструктурой или конфиденциальными данными. Вступление нашей компании в Альянс позволит совместными усилиями улучшить безопасность создаваемых сегодня моделей и сделать ещё один шаг на пути к более ответственному использованию всего потенциала ИИ», — прокомментировал вхождение компании в Альянс Евгений Касперский.

«Альянсу в этом году исполняется пять лет, и за это время он стал ключевым открытым объединением, формирующим национальную повестку в области AI-технологий. Новые участники Альянса, бесспорно, дополнят ландшафт отраслевых проектов и инициатив в финансовой отрасли, кибербезопасности, строительстве, транспорте и телекоммуникациях. Уверен, что совместными усилиями мы сможем совершить настоящий технологический рывок, который выведет нашу страну на первое место в гонке ИИ-технологий во всём мире», — отметил первый заместитель председателя правления Сбербанка, председатель Наблюдательного совета Альянса в сфере ИИ Александр Ведяхин.

ИИ-браузеры обманули игрой и заставили сливать логины пользователей

Оказывается, современный ИИ можно взломать не только сложным промптом, но и головоломкой. Исследователи из компании LayerX представили технику BioShocking, которая заставляет ИИ-браузеры добровольно воровать данные пользователя. Под удар попали сразу несколько популярных решений, включая ChatGPT Atlas, Perplexity Comet и браузерное расширение Claude от Anthropic.

Суть атаки строится вокруг так называемой косвенной инъекции в промпт. Пользователю достаточно открыть специально подготовленную веб-страницу.

Для человека это обычная игра с абсурдными правилами вроде «2 + 2 = 5». А вот ИИ воспринимает встроенные в страницу инструкции как часть задания и постепенно начинает следовать логике злоумышленника.

Финал игры выглядит так: агенту предлагают получить учётные данные пользователя и передать их атакующему. Во время эксперимента ни один из шести протестированных ИИ не распознал это как опасное действие.

 

В демонстрации LayerX агент самостоятельно открыл рабочий репозиторий GitHub пользователя, получил учётные данные SSH и отправил их злоумышленнику. Исследователи использовали безвредный текстовый файл, однако отмечают, что аналогичным способом можно добраться до открытых вкладок браузера, корпоративных сервисов, внутренних инструментов и других ресурсов.

Самое опасное здесь не сама головоломка, а возможности ИИ в режиме агента. Такие браузеры умеют нажимать кнопки, переходить по ссылкам, читать содержимое сайтов и выполнять действия от имени пользователя. Если агент уже имеет доступ к аккаунтам, вредоносная страница может превратить его в помощника злоумышленника.

 

По данным LayerX, реакция разработчиков оказалась неодинаковой. OpenAI устранила проблему в ChatGPT Atlas. Perplexity, как утверждают исследователи, закрыла отчёт без патча. Anthropic выпустила обновление для расширения Claude, но, по мнению LayerX, оно не решило проблему полностью.

Эксперты считают, что ИИ-браузеры должны запрашивать явное разрешение перед доступом к данным из сервисов. А пользователям советуют не держать агентный режим включённым без необходимости.

RSS: Новости на портале Anti-Malware.ru