Kaspersky сформулировала принципы этичного использования ИИ в кибербезе

Kaspersky сформулировала принципы этичного использования ИИ в кибербезе

Kaspersky сформулировала принципы этичного использования ИИ в кибербезе

В ходе дискуссии на Форуме ООН по управлению интернетом (IGF) «Лаборатория Касперского» представила этические принципы, которых, по ее мнению, нужно придерживаться при разработке и использовании систем машинного обучения.

Одна из ключевых тем IGF в этом году — искусственный интеллект и развивающиеся технологии, и Kaspersky, следуя взятому шесть лет назад курсу на информационную открытость, решила поделиться с коллегами своими наработками, чтобы придать импульс многостороннему диалогу с целью выработки единых практик использования таких технологий в кибербезопасности.

Машинное обучение, по словам экспертов, играет важную роль в автоматизации процесса обнаружения угроз и выявления аномалий, а также повышает точность распознавания вредоносных программ. В сочетании с человеческим опытом такие помощники позволяют также обнаруживать новые, ранее неизвестные угрозы и противодействовать им.

ИБ-компания использует ML-алгоритмы в своих решениях около 20 лет, придерживаясь следующих этических принципов (PDF):

  • прозрачность (информирование клиентов об использовании технологий машинного обучения в своих продуктах и услугах);
  • безопасность (аудит с учетом специфики, минимизация зависимости от сторонних наборов данных в процессе обучения решений, фокус на облачные технологии ML с необходимыми мерами защиты и т. п.);
  • человеческий контроль (обязательные проверки при анализе сложных угроз);
  • конфиденциальность (технические и оргмеры для защиты данных пользователей и систем);
  • приверженность целям кибербезопасности (концентрация на защитных технологиях);
  • открытость к диалогу (обмен опытом по этичному использованию ML с заинтересованными сторонами, сотрудничество с целью решения проблем и стимулирования инноваций).

«Машинное обучение может быть очень полезным для индустрии кибербезопасности, ещё больше повысить киберустойчивость общества, — комментирует Антон Иванов, директор Kaspersky по исследованиям и разработке. — Однако, как и любая технология, находящаяся на ранней стадии своего развития, она несёт определённые риски. Мы рассказываем о своих этических принципах в области работы с технологиями машинного обучения и призываем к открытому диалогу в отрасли для выработки чётких рекомендаций, как сделать разработку таких решений этичной».

Cloud.ru представила фильтр, скрывающий конфиденциальные данные от ИИ

На конференции GoCloud 2026 компания Cloud.ru анонсировала Guardrails Filter — инструмент для более безопасной работы с генеративным ИИ. Его задача довольно понятная: не дать конфиденциальным данным случайно утечь в большую языковую модель.

Схема работы выглядит так: сервис проверяет текст запроса, ищет в нём конфиденциальные данные — например, персональные сведения, банковские реквизиты, API-ключи и другие секреты, — затем маскирует их и только после этого отправляет обезличенный запрос в модель. Когда модель возвращает ответ, система подставляет реальные значения обратно.

Иначе говоря, пользователь получает нормальный результат, но сами чувствительные данные не уходят за пределы корпоративного контура в исходном виде.

Сейчас инструмент рассчитан на работу с моделями из сервиса Cloud.ru Foundation Models. В этой платформе доступно более 20 моделей разных типов, включая text-to-text, audio-to-text и image-text-to-text. При этом Cloud.ru отдельно уточняет, что механизм фильтрации будет доступен и в формате on-premise, то есть для установки на стороне самого заказчика.

Появление такого инструмента хорошо вписывается в общий тренд: компании всё активнее используют генеративный ИИ, но тема утечек данных остаётся одной из главных причин, почему внедрение идёт не так быстро, как хотелось бы. Особенно это чувствительно для отраслей, где много персональной и служебной информации, — например, для здравоохранения, ретейла и госсектора.

Кроме того, Cloud.ru сообщила, что добавила в Foundation Models LLM-модель российской компании HiveTrace с Guardrails-механизмом. По заявлению компании, такая модель должна лучше справляться с рисками вроде промпт-инъекций, утечки системных инструкций и некорректной обработки выходных данных.

RSS: Новости на портале Anti-Malware.ru