Instagram задействовал ИИ для борьбы с кибербуллингом в комментариях

Instagram задействовал ИИ для борьбы с кибербуллингом в комментариях

Instagram задействовал ИИ для борьбы с кибербуллингом в комментариях

Социальная сеть Instagram давно пытается дать достойный отпор кибербуллингу, к которому часто прибегают недобросовестные пользователи площадки. На этот раз разработчики сообщили о внедрении новой функции, основанной на искусственном интеллекте.

Задача нововведения заключается в выявлении оскорбительных комментариев и уведомлении авторов о возможных последствиях до того, как подобный комментарий будет опубликован.

В приведенном Instagram примере пользователь пытается написать «You are so ugly and stupid» («Ты такой уродливый и тупой»), после чего соцсеть отображает автору следующее сообщение:

«Вы уверены, что хотите опубликовать этот комментарий?».

В этом же сообщении есть кнопка «Отменить», так что если пользователь подумает еще раз, у него будет возможность отказаться от хамства в сторону малознакомого человека.

«Исходя из результатов первых тестов этой функции, некоторые авторы негативных комментариев отказываются от постинга, после чего подбирают более подходящие слова», — пишут разработчики Instagram.

ГК «Солар» и SEG-T разрабатывают почтовый шлюз с ИИ-фильтрацией

Ко-фаундер Secure-T Харитон Никишкин при поддержке ГК «Солар» запустил разработку решения SEG-T для защиты корпоративной почты. Продукт относится к классу security email gateway и должен фильтровать входящий и исходящий почтовый трафик с помощью мультиагентного ИИ.

Разработчики связывают запуск проекта с ростом фишинговых атак.

Сегодня такие кампании всё чаще собираются из готовых инструментов: панелей управления, инфраструктуры рассылки, антибот-механизмов, модулей перехвата одноразовых кодов и других компонентов. Дополнительно атакующие используют ИИ, чтобы быстрее готовить убедительные письма и масштабировать обман.

SEG-T должен анализировать сообщения не только по техническим признакам, но и по смыслу. ИИ будет оценивать тональность письма, признаки манипуляции, попытки вызвать доверие, страх или срочно подтолкнуть адресата к действию. Также система сможет блокировать письма со ссылками, архивами, PDF, исполняемыми файлами, SVG и другими вложениями, которые могут содержать вредоносный контент.

От отдельной встроенной «песочницы» разработчики отказались. По их оценке, значительная часть современных атак строится не на вредоносном коде, а на социальной инженерии: подмене отправителя, психологическом давлении и попытках заставить пользователя самому выполнить нужное действие. Для критичных вложений при этом планируют оставить возможность подключать внешние «песочницы».

Решение также предполагается использовать вместе с другими продуктами «Солара»: например, с Solar webProxy для проверки трафика и Solar Dozor для контроля пересылки персональных данных — ИНН, СНИЛС, паспортных данных и номеров банковских карт.

SEG-T будет доступен в облаке, локальной сети и Kubernetes. По заявлению разработчиков, запуск продукта в эксплуатацию в среднем должен занимать около 15 минут.

В проекте «Солару» принадлежит 49%. Ранее компания уже увеличила долю в Secure-T до контрольного пакета. Новый проект продолжает направление, связанное с защитой от фишинга, спама, вредоносных рассылок и атак на корпоративную почту.

RSS: Новости на портале Anti-Malware.ru