Сгенерированный ИИ контент с детьми становится более жестоким и массовым

Сгенерированный ИИ контент с детьми становится более жестоким и массовым

Сгенерированный ИИ контент с детьми становится более жестоким и массовым

Во всём мире быстро растут объёмы экстремального контента, сгенерированного нейросетевыми инструментами, в том числе на основе изображений реальных людей, включая детей. Для противодействия этой тенденции эксперты предлагают пересмотреть регулирование интернет-безопасности и ввести жёсткие ограничения для профильных компаний.

По данным, изложенным в докладе британской неправительственной организации Internet Watch Foundation (IWF), в 2025 году было выявлено 8029 реалистичных роликов, содержащих сцены сексуализированного насилия над детьми. Это на 14% больше, чем годом ранее.

Однако в текущем году ситуация начала стремительно ухудшаться, что вызывает серьёзную обеспокоенность экспертов. В частности, за минувший год доля изображений и видео, содержащих пытки и извращённый секс, выросла с 13 до 69%.

«Хотя доля материалов, созданных с помощью искусственного интеллекта (ИИ), остаётся сравнительно небольшой среди огромного количества материалов с участием детей, с которыми наши аналитики работают каждый год, число изображений, созданных с помощью ИИ, возросло в геометрической прогрессии благодаря доступности и простоте таких инструментов. Сейчас мы сталкиваемся с технологическим ландшафтом, который может с беспрецедентной лёгкостью порождать бесконечные нарушения», — говорится в докладе IWF.

Ведущий специалист отдела исследовательских разработок компании «Стахановец», эксперт в области информационных технологий и информационной безопасности Алексей Миронов в комментарии для «Известий» обратил внимание на рост доступности и удешевление нейросетевых инструментов: «Если ещё пару лет назад для создания реалистичного видеоролика или дипфейка требовались серьёзные вычислительные мощности и глубокие знания в программировании, то сегодня злоумышленники могут использовать недорогие облачные сервисы и готовые инструменты».

Глава Альянса по защите детей в цифровой среде Елизавета Белякова также назвала одной из причин широкого распространения такого контента то, что даже один человек способен за короткий срок сгенерировать значительные объёмы подобных материалов. Это подогревает высокий платёжеспособный спрос на такие изображения и видео в определённых сообществах. При этом злоумышленники нередко используют изображения реальных людей, например, из соцсетей. Это создаёт серьёзные репутационные риски и может способствовать кибербуллингу и шантажу.

Ситуацию усугубляет то, что в настоящее время дипфейк часто невозможно отличить от реального изображения без использования специального инструментария. Это признал руководитель Экспертно-криминалистического центра МВД России.

Основатель платформы мониторинга нейросетей GEO Scout Владислав Пучков отметил, что злоумышленники используют модифицированные ИИ-модели с открытым кодом. Кроме того, они могут сочетать сразу несколько инструментов. Причём обходить ограничения, установленные разработчиками, способны даже пользователи с невысокой квалификацией. Тем более что в соответствующих сообществах можно найти готовые инструкции.

По мнению экспертов, в дальнейшем ситуация будет только ухудшаться. Этому будут способствовать как большой объём такого контента, так и его дальнейший рост, из-за чего системы модерации онлайн-платформ могут перестать справляться с нагрузкой.

По оценке Алексея Миронова, помочь здесь может принцип «ИИ против ИИ». В этом случае нелегальный контент будут выявлять и блокировать на уровне провайдеров, а весь легитимный контент получит обязательные цифровые водяные знаки. Также он указал на необходимость контролировать корпоративные ИИ-модели на предмет их использования в нелегитимных целях.

Директор Центра компетенций по глобальной ИT-кооперации Вадим Глущенко назвал ключевой задачей налаживание обмена данными между интернет-платформами и провайдерами, а также выработку общих подходов к выявлению запрещённого контента на межстрановом уровне. Хорошим примером такого сотрудничества он назвал инициативу INHOPE, охватывающую 52 страны, включая Россию.

Подпишитесь на новости

Swordfish Security добавила ИИ-агентов и RAG в оценку безопасности компаний

ИИ уже не просто отвечает на вопросы, корпоративные агенты получают доступ к инструментам и выполняют задачи без пошагового контроля человека. А значит, ошибка нейросети может превратиться в действие внутри рабочей системы. Swordfish Security обновила свой фреймворк оценки AI Security с учетом этих рисков.

Версия 2.0 методологии Swordfish: SAIMM представлена в центре экспертизы компании.

Документ предназначен для бесплатного использования специалистами по кибербезопасности и разработчиками. Он помогает оценить зрелость процессов защиты ИИ, выявить пробелы и определить очередность изменений.

Главное обновление — два дополнительных направления оценки: безопасность агентских систем и RAG-пайплайнов.

Первое касается поведения агентов, их действий и использования инструментов. Когда нейросети доверяют корпоративный процесс, одного контроля за текстом ответа уже мало: важно понимать, что она может сделать с выданными полномочиями.

Второе направление посвящено данным, которые ИИ использует для формирования ответов. RAG позволяет модели обращаться к внешним источникам — например, корпоративной базе знаний. Поэтому в оценку входят контроль данных, их связь с моделями, учет версий и происхождения компонентов.

По словам гендиректора Swordfish Security Александра Пинаева, обновленный фреймворк стал практичнее: компания может пройти по вопросам, зафиксировать текущий уровень зрелости и определить, какие следующие шаги дадут наибольший эффект.

Важная часть подхода — постоянный учет моделей и данных, фиксация инцидентов и наблюдение за нежелательным поведением. Генеративная система способна по-разному отвечать на один запрос, поэтому разовая проверка не закрывает вопрос безопасности.

RSS: Новости на портале Anti-Malware.ru