ИИ помог ученым извлечь звук из фото и немого видео

ИИ помог ученым извлечь звук из фото и немого видео

ИИ помог ученым извлечь звук из фото и немого видео

Метод, разработанный университетскими исследователями, позволяет получать аудиоданные из фотографий и видео, снятого с выключенным микрофоном. Созданный учеными ИИ-инструмент способен даже определить пол комментатора, созерцавшего фотосессию.

Концепция, нареченная Side Eye, предполагает использование стабилизатора изображения и механизма скользящего затвора, присутствующих во встроенных камерах многих современных телефонов. Созданный в ходе исследования инструмент использует средства машинного обучения, и его можно натренировать на аудиозаписях с тем, чтобы он научился распознавать часто употребляемые слова — например, «да» и «нет».

«Представьте себе, что кто-то снимает для TikTok видео, отключив звук, чтобы наложить музыку, — говорит профессор Кевин Фу (Kevin Fu) из Северо-Восточного университета в Бостоне. — А вдруг кому-нибудь захочется узнать, что сказал герой ролика? Вспомнил детский стишок про арбуз или выдал свой пароль? И о чем это шушукаются за его спиной? Все это можно выяснить».

Оказалось, что разговор рядом с объективом камеры вызывает слабые вибрации в стабилизаторе, компенсирующем дрожание рук при съемке. Угол света при этом почти незаметно изменяется.

Извлечь звуковую частоту из этих микровибраций трудно, однако задачу исследователям облегчил эффект скользящего затвора — когда сканирование пикселей происходит построчно, за сотни тысяч прогонов для каждого изображения. Это открывает возможность для детализации изменений, вызванных речью фотографа, его модели или наблюдателя.

По словам исследователей, Side Eye исправно работает даже с материалами, отснятыми при плохом освещении. Не смущают его и неудачные снимки вроде потолка во весь кадр, однако чем больше отображаемой информации, тем лучше.

На выходе вначале получались приглушенные звуки, похожие на человеческую речь. После обучения Side Eye начал извлекать больше полезной информации и стал узнавать людей по голосу — в тех случаях, когда образцы присутствовали в тренировочных наборах данных.

С точки зрения кибербезопасности подобные инструменты составляют потенциальную угрозу, однако их также можно использовать в криминалистике для получения цифровых свидетельств. Так, например, обработанная по методу Side Eye запись с камеры видеонаблюдения сможет подтвердить или опровергнуть алиби подозреваемого в совершении преступления.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Подготовка зарубежных кадров поможет продвижению российских ИБ продуктов

На SOC Forum участники дискуссии о перспективах экспорта российских ИБ-продуктов и сервисов пришли к выводу: одним из ключевых факторов успеха за рубежом станет подготовка иностранных специалистов. О том, что российский рынок ограничен по объёму, говорится уже давно.

Поэтому для отечественных компаний выход на международные площадки становится необходимым условием дальнейшего развития.

Как напомнил директор по клиентской работе «Российского экспортного центра» Алексей Мудраков во время дискуссии «Конкуренция на уровне идей: экспортный потенциал российских технологических решений», внутренний ИТ-рынок России составляет лишь около 0,5% мирового. Доля российского рынка информационной безопасности немного выше, но даже по оптимистичным оценкам не превышает 2% от глобального объёма.

С другой стороны, модератор обсуждения, исполнительный директор Института экономики роста им. П. А. Столыпина Алексей Свириденко отметил, что глобальный спрос на ИТ- и ИБ-решения смещается в сторону стран «глобального юга».

По прогнозам зарубежных аналитических агентств, уже к началу 2030-х годов продажи ИТ- и ИБ-решений в Латинской Америке, Южной и Юго-Восточной Азии превысят объёмы, формируемые традиционными рынками Северной Америки и Европы.

Эти регионы пока недостаточно освоены крупными игроками, и российские компании уже пытаются там закрепиться — нередко вполне успешно. Кроме того, ИТ и ИБ становятся важной частью так называемой «мягкой силы».

Директор Департамента международной информационной безопасности МИД России, специальный представитель президента по вопросам международного сотрудничества в сфере ИБ Артур Люкманов подчеркнул, что одной из важнейших задач является подготовка зарубежных кадров.

Эта работа, по его словам, не должна ограничиваться университетами. Компании также должны открывать учебные центры — как в России, так и в целевых странах присутствия. Подготовленные специалисты впоследствии становятся проводниками российских технологий и подходов.

Управляющий директор по развитию экспорта фонда «Сайберус» Сергей Войнов сравнил развитие специалистов с формированием целой экосистемы. Именно сочетание гибкости и способности выстраивать такие экосистемы, по его мнению, отличает российскую отрасль ИБ от американской, израильской и китайской.

Директор международных продаж ГК «Солар» Артём Падейский также отметил, что подготовка зарубежных специалистов является критически важной задачей. По его словам, необходимо формировать сообщества таких экспертов: в дальнейшем они становятся проводниками российских технологий на своих национальных рынках. Опыт показал, что дистанционный формат работы не обеспечивает необходимых результатов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru