ИИ научился восстанавливать увиденные человеком изображения по данным МРТ

Учёные из израильского Института Вейцмана разработали Brain-IT — ИИ, который реконструирует изображения по данным функциональной МРТ. Человек смотрит на картинку, сканер фиксирует активность мозга, а алгоритм пытается восстановить увиденное.

Как рассказывают представители Института Вейцмана, система восстанавливает не только содержание сцены, но и её детали: цвета, расположение объектов и композицию.

Для адаптации к новому человеку, по словам разработчиков, достаточно примерно часа данных сканирования.

Главный трюк — связка двух моделей. Декодер превращает активность мозга в изображение, а энкодер делает обратное: предсказывает активность по картинке.

Их обучают вместе, используя в том числе изображения, которые никому не показывали внутри томографа. Это помогает обойти дефицит реальных снимков мозга.

Дальше команда хочет перейти к звукам и видео. Со снами сложнее: картинки в них меняются быстро, а фМРТ фиксирует данные примерно раз в две секунды. До записи ночных приключений на флешку ещё далеко.

Исследователи надеются, что такие технологии помогут изучать мозг и в перспективе дадут способ общения людям с синдромом «запертого человека». Но вместе с возможностями возникает вопрос конфиденциальности: кто сможет получать доступ к подобным данным и с чьего согласия?

Пока показана реконструкция увиденного в условиях эксперимента. До незаметного чтения чужих мыслей эта работа не добралась, хотя повод обсуждать защиту ментальной информации уже появился.