Учёные из израильского Института Вейцмана разработали Brain-IT — ИИ, который реконструирует изображения по данным функциональной МРТ. Человек смотрит на картинку, сканер фиксирует активность мозга, а алгоритм пытается восстановить увиденное.
Как рассказывают представители Института Вейцмана, система восстанавливает не только содержание сцены, но и её детали: цвета, расположение объектов и композицию.
Для адаптации к новому человеку, по словам разработчиков, достаточно примерно часа данных сканирования.
Главный трюк — связка двух моделей. Декодер превращает активность мозга в изображение, а энкодер делает обратное: предсказывает активность по картинке.
Их обучают вместе, используя в том числе изображения, которые никому не показывали внутри томографа. Это помогает обойти дефицит реальных снимков мозга.
Дальше команда хочет перейти к звукам и видео. Со снами сложнее: картинки в них меняются быстро, а фМРТ фиксирует данные примерно раз в две секунды. До записи ночных приключений на флешку ещё далеко.
Исследователи надеются, что такие технологии помогут изучать мозг и в перспективе дадут способ общения людям с синдромом «запертого человека». Но вместе с возможностями возникает вопрос конфиденциальности: кто сможет получать доступ к подобным данным и с чьего согласия?
Пока показана реконструкция увиденного в условиях эксперимента. До незаметного чтения чужих мыслей эта работа не добралась, хотя повод обсуждать защиту ментальной информации уже появился.
