Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Исследователи из Apple совместно с MIT, Carnegie Mellon, Университетом Вашингтона и UC San Diego придумали интересный способ обучать гуманоидных роботов: надеваем Vision Pro, записываем действия человека — и робот учится повторять.

Да, это примерно как «смотри, как я делаю, и делай так же».

Команда собрала более 25 000 человеческих и 1 500 роботизированных демонстраций — получился датасет PH2D. На его основе они обучили единую модель, способную управлять настоящим гуманоидом в реальном мире.

Смысл в том, чтобы использовать видео от первого лица: человек взаимодействует с предметами — открывает ящики, переставляет вещи, нажимает кнопки. А робот потом учится делать то же самое, не нуждаясь в дорогом ручном управлении.

Для съёмки использовали приложение для Apple Vision Pro, которое задействует камеру в нижней части устройства и ARKit для отслеживания 3D-движений головы и рук.

Чтобы сделать всё подешевле, учёные придумали простое 3D-печатное крепление для камеры ZED Mini Stereo, чтобы использовать её с гарнитурами вроде Meta (корпорация Meta признана экстремисткой и запрещена в России) Quest 3. Получилось почти то же самое — но дешевле и доступнее.

 

Замедлить, чтобы успеть

Поскольку человек двигается намного быстрее, чем робот, все человеческие демонстрации замедлили в 4 раза. Так роботу проще учиться без дополнительных переделок.

Human Action Transformer (HAT)

Главная звезда исследования — модель HAT (Human Action Transformer). Её особенность в том, что она обучается на данных от людей и роботов одновременно и не делит их по источникам. В результате получается универсальная политика, которая работает на любых «телах» — человеческих или механических.

И это даёт результат: в тестах роботы, обученные по такой схеме, справлялись даже с незнакомыми задачами — лучше, чем при обычном подходе.

Атака через видеопамять: Rowhammer на GPU Nvidia даёт root-доступ на хосте

Исследователи показали новый вектор атаки на мощные GPU от Nvidia: бреши класса Rowhammer теперь могут использоваться не только против обычной оперативной памяти, но и против видеопамяти GDDR6. В некоторых сценариях атакующий может добраться до памяти хост-машины и получить root-доступ к системе.

Напомним, Rowhammer — это класс атак, при котором многократные обращения к определённым участкам памяти вызывают битовые сбои в соседних ячейках.

Долгое время такие атаки в основном ассоциировались с CPU и DRAM, но теперь две независимые исследовательские группы показали (PDF), что похожая логика работает и с GPU-памятью Nvidia поколения Ampere. В центре внимания оказались две техники — GDDRHammer и GeForge.

Первая атака, GDDRHammer, была продемонстрирована против Nvidia RTX 6000 на архитектуре Ampere. Исследователи утверждают, что смогли многократно повысить число битовых сбоев по сравнению с более ранней работой GPUHammer 2025 года и добиться возможности читать и изменять GPU-память, а затем использовать это для доступа к памяти CPU.

Вторая техника, GeForge сработала против RTX 3060 и RTX 6000 и завершалась получением root на Linux-хосте.

 

Ключевой момент здесь в том, что атака становится особенно опасной, если IOMMU отключён, а это, как отмечают исследователи, во многих системах остаётся настройкой по умолчанию ради совместимости и производительности.

При включённом IOMMU такой сценарий существенно осложняется, потому что он ограничивает доступ GPU к чувствительным областям памяти хоста. В качестве ещё одной меры снижения риска исследователи и Nvidia указывают ECC, хотя и он не считается универсальной защитой от всех вариантов Rowhammer.

На сегодня  подтверждённая уязвимость касается прежде всего Ampere-карт RTX 3060 и RTX 6000 с GDDR6, а более ранняя работа GPUHammer фокусировалась на NVIDIA A6000.

 

Для более новых поколений, вроде Ada, в этом материале рабочая эксплуатация не показана. Кроме того, исследователи прямо отмечают, что случаев реального использования это вектора в реальных кибератаках пока не известно.

RSS: Новости на портале Anti-Malware.ru