Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Исследователи из Apple совместно с MIT, Carnegie Mellon, Университетом Вашингтона и UC San Diego придумали интересный способ обучать гуманоидных роботов: надеваем Vision Pro, записываем действия человека — и робот учится повторять.

Да, это примерно как «смотри, как я делаю, и делай так же».

Команда собрала более 25 000 человеческих и 1 500 роботизированных демонстраций — получился датасет PH2D. На его основе они обучили единую модель, способную управлять настоящим гуманоидом в реальном мире.

Смысл в том, чтобы использовать видео от первого лица: человек взаимодействует с предметами — открывает ящики, переставляет вещи, нажимает кнопки. А робот потом учится делать то же самое, не нуждаясь в дорогом ручном управлении.

Для съёмки использовали приложение для Apple Vision Pro, которое задействует камеру в нижней части устройства и ARKit для отслеживания 3D-движений головы и рук.

Чтобы сделать всё подешевле, учёные придумали простое 3D-печатное крепление для камеры ZED Mini Stereo, чтобы использовать её с гарнитурами вроде Meta (корпорация Meta признана экстремисткой и запрещена в России) Quest 3. Получилось почти то же самое — но дешевле и доступнее.

 

Замедлить, чтобы успеть

Поскольку человек двигается намного быстрее, чем робот, все человеческие демонстрации замедлили в 4 раза. Так роботу проще учиться без дополнительных переделок.

Human Action Transformer (HAT)

Главная звезда исследования — модель HAT (Human Action Transformer). Её особенность в том, что она обучается на данных от людей и роботов одновременно и не делит их по источникам. В результате получается универсальная политика, которая работает на любых «телах» — человеческих или механических.

И это даёт результат: в тестах роботы, обученные по такой схеме, справлялись даже с незнакомыми задачами — лучше, чем при обычном подходе.

Теперь с Android-смартфона можно заблокировать компьютер на Windows 11

Microsoft без громких анонсов заметно прокачала приложение Link to Windows для Android. Начиная с версии 1.25102.140.0, смартфон теперь может не просто «дружить» с Windows 11, а реально управлять компьютером — от блокировки устройства до передачи файлов и содержимого буфера обмена. Обновление уже постепенно приходит всем пользователям.

Раньше Link to Windows было довольно скромным: по сути, приложение позволяло лишь подключать и отключать компьютер. Все основные функции находились на стороне Windows. Теперь баланс сил сместился — Android получил куда больше контроля.

Что нового появилось:

  1. Удалённая блокировка компьютера. В приложении появился переключатель «Lock PC». Нажал — и компьютер заблокирован буквально за пару секунд. Удобно, если отошёл от ноутбука и вспомнил об этом уже с телефоном в руках.
  2. Обмен файлами в обе стороны. Теперь можно отправлять файлы не только с десктопа на смартфон, но и наоборот. Из Android — прямо в Windows 11, без проводов и танцев с бубном. Работает примерно как Nearby Share: выбрал файл, отправил — и он прилетел на компьютер с уведомлением.
  3. Общий буфер обмена. Скопировал текст или картинку на Windows 11 — они тут же появляются в буфере обмена на телефоне. И наоборот. Причём не нужен ни SwiftKey, ни отдельные костыли: всё работает на уровне системы. В приложении даже сохраняется история скопированных элементов.
  4. Зеркалирование экрана Android — одним нажатием. В Link to Windows появилась кнопка «Mirror to PC». Теперь не нужно лезть в Phone Link на компьютере — трансляцию экрана можно запустить прямо с телефона. Microsoft также тестирует «расширенный» режим, когда Android-приложения занимают больше места на экране компьютера.
  5. Статус десктопа на экране смартфона. Если у вас ноутбук, приложение покажет уровень заряда батареи и состояние сети. Пока без управления громкостью или Bluetooth, но направление очевидно.

 

 

Судя по всему, Microsoft постепенно уходит от модели, где всем управляет только приложение Phone Link на Windows. Теперь управление распределяется между компьютером и смартфоном, а часть функций переезжает прямо в системные настройки Windows 11.

RSS: Новости на портале Anti-Malware.ru