Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Исследователи из Apple совместно с MIT, Carnegie Mellon, Университетом Вашингтона и UC San Diego придумали интересный способ обучать гуманоидных роботов: надеваем Vision Pro, записываем действия человека — и робот учится повторять.

Да, это примерно как «смотри, как я делаю, и делай так же».

Команда собрала более 25 000 человеческих и 1 500 роботизированных демонстраций — получился датасет PH2D. На его основе они обучили единую модель, способную управлять настоящим гуманоидом в реальном мире.

Смысл в том, чтобы использовать видео от первого лица: человек взаимодействует с предметами — открывает ящики, переставляет вещи, нажимает кнопки. А робот потом учится делать то же самое, не нуждаясь в дорогом ручном управлении.

Для съёмки использовали приложение для Apple Vision Pro, которое задействует камеру в нижней части устройства и ARKit для отслеживания 3D-движений головы и рук.

Чтобы сделать всё подешевле, учёные придумали простое 3D-печатное крепление для камеры ZED Mini Stereo, чтобы использовать её с гарнитурами вроде Meta (корпорация Meta признана экстремисткой и запрещена в России) Quest 3. Получилось почти то же самое — но дешевле и доступнее.

 

Замедлить, чтобы успеть

Поскольку человек двигается намного быстрее, чем робот, все человеческие демонстрации замедлили в 4 раза. Так роботу проще учиться без дополнительных переделок.

Human Action Transformer (HAT)

Главная звезда исследования — модель HAT (Human Action Transformer). Её особенность в том, что она обучается на данных от людей и роботов одновременно и не делит их по источникам. В результате получается универсальная политика, которая работает на любых «телах» — человеческих или механических.

И это даёт результат: в тестах роботы, обученные по такой схеме, справлялись даже с незнакомыми задачами — лучше, чем при обычном подходе.

Корпоративный бумеранг: основатель WordPress пережил попытку переворота

В Automattic случился корпоративный переворот со скоростью ситкома. 9 сентября совет директоров отправил основателя и гендиректора Мэтта Малленвега в принудительный оплачиваемый отпуск. Спустя два дня он вернулся к управлению, а теперь прежний состав совета сам покидает компанию.

Решение об отстранении Малленвега поддержали трое из четырёх директоров. Сам основатель проголосовал против.

По данным СМИ, резолюцию он получил всего за 50 минут до заседания и не успел проконсультироваться с юристами. Временным гендиректором назначили финансового директора Марка Дэвиса.

Малленвег отказался признавать поражение, удалил других администраторов из корпоративного Slack и сообщил сотрудникам, что снова руководит компанией. Свой новый статус он описал коротко: «Теперь я пират».

Уже в пятницу основатель заявил, что совет снова пришёл к согласию, а руководство WordPress публично поддержало его возвращение. The Verge подтвердил, что двухдневная ссылка закончилась.

Секрет такого камбэка оказался в корпоративном праве. Совет директоров действительно может снять гендиректора, но состав самого совета определяют акционеры.

Малленвег контролирует достаточно голосов, чтобы переизбрать директоров, решивших его отстранить. В итоге попытка дворцового переворота развернулась на 180 градусов: по данным TechCrunch, прежний совет теперь уходит.

Почему директора начали операцию, не обеспечив поддержку акционеров, пока неизвестно. Возможно, они переоценили собственные позиции или рассчитывали на союзников.

RSS: Новости на портале Anti-Malware.ru