Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Исследователи из Apple совместно с MIT, Carnegie Mellon, Университетом Вашингтона и UC San Diego придумали интересный способ обучать гуманоидных роботов: надеваем Vision Pro, записываем действия человека — и робот учится повторять.

Да, это примерно как «смотри, как я делаю, и делай так же».

Команда собрала более 25 000 человеческих и 1 500 роботизированных демонстраций — получился датасет PH2D. На его основе они обучили единую модель, способную управлять настоящим гуманоидом в реальном мире.

Смысл в том, чтобы использовать видео от первого лица: человек взаимодействует с предметами — открывает ящики, переставляет вещи, нажимает кнопки. А робот потом учится делать то же самое, не нуждаясь в дорогом ручном управлении.

Для съёмки использовали приложение для Apple Vision Pro, которое задействует камеру в нижней части устройства и ARKit для отслеживания 3D-движений головы и рук.

Чтобы сделать всё подешевле, учёные придумали простое 3D-печатное крепление для камеры ZED Mini Stereo, чтобы использовать её с гарнитурами вроде Meta (корпорация Meta признана экстремисткой и запрещена в России) Quest 3. Получилось почти то же самое — но дешевле и доступнее.

 

Замедлить, чтобы успеть

Поскольку человек двигается намного быстрее, чем робот, все человеческие демонстрации замедлили в 4 раза. Так роботу проще учиться без дополнительных переделок.

Human Action Transformer (HAT)

Главная звезда исследования — модель HAT (Human Action Transformer). Её особенность в том, что она обучается на данных от людей и роботов одновременно и не делит их по источникам. В результате получается универсальная политика, которая работает на любых «телах» — человеческих или механических.

И это даёт результат: в тестах роботы, обученные по такой схеме, справлялись даже с незнакомыми задачами — лучше, чем при обычном подходе.

Права авторов при обучении ИИ уточнят в подзаконных актах осенью

Новый закон о поддержке развития искусственного интеллекта не отменяет Гражданский кодекс и не превращает произведения авторов в бесплатный корм для нейросетей. Об этом заявила советник президента России Елена Ямпольская. Закон, подписанный президентом 26 июля, разрешает использовать общедоступные и правомерно опубликованные материалы для обучения российских алгоритмов ИИ.

Однако правообладатель может закрыть свои работы от такой обработки техническими средствами. Бесконтрольно загружать в модели всё, до чего дотянулся парсер, нельзя.

Как именно будет работать этот механизм, пока предстоит решить. Подзаконные акты, по данным «Ведомостей», начнут появляться осенью. При их подготовке власти обещают учесть опасения творческих отраслей, представители которых предупреждали об обесценивании интеллектуальной собственности.

Эксперты тем временем предлагают несколько способов помирить нейросети с авторами. Среди них — отказ от использования произведений по требованию правообладателя, коллективное лицензирование и отчисление части прибыли ИИ-продуктов в компенсационный фонд.

В РАНХиГС считают, что разработчиков генеративных моделей стоит обязать вести закрытые реестры обучающих данных и показывать их регуляторам. Так можно будет понять, чьи произведения попали в датасет, не раскрывая коммерческую тайну.

Юрист Михаил Семенов предлагает разделять сценарии. Если модель копирует голос актёра, манеру художника или тексты конкретного писателя, потребуется прямой договор и выплаты. При массовом обучении на миллиардах материалов искать каждого автора нереально — здесь пригодился бы аналог авторского общества для ИИ.

В отрасли есть и более жёсткий взгляд: чрезмерные ограничения могут ударить и по экономике, и по культуре. Поэтому властям предстоит настроить систему так, чтобы модели не остались голодными, а авторы — с красивым обещанием вместо денег.

RSS: Новости на портале Anti-Malware.ru