Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Apple учит гуманоидов с Vision Pro: человек показывает — робот делает

Исследователи из Apple совместно с MIT, Carnegie Mellon, Университетом Вашингтона и UC San Diego придумали интересный способ обучать гуманоидных роботов: надеваем Vision Pro, записываем действия человека — и робот учится повторять.

Да, это примерно как «смотри, как я делаю, и делай так же».

Команда собрала более 25 000 человеческих и 1 500 роботизированных демонстраций — получился датасет PH2D. На его основе они обучили единую модель, способную управлять настоящим гуманоидом в реальном мире.

Смысл в том, чтобы использовать видео от первого лица: человек взаимодействует с предметами — открывает ящики, переставляет вещи, нажимает кнопки. А робот потом учится делать то же самое, не нуждаясь в дорогом ручном управлении.

Для съёмки использовали приложение для Apple Vision Pro, которое задействует камеру в нижней части устройства и ARKit для отслеживания 3D-движений головы и рук.

Чтобы сделать всё подешевле, учёные придумали простое 3D-печатное крепление для камеры ZED Mini Stereo, чтобы использовать её с гарнитурами вроде Meta (корпорация Meta признана экстремисткой и запрещена в России) Quest 3. Получилось почти то же самое — но дешевле и доступнее.

 

Замедлить, чтобы успеть

Поскольку человек двигается намного быстрее, чем робот, все человеческие демонстрации замедлили в 4 раза. Так роботу проще учиться без дополнительных переделок.

Human Action Transformer (HAT)

Главная звезда исследования — модель HAT (Human Action Transformer). Её особенность в том, что она обучается на данных от людей и роботов одновременно и не делит их по источникам. В результате получается универсальная политика, которая работает на любых «телах» — человеческих или механических.

И это даёт результат: в тестах роботы, обученные по такой схеме, справлялись даже с незнакомыми задачами — лучше, чем при обычном подходе.

SpamBlocker для Android научился автоответам на заблокированные звонки

Вышло обновление проекта SpamBlocker — блокировщика СМС-спама и нежелательных звонков для устройств на Android 10 и новее. Для звонков SpamBlocker работает как определитель номера и не требует заменять стандартные приложения для звонков и СМС.

Он проверяет входящие вызовы и может отсеивать нежелательные, не меняя привычную схему использования телефона.

Исходный код софта опубликован на GitHub под лицензией MIT. Продукт написан на Kotlin и Java.

Приложение анализирует разные признаки звонка: страну, оператора, частоту вызовов, контакты, группы контактов, префиксы, историю набранных и принятых номеров, STIR/SHAKEN и другие параметры. Также учитываются экстренные вызовы.

 

 

Отдельно отмечается, что SpamBlocker умеет отличать звонки курьеров и сервисов доставки. Пользователь может задавать собственные правила — например, блокировать номера с определённым префиксом или сообщения со словами вроде «кредит», «акция» и «распродажа».

СМС обрабатываются в двух режимах. В Standalone Mode приложение само показывает уведомления о сообщениях, поэтому уведомления в основном СМС-клиенте лучше отключить, чтобы не получать дубли.

В Screening provider mode СМС-приложение проверяет сообщения в реальном времени, а SpamBlocker возвращает короткое решение. Этот вариант гибче: он может работать без разрешения на СМС и лучше поддерживает RCS и MMS, но зависит от того, поддерживает ли нужный протокол само СМС-приложение.

В новом выпуске изменён воркфлоу для рингтонов. Он несовместим со старыми настройками, поэтому их нужно настроить заново. Зато теперь рингтон можно привязывать к повторным звонкам, контактам и regex-правилам.

Также появился воркфлоу SMS Reply: приложение может автоматически отправлять СМС контактам, если их звонок был заблокирован, например в режиме встречи. Кроме того, исправлен сбой при восстановлении резервной копии из большой базы данных, а API-запросы теперь поддерживают более гибкую логику блокировки на основе положительных и отрицательных оценок номера.

RSS: Новости на портале Anti-Malware.ru