Apple показала «мозг» HALO: робот работает в незнакомой комнате без карты

Обычно, чтобы робот что-то сделал в помещении, ему нужно заранее построить карту и разметить маршрут. Apple представила систему HALO, которая позволяет гуманоиду действовать в комнате, которую он видит впервые. Это важный шаг к тому, чтобы роботы перестали быть привязанными к одному помещению.

Что именно показали

Исследователи Apple опубликовали на arXiv работу о системе HALO (Humanoid Autonomy, Learned in simulation, running Onboard) и выложили код для генерации данных, обучения и развёртывания. Проверяли систему на гуманоиде Unitree G1. В шести реальных комнатах, которые заранее не сканировали и не картографировали, робот выполнил 360 испытаний одиночных задач — средняя успешность 91%. В демонстрациях G1 по команде толкает коробку, идёт за человеком, садится на стул, боком проходит в приоткрытую дверь, наклоняется и проползает под столом.

Устройство HALO — три уровня. Верхний отвечает за понимание команды: по умолчанию используется визуально-языковая модель Qwen3.6-35B-A3B, которая работает локально на мини-компьютере Mac mini, закреплённом на роботе, без подключения к сети; при необходимости можно обратиться к облачной модели через API. Этот уровень разбивает задачу на подшаги и проверяет по видео, получилось ли. Средний уровень планирует движения всего тела примерно на 5 секунд вперёд и пересчитывает план около трёх раз в секунду. Нижний переводит план в команды суставам с частотой 50 раз в секунду.

Где система пока слабее

На составных задачах результат скромнее: три типа многошаговых заданий по 10 попыток дали в среднем 70%, а цепочка «наклониться под препятствием, дойти до цели, толкнуть коробку» — всего 50%. В работе прямо названы ограничения: новые физические задачи пока требуют ручной подготовки подсказок и ключевых поз, а робот в основном полагается на зрение и плохо чувствует контакт — если предмет ушёл из поля камеры, задачи с касаниями выполняются хуже. Добавление осязания названо направлением дальнейшей работы. Данные для обучения в основном синтетические: около 300 часов в 1000 сгенерированных программой домашних сценах, на синтез ушло примерно 48 часов на 250 ускорителях Nvidia H100.

Что это значит

Практический смысл в том, что роботу больше не нужна подробная карта конкретной квартиры или склада, чтобы начать работать. Это снижает стоимость запуска: не нужно каждый раз заново размечать помещение. При этом HALO — исследовательский проект, а не анонс потребительского продукта, и сроков выхода Apple не называет. Подробности на сайте — обзор в GeekPark.

Если вам интересно, как такие системы меняют подход к автоматизации помещений и какие технологии стоят за автономностью роботов, у нас есть отдельные материалы об этом — узнайте больше.

📌 Чтобы не пропустить новые публикации, подписывайтесь там, где вам удобнее: Дзен или MAX.

💛 Если статья оказалась полезной, поддержите автора донатом.

Материал подготовлен на основе информации из открытых источников. Все права на исходные материалы принадлежат их авторам. Если вы являетесь правообладателем и возражаете против использования, свяжитесь с нами по адресу info@11st.press.