3,7 миллиона кадров научат роботов видеть мир глазами человека

Исследователи из Meta* Reality Labs представили новый датасет HOT3D, который обещает ускорить развитие технологий компьютерного зрения и робототехники. Датасет, опубликованный на платформе arXiv, включает высококачественные 3D-видео с эгоцентрической перспективой, демонстрирующие взаимодействие людей с различными объектами.

HOT3D содержит более 833 минут видеозаписей (около 3,7 миллиона изображений), снятых с использованием очков Project Aria и шлема Quest 3. В записях участвуют 19 человек, взаимодействующих с 33 различными объектами в бытовых и офисных условиях. Аннотации включают 3D-позы объектов, рук и камер, а также 3D-модели рук и объектов.

Эксперименты подтвердили эффективность использования датасета для решения задач, таких как 3D-трекинг рук, оценка позы объектов и моделирование движения объектов в руках. Многокамерный подход, применённый в HOT3D, позволил добиться значительно лучших результатов по сравнению с однокамерными системами.

Датасет открыт для использования исследователями по всему миру и может внести вклад в развитие интерфейсов человек-машина, систем дополненной и виртуальной реальности, а также улучшить взаимодействие роботов с окружающим миром

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.