Обзор
DOFBOT PRO - это настольный 3D ИИ-видение роботизированная рука , разработанная для образования и разработки в области ROS. Она сочетает в себе структуру с 6 степенями свободы, 3D-камеру глубины и контроллеры серии NVIDIA Jetson, чтобы упростить сложное управление движением через ROS, прямую/обратную кинематику и визуальное восприятие для распознавания, отслеживания и захвата в 3D-пространстве.
Видео
Ключевые особенности
- Совместимость с платформой Jetson: совместима с контроллерами Jetson Nano 4GB / Jetson Orin Nano SUPER / Jetson Orin NX SUPER; поддерживается обучение моделей с ускорением GPU и разработка на Python.
- Распознавание 3D облака точек глубины: слияние RGB + глубина (RGB+D) для задач 3D позиционирования, отслеживания и захвата.
- Планирование и симуляция движений ROS: поддерживает планирование движений MoveIt и симуляцию роботов RViz; поддерживает 2D и 3D визуальное взаимодействие.
- 6-DOF алюминиевый сплав: прецизионно обработанный алюминиевый сплав; высокоточные сервоприводы для плавного многослойного движения.
- Кроссплатформенное управление: поддерживает управление через приложение (Android/iOS), беспроводное управление с помощью ручки и управление через веб-страницу ПК.
- Мультимодальные / крупномасштабные концепции (как указано): Большая языковая модель, Большая речевая модель, Большая визуальная модель; включает масштабируемую базу знаний RAG и описания «Двухмодальной динамической архитектуры обратной связи».
- Перечисленные алгоритмические фреймворки: алгоритм обратной кинематики, YOLOv11, OpenCV, MediaPipe.
Для выбора продукта и технической поддержки свяжитесь с https://rcdrone.top/ или отправьте электронное письмо на [email protected].
Спецификации
DOFBOT-PRO (система роботизированной руки)
| Главное управление | Jetson Nano B01 / Jetson Orin Nano SUPER / Jetson Orin NX SUPER |
|---|---|
| Степень свободы | 6 |
| Размах рук | 350мм |
| Захват открытие-закрытие | 6см |
| Повторяемая точность позиционирования | ±0.5мм |
| Тип структуры | Традиционная структура роботизированной руки |
| Камера | DABAI DCW2 Глубинная камера |
| Визуальные размеры | 3D изображение с информацией о глубине |
| Голос | Модуль голосового AI большого формата + динамик |
| Дисплей | 10.1-дюймовый дисплей |
| Функция | Контроль взаимосвязи; Планирование движения MoveIt; Симуляция робота RViz; 2D визуальное взаимодействие; 3D визуальное взаимодействие; AI большая модель |
| Позиционирование (как описано) | Встроенный AI / AI большая модель / 3D глубинный визуальный роботизированный манипулятор |
Конфигурации роботизированного манипулятора ROS (как указано)
| Версия | Стандартная версия | Ультимативная версия |
|---|---|---|
| Контрольные платы | Jetson Nano B01; Jetson Orin Nano SUPER 4GB/8GB; Jetson Orin Nano SUPER 8GB/16GB | Jetson Nano B01; Jetson Orin Nano SUPER 4GB/8GB; Jetson Orin Nano SUPER 8GB/16GB |
| Модуль голосового управления | Все версии включают модуль голосового управления AI большой модели | |
| Глубинная камера | DABAI DCW2 Глубинная камера | |
| Дисплей | / | HD 10.1-дюймовый сенсорный экран |
Рекомендации по выбору контроллера (параметры платы Jetson показаны)
| Товар | Jetson Nano B01 4GB | Jetson Orin Nano SUPER 4GB | Jetson Orin Nano SUPER 8GB | Jetson Orin NX SUPER 8GB | Jetson Orin NX SUPER 16GB |
|---|---|---|---|---|---|
| Вычислительная мощность | 0.5TFLOPS (FP16) | 34 TOPS | 67 TOPS | 117 TOPS | 157 TOPS |
| ЦПУ | Четырехъядерный процессор Arm Cortex-A57 MPCore | 6-ядерный процессор Arm Cortex-A78AE v8.2 64-бит; 1.5MB L2 + 4MB L3 | 6-ядерный процессор Arm Cortex-A78AE v8.2 64-бит; 1.5MB L2 + 4MB L3 | 6-ядерный процессор NVIDIA Arm Cortex A78AE v8.2 64-бит; 1.5MB L2 + 4MB L3 | 8-ядерный процессор NVIDIA Arm Cortex A78AE v8.2 64-битных ЦПУ; 2МБ L2 + 4МБ L3 |
| ГПУ | 128-ядерный NVIDIA Maxwell ГПУ | 512-ядерный ГПУ архитектуры NVIDIA Ampere с 16 Tensor Cores | 1024-ядерный ГПУ архитектуры NVIDIA Ampere с 32 Tensor Cores | 1024-ядерный ГПУ архитектуры NVIDIA Ampere с 32 Tensor Cores | 1024-ядерный ГПУ архитектуры NVIDIA Ampere с 32 Tensor Cores |
| Память | 4ГБ 64-битной LPDDR4; 25.6GB/s | 4GB 64-битный LPDDR5; 51GB/s | 8GB 128-битный LPDDR5; 102GB/s | 8GB 128-битный LPDDR5; 102GB/s | 16GB 128-битный LPDDR5; 102GB/s |
| Хранение | 16GB eMMC + 64GB U диск | 256GB SSD | |||
| Энергия | 5W - 10W | 7W , 10W , 25W | 7W , 15W , 25W | 10W , 15W , 25W , 40W | 10W , 15W , 25W , 40W |
| Версия системы ROS | Ubuntu18.04 + Docker + ROS2 Humble | Ubuntu22.04 LTS + ROS2 Humble | |||
Разница в работе функции (показаны измеренные результаты)
| Версия | Jetson Nano B01 4GB | Jetson Orin Nano SUPER 8GB | Jetson Orin NX SUPER 16GB |
|---|---|---|---|
| Запуск робота (время запуска программы) | 62с | 49с | 48с |
| 2D-отслеживание лиц (время запуска программы / кадры программы в работе) | 4с / 10fps | 7с / 30fps | 7с / 30fps |
| 2D-распознавание жестов захвата блоков (время запуска программы / кадры программы в работе) | 7с / 6fps | 6с / 30fps | 6с / 30fps |
| 2D-распознавание траектории кончика пальца (время запуска программы / кадры программы в работе) | 10с / 5fps | 7с / 30fps | 6с / 30fps |
| MoveIt (время начала программы / кадры программы) | 45с / 6fps | 43с / 30fps | 38с / 30fps |
| 3D-Yolo распознавание и сортировка мусора (время начала программы / кадры программы) | 64с / 5fps | 9с / 30fps | 6с / 30fps |
| 3D-Mediapipe код машины жестов сортировка по расстоянию (время начала программы / кадры программы) | 9с / 6fps | 5с / 14fps | 3с / 15fps |
| 3D-трекинг для захвата цветных блоков (время начала программы / кадры программы) | 8с / 10fps | 4с / 14fps | 2с / 15fps |
| AI большая модель для сортировки объектов (время начала программы / кадры программы) | 40с / 5fps | 25с / 30fps | 20с / 30fps |
Приложения
- 3D обнаружение и захват; пространственное восприятие; отслеживание объектов; 3D сортировка
- Измерение глубины (измерение расстояния), распознавание формы, измерение высоты, измерение объема
- Позиционирование и отслеживание по глубине; 3D пространственное отслеживание и захват; распознавание 3D облака точек
- Визуальное взаимодействие на основе ИИ: интеллектуальная сортировка и обработка, распознавание цвета, динамическое отслеживание, сортировка мусора, отслеживание, захват
- Описание многомодальных рабочих процессов: видеоанализ, управление движением по длинным командам, сортировка по аномальной высоте, вывод намерений (база знаний RAG), алгоритм отслеживания объектов KCF, задачи распознавания на основе YOLOv11
Примеры размеров объектов, показанные для демонстрации объемного измерения: Куб 30*30*30мм, Цилиндр 30*30*30мм, Цилиндр 30*30*60мм.Примеры наложений расстояний включают 240.0 мм и 190.0 мм.
Руководства
Ссылка на учебник: http://www.yahboom.net/study/DOFBOT-Pro
Детали

Сравните популярные варианты настольных роботизированных рук на первый взгляд, включая степени свободы, досягаемость, диапазон захвата и платформы управления.

Быстрый снимок характеристик помогает выбрать правильную модель для обучения ROS, симуляции и базовых задач компьютерного зрения.

DOFBOT-PRO сочетает в себе 6-DOF руку, RGB+D глубинное восприятие и совместимость с Jetson для 3D восприятия и разработки захвата.

Детали альтернативной конфигурации предоставлены для пользователей, которым нужна другая структура руки и установка камеры.

Созданный для образования и разработки в области ROS, комплект сочетает в себе компактную 6-DOF руку с глубинным зрением и интегрированной настольной установкой.

Разработано для планирования движений и восприятия, таких как кинематика, распознавание целей, отслеживание и захват в 3D-пространстве.

Ключевые модули охватывают восприятие глубины, концепции взаимодействия с ИИ и программные фреймворки, используемые в общих робототехнических процессах.

Основные характеристики аппаратного и программного обеспечения подводят итоги того, что включено для создания демонстраций с использованием зрения + ROS и экспериментов в классе.

Несколько вариантов плат Jetson помогают масштабироваться от прототипирования начального уровня до более производительных рабочих нагрузок ИИ.

Используйте матрицу конфигурации, чтобы сопоставить плату контроллера и набор функций с требованиями вашего проекта ROS.

Глубинное зрение добавляет понимание с учетом расстояния для более надежного позиционирования, распознавания и планирования захвата, чем 2D.

Калибровка камеры-манипулятора поддерживает задачи, такие как распознавание облаков точек и измерение на основе глубины для взаимодействия в 3D-пространстве.

Мультимодальные концепции взаимодействия включают текстовые, голосовые и визуальные возможности для создания более богатых рабочих процессов человек-робот.

Примеры приложений сосредоточены на поведении сортировки и обработки, которые объединяют восприятие с управлением на основе команд.

Практические демонстрации показывают задачи отслеживания, сортировки и выбора действий, построенные вокруг логики восприятия и взаимодействия.

Интерактивные задания в стиле челленджа предоставляют доступные сценарии для тестирования восприятия, рассуждений и контрольных циклов.

Примеры распознавания визуальных объектов охватывают отслеживание на основе цвета, сортировку блоков, интерактивные игры и укладку на основе меток.

Записки по обучению и кривые производительности описывают включенное направление рабочего процесса глубокого обучения для задач обнаружения объектов.

DOFBOT Pro поддерживает взаимодействие с жестами на основе MediaPipe, прямую/обратную кинематику и управление симуляцией MoveIt для рабочих процессов настройки и разработки.

DOFBOT Pro поддерживает симуляцию кинематики MoveIt с планированием траектории, обнаружением столкновений и рабочими процессами ROS/ROS2 (Humble) для управления движением.

DOFBOT Pro поддерживает управление приложением, веб-управление и беспроводной USB пульт, с компоновкой 6-DOF суставов, обозначенной J1–J6, для точной настройки и планирования движения.

Роботизированная рука DOFBOT Pro 6-DOF сочетает в себе контроллер на базе Jetson с глубинной камерой DaBai DCW2 и интеллектуальными сервоприводами с последовательной шиной для проектов с управлением по зрению.

Комплект DOFBOT Pro включает в себя плату расширения для роботизированной руки и поддерживает дополнительные модули, такие как голосовой модуль и 10,1-дюймовый сенсорный экран для управления.

Контур курса DOFBOT-PRO разбивает учебные модули и цели обучения, чтобы помочь спланировать этапы настройки и разработки.

DOFBOT Pro включает организованный открытый код и папки с пошаговыми учебными пособиями, охватывающими 2D/3D визуальное отслеживание, сортировку и захват, а также рабочие процессы с глубинными камерами.

DOFBOT Pro включает загружаемые видеоуроки, учебные материалы ROS2, файл 3D модели и открытый код на Python для разработки на платах Jetson.

Чертежи размеров и обзор спецификаций помогут вам спланировать пространство для монтажа и интеграции системы для роботизированной руки DOFBOT Pro 6-DOF.

Комплект DOFBOT Pro включает в себя роботизированную руку с набором стандартных аксессуаров, таких как аппаратное обеспечение контроллера, кабели питания и передачи данных, а также основные инструменты для сборки и настройки.
Related Collections
