Огляд
DOFBOT PRO - це настільний 3D AI зору роботизований маніпулятор , розроблений для освіти та розвитку в ROS. Він поєднує в собі структуру з 6 ступенями свободи, 3D глибококамеру та контролери серії NVIDIA Jetson, щоб спростити складне управління рухом через ROS, пряму/обернену кінематику та візуальне сприйняття для розпізнавання, відстеження та захоплення в 3D-просторі.
Відео
Ключові особливості
- Сумісність з платформою Jetson: сумісний з контролерами Jetson Nano 4GB / Jetson Orin Nano SUPER / Jetson Orin NX SUPER; підтримується навчання моделей з прискоренням GPU та розробка на Python.
- Розпізнавання 3D глибоких точкових хмар: RGB + глибина (RGB+D) фузійне виявлення для 3D позиціонування, відстеження та захоплення.
- Планування руху та симуляція ROS: підтримує планування руху MoveIt та симуляцію роботів RViz; підтримує 2D та 3D візуальну взаємодію.
- 6-DOF алюмінієва сплавна структура: прецизійно оброблений алюмінієвий сплав; високоточні серво для плавного багатосистемного руху.
- Крос-платформне управління: підтримує управління через додаток (Android/iOS), бездротове управління ручкою та управління через веб-сторінку ПК.
- Мультимодальні / великомасштабні концепції (як надано): Велика мовна модель, Велика мовна модель для розпізнавання мови, Велика візуальна модель; включає масштабовану базу знань RAG та описи “Двомодальної динамічної архітектури зворотного зв'язку”.
- Перелік алгоритмічних фреймворків: алгоритм оберненої кінематики, YOLOv11, OpenCV, MediaPipe.
Для вибору продукту та технічної підтримки звертайтеся до https://rcdrone.top/ або надішліть електронний лист на [email protected].
Специфікації
DOFBOT-PRO (система роботизованої руки)
| Головне управління | Jetson Nano B01 / Jetson Orin Nano SUPER / Jetson Orin NX SUPER |
|---|---|
| Ступінь свободи | 6 |
| Розмах руки | 350мм |
| Затискач відкриття-закриття | 6см |
| Точність повторюваного позиціонування | ±0.5мм |
| Тип структури | Традиційна структура роботизованої руки |
| Камера | DABAI DCW2 Глибина камери |
| Візуальний розмір | 3D зображення з інформацією про глибину |
| Голос | Модуль голосу великої моделі ШІ + динамік |
| Дисплей | 10.1-дюймовий дисплей |
| Функція | Контроль взаємозв'язку; Планування руху MoveIt; Симуляція робота RViz; 2D візуальна взаємодія; 3D візуальна взаємодія; Велика модель ШІ |
| Позиціонування (як описано) | Вбудований ШІ / Велика модель ШІ / 3D глибина візуального роботизованого рука |
Конфігурації роботизованих рук ROS (як зазначено)
| Версія | Стандартна версія | Ультимативна версія |
|---|---|---|
| Контрольні плати | Jetson Nano B01; Jetson Orin Nano SUPER 4GB/8GB; Jetson Orin Nano SUPER 8GB/16GB | Jetson Nano B01; Jetson Orin Nano SUPER 4GB/8GB; Jetson Orin Nano SUPER 8GB/16GB |
| Модуль голосу | Усі версії включають модуль голосу великої моделі ШІ | |
| Глибококамерний модуль | DABAI DCW2 Глибококамерний модуль | |
| Дисплей | / | HD 10.1-дюймовий сенсорний екран |
Рекомендації щодо вибору контролера (параметри плати Jetson наведені)
| Товар | Jetson Nano B01 4GB | Jetson Orin Nano SUPER 4GB | Jetson Orin Nano SUPER 8GB | Jetson Orin NX SUPER 8GB | Jetson Orin NX SUPER 16GB |
|---|---|---|---|---|---|
| Обчислювальна потужність | 0.5TFLOPS (FP16) | 34 TOPS | 67 TOPS | 117 TOPS | 157 TOPS |
| ЦПУ | Чотирьохядерний процесор Arm Cortex-A57 MPCore | Шестиядерний ЦП Arm Cortex-A78AE v8.2 64-біт; 1.5MB L2 + 4MB L3 | Шестиядерний ЦП Arm Cortex-A78AE v8.2 64-біт; 1.5MB L2 + 4MB L3 | Шестиядерний ЦП NVIDIA Arm Cortex A78AE v8.2 64-біт; 1.5MB L2 + 4MB L3 | Восьмиядерний ЦП NVIDIA Arm Cortex A78AE v8.2 64-бітні ЦП; 2МБ L2 + 4МБ L3 |
| ГПУ | 128-ядерний NVIDIA Maxwell ГПУ | 512-ядерний NVIDIA Ampere архітектури ГПУ з 16 Тензорними ядрами | 1024-ядерний NVIDIA Ampere архітектури ГПУ з 32 Тензорними ядрами | 1024-ядерний NVIDIA Ampere архітектури ГПУ з 32 Тензорними ядрами | 1024-ядерний NVIDIA Ampere архітектури ГПУ з 32 Тензорними ядрами |
| Пам'ять | 4ГБ 64-біт LPDDR4; 25.6GB/s | 4GB 64-бітний LPDDR5; 51GB/s | 8GB 128-бітний LPDDR5; 102GB/s | 8GB 128-бітний LPDDR5; 102GB/s | 16GB 128-бітний LPDDR5; 102GB/s |
| Сховище | 16GB eMMC + 64GB U диск | 256GB SSD | |||
| Потужність | 5W - 10W | 7W , 10W , 25W | 7W , 15W , 25W | 10W , 15W , 25W , 40W | 10W , 15W , 25W , 40W |
| Версія системи ROS | Ubuntu18.04 + Docker + ROS2 Humble | Ubuntu22.04 LTS + ROS2 Humble | |||
Функція Операція Різниця (показані виміряні результати)
| Версія | Jetson Nano B01 4GB | Jetson Orin Nano SUPER 8GB | Jetson Orin NX SUPER 16GB |
|---|---|---|---|
| Запуск робота (час запуску програми) | 62с | 49с | 48с |
| 2D-відстеження обличчя (час запуску програми / кадри програми) | 4с / 10fps | 7с / 30fps | 7с / 30fps |
| 2D-визначення жестів захоплення блоків (час запуску програми / кадри програми) | 7с / 6fps | 6с / 30fps | 6с / 30fps |
| 2D-визначення траєкторії пальців (час запуску програми / кадри програми) | 10с / 5fps | 7с / 30fps | 6с / 30fps |
| MoveIt (час початку програми / кадри програми) | 45с / 6fps | 43с / 30fps | 38с / 30fps |
| 3D-Yolo розпізнавання сміття та сортування (час початку програми / кадри програми) | 64с / 5fps | 9с / 30fps | 6с / 30fps |
| 3D-Mediapipe код машини жестикуляції для сортування за відстанню (час початку програми / кадри програми) | 9с / 6fps | 5с / 14fps | 3с / 15fps |
| 3D-трекінг для захоплення кольорових блоків (час початку програми / кадри програми) | 8с / 10fps | 4с / 14fps | 2с / 15fps |
| AI велика модель для сортування об'єктів (час початку програми / кадри програми) | 40с / 5fps | 25с / 30fps | 20с / 30fps |
Застосування
- 3D візуальне виявлення та захоплення; просторове сприйняття; відстеження об'єктів; 3D сортування
- Вимірювання глибини (вимірювання відстані), розпізнавання форм, вимірювання висоти, вимірювання об'єму
- Визначення та відстеження глибини зору; 3D просторове відстеження та захоплення; розпізнавання 3D точкових хмар
- Візуальна взаємодія на основі ШІ: інтелектуальне сортування та обробка, розпізнавання кольору, динамічне відстеження, сортування сміття, відстеження, захоплення
- Описані мультимодальні робочі процеси: відеоаналіз, управління рухом з довгими командами, сортування аномальної висоти, виведення намірів (база знань RAG), алгоритм відстеження об'єктів KCF, завдання розпізнавання на основі YOLOv11
Приклад розмірів об'єктів, показаних для демонстрацій вимірювання об'єму: Куб 30*30*30мм, Циліндр 30*30*30мм, Циліндр 30*30*60мм.Приклади накладок відстані включають 240.0 мм та 190.0 мм.
Посібники
Посилання на навчання: http://www.yahboom.net/study/DOFBOT-Pro
Деталі

Порівняйте популярні варіанти настільних роботизованих рук на перший погляд, включаючи ступені свободи, досяжність, діапазон захвату та платформи управління.

Швидкий знімок специфікацій допомагає вибрати правильну модель для навчання ROS, симуляції та базових завдань з комп'ютерним зором.

DOFBOT-PRO поєднує 6-DOF руку, RGB+D глибину сприйняття та сумісність з Jetson для 3D сприйняття та розвитку захвату.

Деталі альтернативної конфігурації надаються для користувачів, яким потрібна інша структура руки та налаштування камери.

Створений для освіти та розвитку ROS, комплект поєднує компактну 6-DOF руку з глибоким зором та інтегрованим настільним налаштуванням.

Розроблено для планування руху та сприйняття, таких як кінематика, розпізнавання цілей, відстеження та захоплення в 3D-просторі.

Ключові модулі охоплюють сприйняття глибини, концепції взаємодії з ШІ та програмні фреймворки, що використовуються в загальних робототехнічних процесах.

Основні характеристики апаратного та програмного забезпечення підсумовують, що включено для створення демонстрацій зору + ROS та експериментів у класі.

Кілька варіантів плат Jetson допомагають масштабуватися від початкового прототипування до більш продуктивних навантажень ШІ.

Використовуйте матрицю конфігурації, щоб відповідати платі контролера та набору функцій вимогам вашого проекту ROS.

Сприйняття глибини додає розуміння з урахуванням відстані для більш надійного позиціонування, розпізнавання та планування захоплення, ніж 2D самостійно.

Калібрування камери-руки підтримує завдання, такі як розпізнавання точкових хмар та вимірювання на основі глибини для взаємодії в 3D-просторі.

Концепції мультимодальної взаємодії включають текстові, голосові та візуальні можливості для створення більш багатих робочих процесів людина-робот.

Приклади застосування зосереджені на поведінках сортування та обробки, які поєднують сприйняття з керованим командами контролем.

Практичні демонстрації демонструють завдання відстеження, сортування та вибору дій, побудовані навколо логіки зору та взаємодії.

Інтерактивні завдання у стилі виклику надають доступні сценарії для тестування сприйняття, міркування та контрольних петель.

Приклади розпізнавання зору охоплюють відстеження на основі кольору, сортування блоків, інтерактивні ігри та складання на основі етикеток.

Записки з навчання та криві продуктивності окреслюють включений напрямок глибокого навчання для завдань виявлення об'єктів.

DOFBOT Pro підтримує взаємодію з жестикуляцією на основі MediaPipe, пряму/обернену кінематику та управління симуляцією MoveIt для налаштування та розробки робочих процесів.

DOFBOT Pro підтримує симуляцію кінематики MoveIt з плануванням траєкторій, виявленням зіткнень та робочими процесами ROS/ROS2 (Humble) для управління рухом.

DOFBOT Pro підтримує управління через додаток, веб-управління та бездротовий пульт USB, з конфігурацією з 6 ступенів свободи, позначеною J1–J6, для точного налаштування та планування руху.

Роботизована рука DOFBOT Pro з 6 ступенями свободи поєднує плату управління на базі Jetson з глибинною камерою DaBai DCW2 та інтелектуальними сервоприводами з послідовною шиною для проектів з керуванням на основі зору.

Налаштування DOFBOT Pro включає в себе плату розширення роботизованої руки та підтримує додаткові модулі, такі як голосовий модуль та сенсорний екран діагоналлю 10.1 дюйма для управління.

Опис курсу DOFBOT-PRO розбиває навчальні модулі та цілі навчання, щоб допомогти спланувати етапи налаштування та розробки.

DOFBOT Pro включає організований відкритий код та покрокові папки з навчальними матеріалами, що охоплюють 2D/3D візуальне відстеження, сортування та захоплення, а також робочі процеси з глибинними камерами.

DOFBOT Pro включає завантажувані відеоуроки, навчальні матеріали ROS2, файл 3D моделі та відкритий код Python для розробки на платах Jetson.

Часові креслення та огляд специфікацій допомагають вам спланувати місце для монтажу та інтеграцію системи для роботизованої руки DOFBOT Pro 6-DOF.

Комплект DOFBOT Pro включає роботизовану руку з набором стандартних аксесуарів, таких як апаратура контролера, кабелі живлення та даних, а також основні інструменти для складання та налаштування.
Related Collections
