Yahboom DOFBOT SE 6DOF Роботизированная рука, версия виртуальной машины, ROS2 Humble Python AI Vision, комплект с большой моделью

Обзор

DOFBOT SE - это AI большая модель зрения роботизированная рука (версия виртуальной машины) от Yahboom. Это 6 DOF настольная роботизированная рука, которая генерирует управляющие решения на виртуальной машине на стороне ПК и управляет суставами через контроллер STM32. Система разработана на основе ROS2 для поддержки кинематики (прямой/обратной), планирования движения, симуляции MoveIt и обнаружения столкновений, а также позволяет взаимодействие с AI-визией для задач, таких как отслеживание распознавания цвета и захват объектов.

Ключевые особенности

• Основное управление виртуальной машиной ПК: использует виртуальную машину ПК для замены плат разработки ARM; Mac не поддерживается.
• Разработка ROS2: Система управления роботами ROS2 (изображение указывает ROS2 Humble), поддерживающая планирование движения, симуляцию и связанные рабочие процессы.
• Управление серводвигателями с 6 DOF по последовательной шине: интегрированное управление для многосуставного движения и захвата.
• Взаимодействие с ИИ-визией: плоскостное 2D-видение с функциями, такими как распознавание/отслеживание/захват цвета и распознавание жестов.
• Взаимодействие с крупной моделью ИИ (доступность функций зависит от версии): изображения описывают мультимодальные возможности (текст/голос/визуализация), включая масштабируемую базу знаний RAG, естественный голосовой диалог и понимание визуальных сцен.
• Несколько методов управления: текстовые состояния мобильного приложения, беспроводного пульта и управления программным обеспечением для ПК.

Спецификации

Примечание о разрешении камеры: предоставленное текстовое описание упоминает 0.3MP камера, и также указывает на 30MP модуль камеры в разделе “Профессиональная аппаратная конфигурация”. Изображения указывают на USB HD камеру, но не показывают значение мегапикселей. Для подтверждения точного модуля камеры, который будет отправлен, свяжитесь с [email protected] или посетите https://rcdrone.top/ .

Программное обеспечение & Управление

• Управление ROS2: упрощает управление движением серво с 6 степенями свободы по последовательной шине; поддерживает прямое решение, обратное решение и планирование движения (текст).
• MoveIt + RViz: изображения перечисляют планирование движения MoveIt и симуляцию роботизированной руки RViz.
• Серийная связь виртуальной машины: изображения описывают отправку инструкций от виртуальной машины к сопроцессору STM32 через последовательный порт для управления каждым суставом.
• Методы дистанционного управления (текст): мобильное приложение, беспроводной пульт и программное обеспечение для ПК.

Искусственный интеллект: Визуальное восприятие, Жесты и Обучение моделей (как описано)

• Искусственный интеллект визуального распознавания/отслеживания целей: распознавание цвета & отслеживание; захват цвета; взаимодействие с цветом; сортировка отходов; укладка цветных блоков; “игра на захват”.
• Взаимодействие с жестами (MediaPipe): управление действиями роботизированной руки с помощью жестов; стек управления распознаванием жестов; управление положением роботизированной руки; распознавание и отслеживание ладони роботизированной рукой.
• Алгоритмические фреймворки (текст изображения): алгоритм обратной кинематики; YOLOv11; OpenCV; MediaPipe.
• Глубокое обучение & обучение моделей (текст изображения): поддерживает индивидуальное обучение и развертывание квантизации моделей; приведенные примеры включают классификацию мусора и обучение моделей (презентация случая YOLOv11).

Заметки, показанные на изображениях: “Мусорное ведро не включено в список отправки."Обучение модели требует от пользователей самостоятельного обучения."”

Различия версий (текст на изображении)

Приложения

• Изучение и исследование ROS2: кинематика, планирование движения, симуляция MoveIt и обнаружение столкновений.
• Демонстрации ИИ-визуализации: отслеживание объектов, распознавание цветов, захват и размещение, а также сортировочные рабочие процессы.
• Демонстрации мультимодального взаимодействия (как описано): разбор видео, управление действиями по длинным командам, интеллектуальная обработка и сортировка в 3D-пространстве.

Учебные материалы & Видео

Ссылка на учебник: Роботизированная рука Yahboom DOFBOT SE

Подробности

DOFBOT SE сочетает в себе 6-осевую настольную руку с управлением виртуальной машиной на стороне ПК и рабочими процессами ROS2 Humble для обучения и разработки.

Основное управление виртуальной машиной снижает зависимость от аппаратного обеспечения, сохраняя при этом основные функции, такие как планирование движений, симуляция RViz и 2D-визуальное взаимодействие.

Более высокая конфигурация добавляет взаимодействие в 3D с учетом глубины для пространственного восприятия и приложений захвата.

Другие варианты рук в серии подчеркивают различные степени свободы и структурные решения для конкретных исследовательских и учебных нужд.

По сравнению с платами разработки ARM, подход с виртуальной машиной ПК акцентирует внимание на более легком расширении, резервном копировании/восстановлении и экономически эффективной разработке.

Созданный для разработки ROS2, DOFBOT SE поддерживает взаимодействие с AI-визуализацией и управление многосерво в компактной настольной форме.

Мультимодальное взаимодействие, визуальные приложения и пошаговые учебники помогают перейти от первого движения к практическим задачам AI-визуализации.

Выберите конфигурацию, которая соответствует вашим потребностям, от основ ROS2 Humble до расширенных возможностей больших AI-моделей.

Большие языковые, голосовые и визуальные модели обеспечивают более естественные команды и обратную связь во время работы с роботизированной рукой.

Демонстрации приложений сосредоточены на преобразовании естественных команд в повторяемые действия, такие как обработка и сортировка последовательностей.

Мультимодальное понимание поддерживает различные сценарии в стиле класса, такие как Q&A, анализ и выполнение задач под руководством.

Функции 2D-видения включают распознавание цвета, отслеживание цели и управляемое захватывание для интерактивных настольных проектов.

Распознавание жестов и контент для обучения моделей расширяют взаимодействие за пределами захвата для более богатых экспериментов с ИИ-контролем.

Кинематика ROS2 и симуляция MoveIt помогают подтвердить траектории перед выполнением движений на реальной руке.

Поддержка ROS2 Humble и несколько методов управления — мобильное приложение, управление с ПК и беспроводная ручка — подходят для различных учебных установок.

Приложение DOFBOT SE включает в себя захват жестов, а также дистанционное управление, отслеживание, калибровку сервоприводов и режимы сортировки для гибкой работы.

Роботизированная рука DOFBOT SE поддерживает отслеживание распознавания лиц и обучение пользовательским группам действий для повторяемых последовательностей движений.

Комплект роботизированной руки DOFBOT SE с 6 степенями свободы включает в себя USB-камеру, основную плату STM32 и четко обозначенные суставы J1–J6, с поддержкой опционального динамика и модуля AI голосового управления.

Комплект DOFBOT SE сочетает в себе сервоприводимую руку с 6 степенями свободы и плату расширения, которая предоставляет четко обозначенные порты и разъемы для подключения периферийных устройств и питания.

Комплект DOFBOT SE включает в себя модуль USB-камеры, беспроводной пульт 2.4G с приемной платой и модуль AI голосового управления с динамиком и проводкой для легкой интеграции.

Контур курса DOFBOT SE охватывает настройку, калибровку, дистанционное управление и уроки программирования, включая модули AI vision.

Контур обучения набора охватывает основы больших моделей, настройку окружения и практические проекты, такие как конфигурация API-ключа и интеграция функций AI.

Набор включает структурированные ресурсы открытого кода и пошаговые видеоруководства, охватывающие функции больших моделей AI и основы ROS2.

Набор DOFBOT SE включает доступ к простому файлу 3D-модели и предоставляет техническую поддержку с послепродажным обслуживанием.

DOFBOT SE включает контур размеров в миллиметрах и быстрый список характеристик, охватывающий встроенную платформу и программное окружение, такое как Ubuntu 22.04 с ROS2 Humble и Python.

Набор DOFBOT SE включает корпус и шасси роботизированной руки, основную плату STM32, камеру с кронштейном, 2.4G беспроводная ручка, кабели, инструменты и инструкция.