Yahboom DOFBOT SE 6自由度機械臂虛擬機版本，ROS2 Humble Python AI視覺大型模型套件

概述

DOFBOT SE 是來自 Yahboom 的 AI 大模型視覺機械臂 （虛擬機版本）。這是一款 6 自由度桌面機械臂，在 PC 端虛擬機上生成控制決策，並通過 STM32 控制器驅動關節。系統以 ROS2 為核心，支持運動學（正向/逆向）、運動規劃、MoveIt 模擬和碰撞檢測，同時也支持 AI 視覺交互，用於顏色識別跟踪和物體抓取等任務。

主要特點

• PC 虛擬機主控: 使用 PC 虛擬機替代 ARM 開發板；不支持 Mac.
• ROS2 開發: ROS2 機器人控制系統（圖像指定 ROS2 Humble），支持運動規劃、模擬和相關工作流程。
• 6 自由度串行總線伺服控制: 集成控制多關節運動和抓取。
• AI視覺互動: 平面2D視覺，具有顏色識別/追蹤/抓取和手勢識別等功能。
• AI大型模型互動（功能可用性取決於版本）: 圖像描述多模態能力（文本/語音/視覺），包括可擴展的RAG知識庫、自然語音對話和視覺場景理解。
• 多種控制方法: 文本說明移動應用程序、無線手柄和PC軟件控制。

規格

攝像頭分辨率說明： 提供的文字描述中提到了一個 0.3MP 相機, 並且在“專業硬體配置”中提到一個 30MP 相機模組。圖片顯示 USB HD 相機，但未顯示像素值。若需確認發貨的確切相機模組，請聯繫 [email protected] 或訪問 https://rcdrone.top/ .

軟體 & 控制

• ROS2 控制: 簡化 6 自由度串行總線伺服運動控制；支持正解、逆解和運動規劃（文本）。
• MoveIt + RViz: 圖片列出 MoveIt 運動規劃和 RViz 機械臂模擬。
• 虛擬機串行通信: 圖片描述從虛擬機通過串行埠向 STM32 協處理器發送指令以驅動每個關節。
• 遠程控制方法（文本）: 移動應用、無線手柄和 PC 軟體。

AI 視覺、手勢和模型訓練（如描述）

• AI 視覺識別/目標追蹤: 顏色識別 & 追蹤；顏色抓取；顏色互動；垃圾分類；顏色積木堆疊；“抓取遊戲”。
• 手勢互動 (MediaPipe): 手勢控制機械臂動作組；手勢識別控制堆疊；姿態控制機械臂；機械臂識別和追蹤手掌。
• 算法框架（圖像文本）: 逆運動學算法；YOLOv11；OpenCV；MediaPipe。
• 深度學習 & 模型訓練（圖像文本）: 支持自定義訓練和模型量化部署；示例包括垃圾分類和模型訓練（YOLOv11 案例展示）。

圖像中顯示的注意事項: “運輸清單中不包括垃圾桶。”” “模型訓練需要用戶自行訓練。”

版本差異（圖片文字）

應用

• ROS2學習和研究：運動學、運動規劃、MoveIt模擬和碰撞檢測。
• AI 視覺演示：物體追蹤、顏色識別、抓取和放置，以及排序工作流程。
• 多模態互動演示（如描述）：視頻解析、長指令動作控制、智能處理和3D空間排序。

教程 & 視頻

教程鏈接：Yahboom DOFBOT SE 機械臂

詳情

DOFBOT SE 結合了一個6自由度桌面機械臂與PC端虛擬機控制和ROS2 Humble工作流程，用於學習和開發。

虛擬機主控減少了對硬件的依賴，同時保留了運動規劃、RViz 模擬和2D視覺互動等核心功能。

更高配置增加了基於深度的3D視覺互動，用於空間感知和抓取應用。

該系列中的其他機械臂選項突出了不同的自由度和結構選擇，以滿足特定的研究和教學需求。

與ARM開發板相比，PC虛擬機方法強調更容易的擴展、備份/恢復和具成本效益的開發。

專為ROS2開發而設計，DOFBOT SE支持AI視覺互動和多關節伺服控制，適合緊湊的桌面形式。

多模態互動、視覺應用和逐步教程幫助從初始運動過渡到實際的AI視覺任務。

選擇符合您需求的配置，從ROS2 Humble基礎到擴展的AI大型模型能力。

大型語言、語音和視覺模型使機械臂操作過程中的命令和反饋更加自然。

應用示範專注於將自然命令轉化為可重複的動作，如處理和排序序列。

多模態理解支持各種課堂風格的場景，如問答、分析和引導任務執行。

2D視覺功能包括顏色識別、目標跟踪和引導抓取，用於互動式桌面項目。

手勢識別和模型訓練內容將互動擴展到夾爪之外，以進行更豐富的AI控制實驗。

ROS2運動學加上MoveIt模擬有助於在實際運行機械臂之前驗證軌跡。

ROS2 Humble支持和多種控制方法——移動應用、PC控制和無線手柄——適合不同的學習設置。

DOFBOT SE 應用程式包括手勢抓取、遙控、追蹤、伺服校準和分類模式，以實現靈活操作。

DOFBOT SE 機械臂支持人臉識別追蹤和自定義動作組學習，以實現可重複的運動序列。

DOFBOT SE 6-DOF 機械臂套件配備 USB 攝像頭、STM32 核心板和清晰標記的 J1–J6 關節，並支持可選的揚聲器和 AI 語音模塊。

DOFBOT SE 套件結合了 6DOF 伺服驅動臂和擴展板，提供清晰標記的端口和接頭，用於連接外圍設備和電源。

DOFBOT SE 套件包括 USB 攝像頭模塊、帶接收板的 2.4G 無線手柄，以及帶揚聲器和接線的 AI 語音模塊，便於集成。

DOFBOT SE 課程大綱涵蓋設置、校準、遙控和編程課程，包括 AI 視覺模組。

套件的學習大綱涵蓋大型模型基礎、環境設置和實用項目，如配置 API 密鑰和整合 AI 功能。

套件包括結構化的開源代碼資源和逐步視頻教程，涵蓋 AI 大模型功能和 ROS2 基礎。

DOFBOT SE 套件包括訪問簡單的 3D 模型文件，並提供技術支持和售後服務。

DOFBOT SE 包括毫米尺寸大綱和快速規格列表，涵蓋板載平台和軟件環境，如 Ubuntu 22.04 與 ROS2 Humble 和 Python。

DOFBOT SE 套件包括機械臂本體和底盤、STM32 核心板、帶支架的攝像頭、2。4G 無線手柄、電纜、工具和說明手冊。