Yahboom DOFBOT SE Braço Robótico 6DOF Versão Máquina Virtual, Kit de Modelo Avançado de Visão AI Python ROS2 Humble

Visão Geral

DOFBOT SE é um modelo de visão AI de grande porte braço robótico (versão de máquina virtual) da Yahboom. É um braço robótico de 6 DOF para desktop que gera decisões de controle em uma máquina virtual do lado do PC e aciona as articulações através de um controlador STM32. O sistema é projetado em torno do ROS2 para suportar cinemática (direta/inversa), planejamento de movimento, simulação MoveIt e detecção de colisões, enquanto também permite interação de visão AI para tarefas como rastreamento de reconhecimento de cores e apreensão de objetos.

Principais Características

• Controle principal da máquina virtual do PC: usa uma máquina virtual do PC para substituir placas de desenvolvimento ARM; Mac não suportado.
• Desenvolvimento ROS2: sistema de controle de robô ROS2 (a imagem especifica ROS2 Humble), suportando planejamento de movimento, simulação e fluxos de trabalho relacionados.
• Controle de servo de barramento serial de 6 DOF: controle integrado para movimento de múltiplas articulações e apreensão.
• Interação de visão AI: visão 2D com funções como reconhecimento/seguimento/captura de cor e reconhecimento de gestos.
• Interação com modelo grande AI (a disponibilidade de recursos depende da versão): imagens descrevem capacidades multimodais (texto/voz/visão) incluindo base de conhecimento RAG escalável, diálogo em voz natural e compreensão de cena visual.
• Múltiplos métodos de controlo: estados de texto aplicativo móvel, manete sem fios e controlo de software para PC.

Especificações

Nota sobre a resolução da câmara: a descrição do texto fornecido menciona um 0.Câmara de 3MP, e também menciona um módulo de câmara de 30MP sob “Configuração de hardware profissional”. As imagens especificam uma câmara HD USB mas não mostram um valor em megapixels. Para confirmação do módulo de câmara exato enviado, contacte [email protected] ou visite https://rcdrone.top/ .

Software & Controle

• Controle ROS2: simplifica o controle de movimento de servo de barramento serial de 6 DOF; suporta solução direta, solução inversa e planejamento de movimento (texto).
• MoveIt + RViz: imagens listam o planejamento de movimento MoveIt e a simulação do braço robótico RViz.
• Comunicação serial de máquina virtual: imagens descrevem o envio de instruções da máquina virtual para um co-processador STM32 através de uma porta serial para acionar cada junta.
• Métodos de controle remoto (texto): aplicativo móvel, manípulo sem fio e software para PC.

Visão AI, Interação por Gestos e Treinamento de Modelos (como descrito)

• Reconhecimento visual AI/ rastreamento de alvos: reconhecimento de cores & rastreamento; captura de cores; interação de cores; separação de resíduos; empilhamento de blocos de cores; “jogo de captura”.
• Interação por gestos (MediaPipe): grupo de ações do braço robótico controlado por gestos; pilha de controle de reconhecimento de gestos; controle de atitude do braço robótico; reconhecimento e rastreamento do braço robótico da palma.
• Estruturas de algoritmos (texto de imagem): algoritmo de cinemática inversa; YOLOv11; OpenCV; MediaPipe.
• Treinamento de modelos de & aprendizado profundo (texto de imagem): suporta treinamento personalizado e implantação de quantificação de modelos; exemplos mostrados incluem classificação de lixo e treinamento de modelos (apresentação de caso YOLOv11).

Notas mostradas nas imagens: “O caixote do lixo não está incluído na lista de envio."Treinamento de modelo requer que os usuários se treinem a si mesmos."”

Diferenças de Versão (texto da imagem)

Aplicações

• Aprendizagem e pesquisa em ROS2: cinemática, planejamento de movimento, simulação MoveIt e detecção de colisão.
• Demonstrativos de visão AI: rastreamento de objetos, reconhecimento de cores, agarrar e colocar, e fluxos de trabalho de classificação.
• Demonstrativos de interação multimodal (conforme descrito): análise de vídeo, controle de ação de comando longo, manuseio inteligente e classificação em espaço 3D.

Tutoriais & Vídeos

Link do tutorial: Yahboom DOFBOT SE Braço Robótico

Detalhes

O DOFBOT SE combina um braço de mesa com 6 DOF com controle de máquina virtual do lado do PC e fluxos de trabalho ROS2 Humble para aprendizagem e desenvolvimento.

O controle principal da máquina virtual reduz a dependência de hardware enquanto mantém funções essenciais como planejamento de movimento, simulação RViz e interação visual 2D.

Uma configuração superior adiciona interação visual 3D baseada em profundidade para percepção espacial e aplicações de agarrar.

Outras opções de braço na série destacam diferentes DOF e escolhas de estrutura para necessidades específicas de pesquisa e ensino.

Comparado com placas de desenvolvimento ARM, a abordagem de máquina virtual PC enfatiza uma expansão mais fácil, backup/restauração e desenvolvimento rentável.

Construído para desenvolvimento ROS2, o DOFBOT SE suporta interação de visão AI e controle de servo multi-articulado em uma forma compacta de desktop.

Interação multimodal, aplicações visuais e tutoriais passo a passo ajudam a passar do primeiro movimento para tarefas práticas de visão AI.

Escolha a configuração que corresponde às suas necessidades, desde os fundamentos do ROS2 Humble até capacidades expandidas de grandes modelos de AI.

Grandes modelos de linguagem, voz e visão permitem comandos e feedback mais naturais durante a operação do braço robótico.

As demonstrações de aplicações concentram-se em transformar comandos naturais em ações repetíveis, como manuseio e ordenação de sequências.

A compreensão multimodal suporta cenários variados em estilo de sala de aula, como Q&A, análise e execução de tarefas guiadas.

As funções de visão 2D incluem reconhecimento de cores, rastreamento de alvos e agarramento guiado para projetos interativos em mesa.

O reconhecimento de gestos e o conteúdo de treinamento de modelos estendem a interação além do gripper para experiências de controle de IA mais ricas.

A cinemática ROS2 mais a simulação MoveIt ajuda a validar trajetórias antes de executar movimentos no braço real.

O suporte ROS2 Humble e múltiplos métodos de controle—aplicativo móvel, controle de PC e manípulo sem fio—se adequam a diferentes configurações de aprendizagem.

O aplicativo DOFBOT SE inclui captura por gestos, juntamente com controle remoto, rastreamento, calibração de servos e modos de classificação para operação flexível.

O braço robótico DOFBOT SE suporta rastreamento de reconhecimento facial e aprendizado de grupos de ações personalizadas para sequências de movimento repetíveis.

O kit do braço robótico DOFBOT SE 6-DOF apresenta uma câmera USB, placa principal STM32 e articulações J1–J6 claramente rotuladas, com suporte opcional para alto-falante e módulo de voz AI.

O kit DOFBOT SE combina um braço acionado por servo 6DOF com uma placa de expansão que fornece portas e conectores claramente rotulados para ligação de periféricos e alimentação.

O kit DOFBOT SE inclui um módulo de câmera USB, um manípulo sem fio 2.4G com placa receptora e um módulo de voz AI com alto-falante e fiação para fácil integração.

O esboço do curso DOFBOT SE abrange configuração, calibração, controlo remoto e lições de programação, incluindo módulos de visão AI.

O esboço de aprendizagem do kit cobre os fundamentos de grandes modelos, configuração do ambiente e projetos práticos como a configuração de uma chave de API e integração de funcionalidades de AI.

O kit inclui recursos de código aberto estruturados e tutoriais em vídeo passo a passo que cobrem funcionalidades de grandes modelos de AI e fundamentos do ROS2.

O kit DOFBOT SE inclui acesso a um arquivo de modelo 3D simples e fornece suporte técnico com serviço pós-venda.

O DOFBOT SE inclui um esboço de dimensões em milímetros e uma lista rápida de especificações que cobre a plataforma a bordo e o ambiente de software, como Ubuntu 22.04 com ROS2 Humble e Python.

O kit DOFBOT SE inclui o corpo e chassi do braço robótico, placa base STM32, câmara com suporte, 2.Cabo sem fio 4G, cabos, ferramentas e um manual de instruções.