Yahboom Transbot SE Carro Robot ROS con braccio 3DOF & 2MP PTZ, per Jetson Nano B01 / Raspberry Pi 5

Panoramica

Transbot SE è un'auto robot ROS (piattaforma cingolata) progettata per lo sviluppo di visione artificiale e robotica con Jetson Nano B01 o Raspberry Pi 5. Utilizza un corpo in lega di alluminio e integra un braccio robotico a 3DOF più una telecamera PTZ a 2DOF per il controllo basato sulla visione, il tracciamento e la simulazione del braccio robotico con MoveIt.

Hai bisogno di aiuto per scegliere una versione (con/senza Jetson Nano o Raspberry Pi) o per preparare l'ambiente software? Contatta il supporto tramite https://rcdrone.top/ o email [email protected].

Caratteristiche principali

• Telaio cingolato tracciato con struttura a cingoli differenziale per guida fuoristrada
• Corpo in lega di alluminio
• Braccio robotico 3DOF (servo bus seriale intelligente) per afferrare/manipolare e flussi di lavoro di simulazione
• PTZ fotocamera 2DOF con fotocamera 2MP (rotazione orizzontale/verticale)
• Motori encoder 520
• Stack di visione AI integrato: Elaborazione delle immagini OpenCV, apprendimento automatico MediaPipe, riconoscimento oggetti YOLO e un framework di apprendimento profondo AI
• Controllo di interconnessione opzioni mostrate: APP di controllo remoto, controllo di programmazione web Jupyter, controllo del sistema ROS, controllo di interconnessione multipiattaforma, controllo di formazione multi-veicolo
• Programmazione: Programmazione Python e programmazione C++ sono indicate

Funzioni di Controllo & AI Vision (Mostrate)

• Elaborazione delle immagini OpenCV: Rilevamento Oggetti (riconoscere categorie specifiche di oggetti), Visione AR (12 effetti visualizzati tramite carta a scacchiera), Codice QR AR (generare e riconoscere codici QR AR), Riconoscimento facciale (addestramento autonomo e riconoscimento in tempo reale tramite raccolta in tempo reale di immagini facciali)
• Gameplay visivo AI: Tracciamento del colore, Tracciamento degli oggetti (la telecamera PTZ traccia gli oggetti in tempo reale), Manipolazione del braccio robotico (manipolazione basata su comandi QR code), Pilota automatico (selezione personalizzata del colore; segue un percorso di colore riconosciuto)
• Controllo del braccio robotico MoveIt: algoritmo di cinematica diretta/inversa, pianificazione del percorso cartesiano, rilevamento delle collisioni, simulazione MoveIt
• Controllo del riconoscimento dei gesti (MediaPipe): movimento del telaio controllato dal palmo, gruppi di azione del braccio robotico controllati da gesti, movimento del telaio controllato da gesti, controllo dell'atteggiamento del braccio (il braccio robotico imita la postura del braccio e l'apertura/chiusura del palmo)
• Sviluppo MediaPipe: riconoscimento dei gesti, riconoscimento facciale, riconoscimento di oggetti 3D (esempi mostrati: “SCARPA”, “SEDIA”, “TAZZA”, “FOTOCAMERA”, ecc.)
• Esempi di deep learning mostrati: Riconoscimento KNN di cifre scritte a mano; Riconoscimento di oggetti YOLO (riconoscimento di oggetti personalizzati tramite l'addestramento di dataset personalizzati utilizzando l'algoritmo YOLOv5)

Specifiche

Opzioni Versione (Mostrate)

• Versione Jetson Nano: Con Jetson Nano 4GB (versione SUB) / Senza Jetson Nano
• Versione Raspberry Pi: Con Raspberry Pi 5-4GB / Senza Raspberry Pi (richiede Raspberry Pi con 4GB o più di RAM)

Applicazioni

• Apprendimento ROS e sviluppo del controllo del movimento dei robot
• Progetti di visione artificiale (OpenCV), riconoscimento gestuale (MediaPipe) e riconoscimento oggetti (YOLO)
• Simulazione del braccio robotico e esperimenti di pianificazione con MoveIt (cinematica, pianificazione cartesiana, rilevamento delle collisioni)
• Controllo remoto e dimostrazioni di controllo della programmazione basata sul web (controllo APP, Jupyter, controllo del sistema ROS)

Tutorial & Risorse di Apprendimento

Link al tutorial:http://www.yahboom.net/study/Transbot-SE

Catalogo dei Corsi (Mostrato)

• Introduzione di Transbot SE: Informazioni su Transbot SE; Precauzioni per l'uso e sicurezza della batteria; Primo Test
• Primo Test: Configurazione della rete WiFi; Controllo tramite APP; Controllo tramite maniglia wireless USB; Controllo video tramite maniglia
• Corso di controllo hardware: Informazioni sulla scheda di espansione e aggiornamento firmware; Chiudere il processo di auto-avvio; Installare la libreria Transbot SE; Controllare il cicalino e il pulsante; Controllare il servo PWM; Controllare il servo bus; Controllare il motore; Controllare il movimento del robot
• Configurazione del sistema operativo Linux: Installazione e utilizzo della macchina virtuale; Basi di Linux; Controllo remoto; Configurazione della comunicazione multi-macchina; IP statico e modalità hotspot; Monitoraggio in tempo reale della pagina web; Tutorial di espansione; Scrivere immagini di sistema
• Docker uso: Panoramica di Docker e installazione di Docker; Comandi comuni per i contenitori di immagini Docker; Comprensione approfondita delle immagini Docker e pubblicazione delle immagini; Interazione hardware Docker e elaborazione dei dati; Avviare il contenitore Dobot
• Corso base ROS: Introduzione a ROS; Struttura dei file di progetto; Comandi e strumenti comuni; Publisher; Subscribers; Personalizzare i messaggi dei topic e utilizzo; Client; Server; Messaggi di servizio personalizzati e utilizzo; Rilascio e monitoraggio TF
• Corsi OpenCV: Introduzione a Open Source CV; Trasformazione geometrica Open Source CV; Elaborazione delle immagini Open Source CV e disegno di segmenti di testo; Abbellimento delle immagini Open Source CV; Visione AR; Codice QR AR; Fondamenti ROS+Opencv; Applicazione ROS+Opencv; Sviluppo MediaPipe
• Corso robot ROS: Algoritmo PID; Comunicazione di base; Controllo da tastiera; Controllo del manico; Stima dello stato del robot; Calibrazione dei dati
• Corso semplice di telecamera ROS: Calibrazione telecamera HD; Tracciamento colore telecamera HD; Tracciamento colore telecamera HD (telaio); Tracciamento oggetti telecamera HD; Tracciamento target KCF; Tracciamento facciale telecamera HD; Trasporto braccio robotico telecamera HD; Pilota automatico telecamera HD
• Tutorial di controllo del braccio robotico ROS: Configurazione MoveIt; Controllo della macchina reale con MoveIt; MoveIt movimento casuale; Progettazione cinematica MoveIt; Percorso cartesiano MoveIt; Evitamento MoveIt; Progettazione scena MoveIt; Pianificazione della traiettoria MoveIt
• Controllo multi-robot ROS: Controllo multi-robot; Prestazioni in coda multi-robot; Danza del braccio robotico multi-robot
• Corso di controllo MoveIt per braccio robotico ROS: Configurazione MoveIt; MoveIt controlla la macchina reale; MoveIt si muove casualmente; Progettazione cinematica MoveIt; Percorso cartesiano MoveIt; Evitamento MoveIt; Progettazione scena MoveIt; Pianificazione della traiettoria MoveIt; Controllo auto palmare Mediapie; Controllo gestuale braccio robotico Mediapipe; Controllo gestuale auto Mediapipe; Controllo atteggiamento braccio Mediapipe
• Corsi di apprendimento profondo: KNN riconosce le cifre scritte a mano; Uso base di TensorFlow; Uso base di PyTorch (jetson); Addestramento modello yolov5 (jetson); Accelerazione yolov5+tensorrt (jetson); yolov4-tiny

Dettagli

Transbot SE è una piattaforma robotica ROS cingolata costruita per progetti di visione artificiale, caratterizzata da un corpo interamente in metallo, un braccio a 3DOF e un giunto cardanico per fotocamera a 2DOF.

Un'intera pila software supporta la visione OpenCV, il controllo gestuale MediaPipe, il riconoscimento YOLO e la simulazione del braccio robotico basata su MoveIt.

Il telaio cingolato e la guida differenziale sono progettati per un movimento stabile su superfici interne ed esterne variabili.

Compatibile con Raspberry Pi 5 per lo sviluppo ROS e un'elaborazione della visione a bordo più fluida.

Scegli un kit con Jetson Nano o Raspberry Pi inclusi, oppure una versione senza scheda se hai già il tuo controller.

I demo OpenCV integrati includono il rilevamento degli oggetti, effetti AR con schede marker e flussi di lavoro di generazione/riconoscimento di codici QR.

Il gameplay visivo AI aggiunge il tracciamento del colore, il tracciamento degli oggetti basato su PTZ, il pick-and-place comandato da QR e il pilota automatico a percorso colorato.

L'integrazione MoveIt supporta la cinematica, la pianificazione cartesiana e il controllo delle collisioni per lo sviluppo e la simulazione del braccio robotico.

Il controllo gestuale di MediaPipe consente il movimento guidato dal palmo e gruppi di azioni del braccio robotico attivati da gesti e il mirroring della postura.

I progetti di esempio includono riconoscimento di gesti/volti, etichette di oggetti 3D, riconoscimento di cifre KNN ed esempi di addestramento del dataset YOLO.

Utilizza l'app di controllo remoto per una guida rapida, funzionalità della fotocamera e modalità AI interattive senza una configurazione desktop completa.

Supporta percorsi di controllo multipli, inclusi la programmazione web Jupyter, il controllo del sistema ROS e l'interconnessione multipiattaforma.

Un catalogo di corsi strutturato guida l'installazione, le basi di ROS, le funzionalità di visione e argomenti di controllo avanzati.

Risorse tutorial sono disponibili online per aiutare a costruire l'ambiente software e avviare più velocemente le demo di ROS e visione.

I punti salienti dell'hardware includono la telecamera PTZ 2DOF, il braccio seriale-bus 3DOF, i motori encoder e una scheda di controllo principale ROS opzionale.

La scheda di espansione semplifica il cablaggio per motori, dispositivi seriali, periferiche USB e sensori comuni.

Le dimensioni dettagliate aiutano a pianificare lo spazio di montaggio, i layout dei laboratori e l'integrazione degli accessori.

Una tabella completa dei parametri confronta le opzioni del controller e riassume potenza, interfacce, sistema operativo e dettagli di assemblaggio.

Le dimensioni del braccio robotico 3DOF e i parametri chiave del servo (giunti YB-SD15M e artiglio YB-S06) aiutano nella pianificazione del layout e nella selezione della potenza.

Il modulo telecamera PTZ 2DOF include una telecamera USB 2.0 da 2MP 1080p e un supporto compatto con dimensioni etichettate in millimetri per un'integrazione più semplice.

Il motore con encoder 520 utilizza un design a spazzole da 12V con un rapporto di riduzione di 1:56 e un encoder Hall (3.3–5V), con una velocità nominale di 205±10 giri/min dopo la decelerazione.

Il pacco batteria al litio da 12V 4400mAh utilizza una spina di scarico di tipo T e ha una corrente di scarica nominale di 8.8A e massima di 10A.

Il kit robot Yahboom Transbot SE ROS include il telaio e la piastra superiore, cingoli e ruote, un braccio robotico 3DOF, PTZ della fotocamera 2DOF, motori, batteria, caricabatterie e cavi.

I pacchetti di parti del robot Transbot SE ROS includono opzioni Jetson Nano o Raspberry Pi con accessori come una ventola di raffreddamento, antenne e memoria TF.