Yahboom Transbot SE Gari la Roboti la ROS lenye Mkono wa 3DOF & 2MP PTZ, kwa Jetson Nano B01 / Raspberry Pi 5

Muhtasari

Transbot SE ni Gari la Roboti la ROS (jukwaa la kutambaa) iliyoundwa kwa ajili ya maendeleo ya maono ya AI na roboti na Jetson Nano B01 au Raspberry Pi 5. Inatumia mwili wa aloi ya alumini na inaunganisha mkono wa roboti wa 3DOF pamoja na kamera ya 2DOF PTZ kwa udhibiti unaotegemea maono, ufuatiliaji, na uigaji wa mkono wa roboti na MoveIt.

Unahitaji msaada wa kuchagua toleo (na/au bila Jetson Nano au Raspberry Pi) au kuandaa mazingira ya programu? Wasiliana na msaada kupitia https://rcdrone.top/ au barua pepe [email protected].

Vipengele Muhimu

• Chasi ya kutambaa inayofuatiliwa na muundo wa nyimbo tofauti kwa uendeshaji nje ya barabara
• Mwili wa aloi ya alumini yote
• Mkono wa roboti wa 3DOF (servo ya basi ya serial yenye akili) kwa kushika/kushughulikia na michakato ya simulizi
• Kamera ya 2DOF PTZ na kamera ya 2MP (mzunguko wa usawa/wima)
• Motors za encoder 520
• Stack ya maono ya AI iliyojengwa ndani: Usindikaji wa picha wa OpenCV, ujifunzaji wa mashine wa MediaPipe, utambuzi wa vitu wa YOLO, na mfumo wa ujifunzaji wa kina wa AI
• Udhibiti wa muunganisho chaguzi zilizoonyeshwa: Programu ya kudhibiti kwa mbali, udhibiti wa programu ya wavuti ya Jupyter, udhibiti wa mfumo wa ROS, udhibiti wa muunganisho wa majukwaa mbalimbali, udhibiti wa malezi ya magari mengi
• Uprogramu: Uprogramu wa Python na uprogramu wa C++ umeonyeshwa

AI Vision & Kazi za Udhibiti (Zinaonyeshwa)

• Usindikaji wa picha wa OpenCV: Utambuzi wa Vitu (kutambua aina maalum za vitu), Maono ya AR (athari 12 zinaonyeshwa kupitia karatasi ya chessboard), AR QR code (kuunda na kutambua misimbo ya AR QR), Utambuzi wa Uso (mafunzo ya kujitegemea na utambuzi wa wakati halisi kupitia ukusanyaji wa wakati halisi wa picha za uso)
• Mchezo wa kuona wa AI: Kufuatilia Rangi, Kufuatilia Vitu (kamera PTZ inafuatilia vitu kwa wakati halisi), Ushughulikiaji wa mkono wa roboti (ushughulikiaji unaotegemea amri ya QR code), Udhibiti wa moja kwa moja (uchaguzi wa rangi maalum; hufuata njia ya rangi inayotambuliwa)
• Udhibiti wa mkono wa roboti wa MoveIt: algorithimu ya kinematics ya mbele/nyuma, upangaji wa njia ya Cartesian, utambuzi wa mgongano, simulizi ya MoveIt
• Udhibiti wa utambuzi wa ishara (MediaPipe): harakati za chasi zinazosimamiwa na kiganja, vikundi vya vitendo vya mkono wa roboti vinavyodhibitiwa na ishara, harakati za chasi zinazosimamiwa na ishara, udhibiti wa mkao wa mkono (mkono wa roboti unafuata mkao wa mkono na kufungua/kufunga kiganja)
• Maendeleo ya MediaPipe: utambuzi wa ishara, utambuzi wa uso, utambuzi wa vitu vya 3D (mifano inayoonyeshwa: “KIATU”, “KITI”, “KIKOMBE”, “KAMERA”, nk.)
• Mifano ya deep learning iliyoonyeshwa: Utambuzi wa KNN wa nambari zilizoandikwa kwa mkono; Utambuzi wa vitu vya YOLO (utambuzi wa vitu maalum kupitia mafunzo ya seti za data maalum kwa kutumia algoriti ya YOLOv5)

Vipimo

Chaguo za Toleo (Zinaonyeshwa)

• Toleo la Jetson Nano: Na Jetson Nano 4GB (toleo la SUB) / Bila Jetson Nano
• Toleo la Raspberry Pi: Na Raspberry Pi 5-4GB / Bila Raspberry Pi (inahitaji Raspberry Pi yenye RAM ya 4GB au zaidi)

Matumizi

• Masomo ya ROS na maendeleo ya udhibiti wa mwendo wa roboti
• Miradi ya maono ya kompyuta (OpenCV), utambuzi wa ishara (MediaPipe), na utambuzi wa vitu (YOLO)
• Uigaji wa mkono wa roboti na majaribio ya upangaji na MoveIt (kinematiki, upangaji wa Cartesian, kugundua migongano)
• Udhibiti wa mbali na maonyesho ya udhibiti wa programu kupitia wavuti (Udhibiti wa APP, Jupyter, udhibiti wa mfumo wa ROS)

Mafunzo & Rasilimali za Kujifunza

Kiungo cha Mafunzo:http://www.yahboom.net/study/Transbot-SE

Katalogi ya Kozi (Inaonyeshwa)

• Utangulizi wa Transbot SE: Kuhusu Transbot SE; Tahadhari za matumizi na usalama wa betri; Jaribio la Kwanza
• Jaribio la Kwanza: Usanidi wa mtandao wa WiFi; Udhibiti wa APP; Udhibiti wa kipini cha USB kisichotumia waya; Udhibiti wa video wa kipini
• Kozi ya udhibiti wa vifaa: Kuhusu ubao wa upanuzi na sasisho la firmware; Funga mchakato wa kujiwasha; Sakinisha maktaba ya Transbot SE; Dhibiti buzzer na kitufe; Dhibiti PWM servo; Dhibiti bus servo; Dhibiti motor; Dhibiti harakati za roboti
• Usanidi wa mfumo wa uendeshaji wa Linux: Usakinishaji na matumizi ya mashine pepe; Misingi ya Linux; Udhibiti wa mbali; Usanidi wa mawasiliano ya mashine nyingi; IP tuli na hali ya hotspot; Ufuatiliaji wa wakati halisi wa ukurasa wa wavuti; Mafunzo ya upanuzi; Andika picha za mfumo
• Docker matumizi: Muhtasari wa Docker na usakinishaji wa docker; Amri za kawaida kwa kontena za picha za docker; Picha za Docker kuelewa kwa kina na kuchapisha picha; Mwingiliano wa vifaa vya Docker na usindikaji wa data; Anzisha kontena la Dobot
• Kozi ya Msingi ya ROS: Utangulizi wa ROS; Muundo wa faili za mradi; Amri na zana za kawaida; Mchapishaji; Wajumbe; Kubinafsisha ujumbe wa mada na matumizi; Mteja; Seva; Ujumbe wa huduma maalum na matumizi; Utoaji na ufuatiliaji wa TF
• Kozi za OpenCV: Kuanza na CV ya Chanzo Huria; Mabadiliko ya kijiometri ya CV ya Chanzo Huria; Usindikaji wa picha wa CV ya Chanzo Huria na kuchora mistari ya maandishi; Urembo wa picha wa CV ya Chanzo Huria; Maono ya AR; Msimbo wa QR wa AR; Msingi wa ROS+Opencv; Maombi ya ROS+Opencv; Maendeleo ya MediaPipe
• Kozi ya roboti ya ROS: Algorithimu ya PID; Mawasiliano ya msingi; Udhibiti wa kibodi; Udhibiti wa mpini; Makadirio ya hali ya roboti; Urekebishaji wa data
• Kozi ya kamera rahisi ya ROS: Kalibishaji wa kamera ya HD; Ufuatiliaji wa rangi wa kamera ya HD; Ufuatiliaji wa rangi wa kamera ya HD (chassis); Ufuatiliaji wa kitu cha kamera ya HD; Ufuatiliaji wa lengo la KCF; Ufuatiliaji wa uso wa kamera ya HD; Kubeba mkono wa roboti wa kamera ya HD; Udhibiti wa moja kwa moja wa kamera ya HD
• Mafunzo ya udhibiti wa mkono wa roboti wa ROS: Usanidi wa MoveIt; MoveIt kudhibiti mashine halisi; MoveIt inasonga kiholela; Ubunifu wa kinematics wa MoveIt; Njia ya cartesian ya MoveIt; Kuepuka kwa MoveIt; Ubunifu wa eneo la MoveIt; Upangaji wa njia ya MoveIt
• Udhibiti wa roboti nyingi wa ROS: Udhibiti wa roboti nyingi; Utendaji wa foleni ya roboti nyingi; Mkono wa roboti nyingi ukicheza
• Kozi ya udhibiti wa mkono wa roboti wa ROS MoveIt: Usanidi wa MoveIt; MoveIt inadhibiti mashine halisi; MoveIt inasonga kiholela; Ubunifu wa kinematics wa MoveIt; Njia ya cartesian ya MoveIt; MoveIt kuepuka; Ubunifu wa eneo la MoveIt; Upangaji wa mwelekeo wa MoveIt; Udhibiti wa gari la Mediapie palm; Udhibiti wa ishara wa Mediapipe mkono wa roboti; Udhibiti wa ishara wa Mediapipe gari; Udhibiti wa mwelekeo wa mkono wa Mediapipe
• Kozi za kujifunza kwa kina: KNN inatambua nambari zilizoandikwa kwa mkono; Matumizi ya msingi ya TensorFlow; Matumizi ya msingi ya PyTorch (jetson); Mafunzo ya modeli ya yolov5 (jetson); yolov5+tensorrt kuharakisha (jetson); yolov4-tiny

Maelezo

Transbot SE ni jukwaa la roboti la ROS lenye nyimbo lililojengwa kwa miradi ya maono ya AI, likiwa na mwili wa chuma wote, mkono wa 3DOF, na gimbal ya kamera ya 2DOF.

Stacki kamili ya programu inasaidia maono ya OpenCV, udhibiti wa ishara wa MediaPipe, utambuzi wa YOLO, na uigaji wa mkono wa roboti unaotegemea MoveIt.

Chassis ya crawler inayofuatiliwa na gari la tofauti imeundwa kwa ajili ya harakati thabiti kwenye nyuso mbalimbali za ndani na nje.

Inaoana na Raspberry Pi 5 kwa ajili ya maendeleo ya ROS na usindikaji wa maono laini kwenye bodi.

Chagua kifaa chenye Jetson Nano au Raspberry Pi iliyojumuishwa, au toleo lisilo na bodi ikiwa tayari unayo kidhibiti chako.

Maonyesho ya OpenCV yaliyojengwa ndani yanajumuisha utambuzi wa vitu, athari za AR na mabango ya alama, na michakato ya kizazi/utambuzi wa msimbo wa QR.

Mchezo wa kuona wa AI huongeza ufuatiliaji wa rangi, ufuatiliaji wa vitu unaotegemea PTZ, amri za QR za kuchukua-na-kueka, na rubani wa njia ya rangi.

Ujumuishaji wa MoveIt unasaidia kinematics, upangaji wa Cartesian, na ukaguzi wa mgongano kwa ajili ya maendeleo na uigaji wa mkono wa roboti.

Udhibiti wa ishara wa MediaPipe unaruhusu harakati zinazoendeshwa na kiganja pamoja na vikundi vya hatua za mkono wa roboti vinavyoanzishwa na ishara na kuiga mkao.

Miradi ya sampuli ni pamoja na utambuzi wa ishara/uso, lebo za vitu vya 3D, utambuzi wa tarakimu wa KNN, na mifano ya mafunzo ya seti ya data ya YOLO.

Tumia programu ya udhibiti wa mbali kwa uendeshaji wa haraka, vipengele vya kamera, na modi za AI za maingiliano bila usanidi kamili wa desktop.

Njia nyingi za udhibiti zinasaidiwa, ikiwa ni pamoja na programu ya wavuti ya Jupyter, udhibiti wa mfumo wa ROS, na muunganisho wa majukwaa mbalimbali.

Katalogi ya kozi iliyopangwa inaongoza usanidi, misingi ya ROS, vipengele vya maono, na mada za udhibiti wa hali ya juu.

Rasilimali za mafunzo zinapatikana mtandaoni kusaidia kujenga mazingira ya programu na kuanza ROS na maonyesho ya maono haraka.

Vipengele vya vifaa ni pamoja na kamera ya 2DOF PTZ, mkono wa 3DOF serial-bus, motors za encoder, na bodi kuu ya udhibiti ya ROS ya hiari.

Bodi ya upanuzi inarahisisha wiring kwa motors, vifaa vya serial, vifaa vya USB, na sensorer za kawaida.

Vipimo vya kina vinasaidia kupanga nafasi ya kufunga, mipangilio ya maabara, na ujumuishaji wa vifaa vya ziada.

Jedwali kamili la vigezo linalinganisha chaguo za kidhibiti na kufupisha nguvu, interfaces, mfumo wa uendeshaji, na maelezo ya mkusanyiko.

Vipimo vya mkono wa roboti wa 3DOF na vigezo muhimu vya servo (viungo vya YB-SD15M na kucha ya YB-S06) vinasaidia katika kupanga mipangilio na uteuzi wa nguvu.

Moduli ya kamera ya 2DOF PTZ inajumuisha kamera ya 2MP 1080p USB 2.0 na kifaa cha kufunga chenye vipimo vilivyowekwa kwa milimita kwa urahisi wa ujumuishaji.

Motor wa gia wa encoder 520 hutumia muundo wa brashi wa 12V na uwiano wa kupunguza wa 1:56 na encoder ya Hall (3.3–5V), yenye kasi ya 205±10 rpm baada ya kupunguza kasi.

Pakiti ya betri ya lithiamu ya 12V 4400mAh hutumia plagi ya kutokwa ya aina ya T na inaorodhesha 8.8A iliyokadiriwa na 10A ya juu ya sasa ya kutokwa.

Kifaa cha roboti cha Yahboom Transbot SE ROS kinajumuisha fremu na sahani ya juu, nyimbo na magurudumu, mkono wa roboti wa 3DOF, kamera ya 2DOF PTZ, motors, betri, chaja, na nyaya.

Vifurushi vya sehemu za roboti za Transbot SE ROS vinajumuisha chaguo za Jetson Nano au Raspberry Pi na vifaa kama feni ya kupoza, antena, na uhifadhi wa TF.