Hiwonder NexArm ESP32＆AT32 AIロボットアーム — K230ビジョンおよびLeRobotキットオプション

概要

HiwonderNexArm は、動作制御、具現化されたAI、および模倣学習の開発のためのオープンソースの ロボットアームです。ESP32およびAT32コントローラー、磁気エンコーダーバスサーボ、逆運動学ソフトウェアが、関節、デカルト座標、および軌道制御をサポートします。アームプラットフォームにはスターターまたはスタンダードを選択し、K230ビジョンおよび音声プロジェクトにはアドバンスドを、デュアル外部カメラとLeRobot学習機器を使用したリーダー–フォロワーセットアップにはアルティメットを選択してください。

構成を選択してください

アクセサリーは、リーダーアーム、サスペンションメカナムシャーシ、モーター付きスライディングレール、またはコンベヤーベルトの組み合わせからのみ選択してください。選択したアクセサリーはベースキットに追加されます。アルティメットにはすでにリーダーアームが含まれており、別途リーダーアームのアドオン選択はありません。シャーシ、レール、コンベヤーはオプションであり、「追加アクセサリーなし」には含まれていません。

特徴

• 金属製アームフレームに5つのアーム軸とグリッパー駆動を備え、6つのサーボ駆動自由度を提供します。
• 金属ギアと磁気角度フィードバックを備えたデュアル出力シャフトバスサーボ; 主要な磁気エンコーダー関節は12ビットフィードバックを使用します。
• 台形加速/減速、連続補間および動作スムージングにより、協調したスタート、ストップおよび経路計画を実現します。
• シリコンパッドとステンレス鋼の伝達部品を備えた平行レールグリッパー; 270°の回転範囲を持つベアリング支持のベース。
• アクショングループ編集、座標制御、3Dビジュアライゼーション、PID調整およびリアルタイムサーボモニタリングを備えたビジュアルPCソフトウェア。
• USBシリアル、BluetoothおよびWi-Fi制御に加え、ユニキャスト、マルチキャストおよびブロードキャストモードを使用したESP-NOW共同制御開発。
• 高度なおよび究極のK230機械視覚、コマンドベースの音声インタラクション、構成されたマルチモーダルモデルアプリケーションを追加します。
• 究極は、デモ収集、モデルトレーニング、およびポリシー展開プロジェクトのためのリーダー–フォロワーおよびデュアルカメラハードウェアを提供します。

モーションコントロールとプログラミング

個々の関節を制御し、3D座標およびエンドエフェクタのポーズパラメータを入力するか、スライダーと数値入力を使用してフレームごとにモーションシーケンスを構築します。逆運動学インターフェースは、到達可能な作業空間内のターゲット座標に対するサーボ角度を計算します。線形運動、三次元経路計画、および適応的把持方向は、必要な視覚ハードウェアが装着されている場合に手–目の協調をサポートします。

PCインターフェースは、アームを3Dでミラーリングし、アプリおよびワイヤレスコントローラーの操作、サーボ速度、トルク、加速度、およびPIDパラメータのシステム設定を提供します。オーバーロード制限とトルク閾値を設定し、サーボの状態を読み取り、アクショングループを編集し、保存されたアクションを呼び出すか削除します。電圧、位置、角度、速度およびトルク閾値のフィードバックは、調整と診断をサポートします。動的外力適応は、強い外力の下で影響を受けた関節をアンロードし、リリース後に位置に戻ります。これは、協働ロボットの安全評価を確立しません。

オープンソースコード、回路図、例、および運動学インターフェースを使用して、Arduino IDEでカスタムプログラムを開発します。Windows、Linux、macOSがホストオペレーティングシステムとしてリストされています。個々のソフトウェアツールとトレーニング環境には、それぞれのセットアップ要件があります。アプリ制御は、関節ごとの動き、ソート、およびプリセットアクショングループを提供します。PS3ワイヤレスコントローラーの操作には、Ultimateに含まれるコントローラーが必要です。

ビジョン、音声、具現化されたAI

AdvancedおよびUltimateには、2MPカメラを搭載したWonderMK K230モジュールが含まれています。2。4インチの静電容量式タッチスクリーン、マイクロフォン、6 TOPS相当の計算能力。30以上の視覚機能が色の識別と仕分け、色/ターゲット追跡、顔認識、ジェスチャー制御、AprilTagの位置特定とスタッキング、OCRおよびYOLOベースの検出をカバーしています。プログラムで認識されたターゲットをトリガーとしてアクションを実行したり、ターゲットの座標と向きを逆運動学と組み合わせて把持します。

視覚インターフェースとサポートされているワンクリックトレーニングワークフローを使用して、認識プロジェクトを構築します。音声と視覚の例には、オブジェクト追跡、音声による複数ステップの処理タスク、シーン認識対話、ラベル付きブロックの仕分けが含まれます。オンラインの大規模モデルリクエストにはネットワークアクセス、互換性のあるファームウェア、および構成されたサービス資格情報が必要です。このモジュールはAlibaba Bailian API統合をサポートし、DeepSeek、Qwen、StepFun、Llama、01.AI、Geminiなどのモデルを使用したプロジェクトをサポートします。サービスの可用性と設定はプロバイダーに依存します。音声コマンドのウェイクアップはオンライン対話とは異なります。

LeRobotと模倣学習

リーダーアームとフォロワーアームを使用して、デモンストレーションを通じてフォロワーを遠隔操作し、同期したマルチモーダルサンプルを収集します。Ultimateにはリーダーアーム、近距離のファーストビューカメラ、マウント付きの別のグローバルビューカメラが含まれています。デモンストレーションデータを使用して、Hugging Face LeRobotリソース、事前トレーニング済みモデル、データセット、シミュレーションツールを活用し、ACTまたはVLAワークフローを開発し、ポリシーをトレーニングして自律実行のために展開します。

リーダーアームは1:147のギア比を使用し、フォロワーは高い減速と位置安定性のために1:345を使用します。近距離視覚は物体の位置、向き、表面の詳細を記録し、外部カメラは作業空間をカバーします。モデルのトレーニングと推論には、指定されたRaspberry Pi/NVIDIA開発プラットフォームや専用GPUを搭載したPCなど、適切なホストが必要であり、適切な環境も必要です。これらのコンピュータは提供されません。オフラインドラッグティーチングと同期リーダー–フォロワー動作には、リーダーアームと適切な制御セットアップが必要です。

仕様

アームとキットのパラメータ

アームの寸法はポーズによって異なります。リーダー製品テーブル封筒（111 × 216 × 619 mm）および図面ベースの参照（122および211 mm）は異なる参照を示しています。テーブル封筒をベースホールレイアウトとして扱うのではなく、取り付けには完全な図面を使用してください。パッケージの質量は技術的な参照であり、店舗の配送重量設定を置き換えるものではありません。サーボのスタールトルクはアームのペイロード評価ではありません。

インストールされたサーボモデルの参照

すべての4つのモデルは、リードバック、温度/電圧/位置フィードバック、スタール保護、過熱保護をサポートしています。速度とスタールトルクの条件は、リストに記載されている通り別々です。名目上の12 Vアーム供給は、12.6 Vサーボのスタールトルクテストを保証された運用ペイロードにはしません。

フォロワーアームコントローラー

リーダーアームコントローラー

WonderMK K230モジュール

究極の外部カメラペア

学習トピック

プロジェクトは、アーム制御の基本から視覚およびモデルベースのタスクに進みます。カメラ、K230、リーダーアームおよびホストコンピュートの要件は、使用される構成とプロジェクトに従います。

ロボットアームの基本

アーム構造; シングルおよびマルチサーボ制御; サーボステータスの読み取り; シリアル/Wi-Fi通信; アプリ、ワイヤレスコントローラーおよびPC制御; グリッパー制御。

組み込み開発

ESP32環境設定; ボタン/ブザー制御; OLEDディスプレイ; ADC電圧サンプリング; フラッシュファイルシステム; Wi-Fiプログラミング。

運動学

前方運動学; 逆運動学; 座標/ジョイントマッピング; 運動学に基づく制御; 速度計画と軌道制御。

アクション編集

アクショングループ編集; 実行; 呼び出し; オフライン実行; オフライン削除; ドラッグティーチング; 動作最適化; 固定点把持; 輸送と仕分け; 自動プロセス制御。

ビジョンとAI

色認識/仕分け; 色とターゲットの追跡; AprilTagの位置特定; AprilTagの把持/積み重ね; 顔認識/追跡; ジェスチャー制御; マルチメディアアプリケーション; OpenMV認識; OCR; モデルのトレーニング/デプロイメント。

大規模モデルプロジェクト

モデル統合; 音声認識; 音声合成; 音声制御; マルチモーダル統合; 音声/視覚インタラクション; シーン理解; 意思決定; インテリジェントな把持; 自律実行。

アプリケーション

• デスクトップロボティクス教育: 直接関節制御、カーテシアンターゲット、逆運動学軌道を比較します。
• ビジョンガイド仕分け: AdvancedまたはUltimateを使用して色、タグ、ターゲットを認識し、把持の向きと配置を計算します。
• 模倣学習研究： Ultimateを使用してリーダー–フォローデモを収集し、適切なトレーニングコンピュータを使用してLeRobotポリシーを開発します。
• 具現化AIプロトタイプ： 構成された音声および視覚リクエストをオブジェクトトラッキング、ハンドリング、シーン理解アクションに接続します。
• 自動化デモ： 選択したコンベヤー、リニアレール、またはサスペンションメカナムシャーシを追加して輸送および拡張作業空間の実験を行います。

含まれるもの

選択されたベースキットと任意の選択されたアクセサリーが提供されます。コンピュータ、電話、選択されたパッケージ外の追加アーム、ディスプレイ風景およびデモオブジェクトは含まれていません。アームには指定された外部電源が必要であり、含まれているロボットバッテリーはリストされていません。

FAQ

K230 AIビジョンおよび音声ハードウェアを含むキットはどれですか？

AdvancedおよびUltimateにはWonderMK K230、そのマウントブラケットおよびスピーカーが含まれています。StarterおよびStandardはそのモジュールなしでアームプラットフォームを提供します。

UltimateはLeRobotプロジェクトに何を追加しますか？

Ultimateはリーダーアーム、取り付け機器付きの2つの外部カメラ、PS3コントローラーおよびUSBアクセサリーを追加します。模倣学習ポリシーのトレーニングと展開には、適切なホストコンピュータとソフトウェアのセットアップが依然として必要です。

すべてのキットにはリーダーアームまたはモバイルシャーシが含まれていますか？

Ultimateにはリーダーアームが含まれています。Starter、Standard、およびAdvancedは、選択可能なアドオンとして提供しています。シャーシ、スライディングレール、およびコンベヤーは別のアクセサリー選択であり、標準の内容ではありません。

65 kg·cmはアームのペイロードですか？

いいえ。それは12.6 VでのHX-65HMサーボのスタールトルクの参照値です。特定のリーチで完全なアームが持ち上げることができる負荷は指定されていません。

音声対話はオンラインサービスなしで機能しますか？

コマンドウェイクアップとローカルビジョンは、クラウドモデルの対話とは異なります。オンラインのマルチモーダルリクエストにはネットワークアクセス、適切なファームウェア、および対応する構成されたサービスが必要です。

視覚的詳細

ビジョンと音声のデモは、K230を装備したAdvancedまたはUltimateを使用します。リーダー–フォロワーおよび外部カメラシーンには、関連する機器が必要です。別々に表示されている拡張デバイスは、選択された場合のみ含まれます。