ロボティクス

ロボティクスチームは、ロボットプラットフォーム間で変化する多様なセンサー構成 — デプスカメラ、ステレオリグ、LiDAR、マルチカメラセットアップ — を扱います。Avala は、記録されたセンサーデータの再生のためのネイティブ MCAP サポートと、マニピュレーション、ナビゲーション、シーン理解モデルが必要とする知覚トレーニングデータのラベリングのためのフルアノテーションツールキットでこの多様性に対応します。

ロボティクスデータのビジュアライゼーション

ロボティクスセンサーデータは、テスト走行、フィールドデプロイメント、シミュレーションからの記録された bag や MCAP ファイルとして到着することが多いです。Avala のマルチセンサービューアは、これらのレコーディングを再生し、アノテーションにコミットする前に検査できます。

MCAP 再生

ロボットからの MCAP レコーディングをアップロードし、同期ビューアでカメラ、デプス、LiDAR、IMU ストリームを再生できます。

ポイントクラウドビジュアライゼーション

GPU アクセラレーションでデプスカメラと LiDAR のポイントクラウドをレンダリングします。6 つの可視化モードを切り替えて密度、インテンシティ、空間構造を検査できます。

マルチカメラビュー

複数のカメラストリーム（RGB、デプス、ステレオ）をレコーディング内の同じタイムスタンプに同期して並べて表示できます。

タイムラインナビゲーション

ロボット操作をフレーム単位でステップして重要な瞬間を見つけられます — 把持試行、ナビゲーション判断、衝突イベント。

チームが現在 Foxglove や Rerun を使ってロボットのレコーディングをレビューしている場合、Avala はビジュアライゼーションステップを置き換え、さらにアノテーション、レビュー、エクスポートを追加します — すべて 1 つのプラットフォームで。

データタイプ

アプリケーション	Avala データタイプ	典型的なアノテーション
屋内ナビゲーション	画像、ポイントクラウド	2D/3D バウンディングボックス、セグメンテーション
ピック&プレイス	画像	バウンディングボックス、キーポイント、セグメンテーションマスク
屋外モバイルロボット	MCAP、ポイントクラウド	3D キュボイド、ポリライン
マニピュレーション	画像、動画	キーポイント、バウンディングボックス
倉庫ロボット	画像、MCAP	バウンディングボックス、セグメンテーション、分類

一般的なタスク

物体検出と把持

把持計画モデルのために、棚、テーブル、コンベアベルト上のオブジェクトをバウンディングボックスとインスタンスセグメンテーションマスクでラベル付けします。ビンピッキングタスクでは、バウンディングボックスとキーポイントアノテーションを組み合わせて各オブジェクトの把持ポイントをマークします。

シーンセグメンテーション

床、壁、障害物、フリースペース、その他の表面タイプのピクセルレベルのセグメンテーションマスクを作成します。セグメンテーションデータは、ロボットがどのエリアを通過でき、どのエリアがブロックされているかを理解するナビゲーションモデルをトレーニングします。

キーポイントアノテーション

関節位置、ツールチップ、把持ポイント、ポーズランドマークをマークします。キーポイントスケルトンは設定可能で、モデルが期待する入力に合わせてポイント数と接続を定義できます。

地形分類

屋外モバイルロボットのために、走行可能 vs 走行不可能な表面を分類します。画像レベルの分類（地形タイプ、傾斜）とセグメンテーションマスクを組み合わせて、安全ゾーンと障害物を区別します。

アクティビティとイベント検出

ロボット操作の動画レコーディングをアノテーションし、特定のイベントをラベル付けします：把持成功、把持失敗、衝突、リカバリー。時間的イベントアノテーションのためにシーケンスまたはフレーム範囲に分類ラベルを使用します。

パイプラインの例

Robot sensor recordings (MCAP from test runs)
  -> Upload to Avala dataset
  -> Review recordings in multi-sensor viewer
  -> Identify frames with relevant scenarios (grasps, navigation events)
  -> Create annotation project (bounding boxes + keypoints)
  -> Annotators label objects and grasp points
  -> QC review with spot-checking and targeted review
  -> Export in COCO or custom format
  -> Train manipulation / navigation model

はじめましょう

ロボットレコーディングのアップロード

データセットを作成し、MCAP ファイルをアップロードします。ビューアはカメラ、デプス、LiDAR、IMU トピックを自動検出します。

データの探索

レコーディングを再生してセンサーカバレッジとデータ品質を理解します。フレーム単位のナビゲーションで重要な瞬間を見つけます。

アノテーションタスクの定義

モデルの入力に合ったアノテーションタイプを選択します：検出にはバウンディングボックス、ポーズ推定にはキーポイント、シーン理解にはセグメンテーション。

ラベルタクソノミーのセットアップ

ロボットのタスク環境に関連するオブジェクトクラスと属性を定義します（例：cup、plate、obstacle、free_space）。

アノテーション、レビュー、エクスポート

チームがデータにラベルを付け、レビュアーが品質をチェックし、トレーニングパイプラインが期待するフォーマットでエクスポートします。

フリート管理

ロボットフリートを運用するチームのために、Avala はフリート規模のレコーディング管理とオブザーバビリティを提供します：

デバイスレジストリ — メタデータ、ファームウェアバージョン、ヘルスステータスを含むフリート内のすべてのロボットを追跡。
レコーディングブラウザ — デバイス間のレコーディングを日付、ステータス、タグでフィルタリング・ソート。
タイムラインイベント — フリート全体の分析のためにレコーディング上のエラー、異常、状態変化をマーク。
レコーディングルール — 条件に一致するレコーディングを自動フラグ（例：高レイテンシ、エラー頻度）。
アラート — フリートの状態が変化した際に Slack、メール、ウェブフックに通知をルーティング。

開始するにはフリートダッシュボードをご覧ください。

次のステップ

フリートダッシュボード

ロボットフリート全体のデバイス、レコーディング、テレメトリを管理できます。

MCAP & ROS

サポートされるフォーマットとロボットレコーディングのアップロード準備方法。

アノテーションツール

ロボティクスデータ用のすべてのアノテーションツールの概要。

レコーディングのベストプラクティス

Avala でうまく動作するロボットデータを記録するためのヒント。

はじめに

プラットフォーム

ユースケース