メインコンテンツへスキップ
自動運転車チームは、業界で最も大規模かつ複雑なセンサーデータセットを生成します。Avala は、生のマルチセンサーレコーディングの可視化、知覚トレーニングデータのアノテーション、品質管理を、別々のビジュアライゼーションとラベリングツールを切り替えずに行える単一プラットフォームを提供します。

ビジュアライゼーションファースト

アノテーションの前に、AV チームはデータを探索し理解する必要があります。Avala のマルチセンサービューアは、AV センサースタック全体を扱います:

MCAP 再生

車両フリートからの MCAP レコーディングをアップロードし、8 種類のパネルによる同期マルチパネルビューアですべてのセンサーストリームを再生できます。

サラウンドカメラ + LiDAR

クロスセンサー検証のための自動キャリブレーション対応プロジェクション付きで、すべてのサラウンドカメラと LiDAR ポイントクラウドを並べて表示できます。

GPU アクセラレーション 3D

WebGPU アクセラレーションと 6 つの可視化モード(ニュートラル、インテンシティ、レインボー、ラベル、パノプティック、画像プロジェクション)で LiDAR ポイントクラウドをレンダリングできます。

タイムラインナビゲーション

走行ログをスクラブし、フレーム単位でステップし、特定のタイムスタンプにジャンプできます。すべてのパネルは異なるセンサーレートでも同期を維持します。
これにより、エンジニアは Avala をデータレビューとデバッグに使用でき(Foxglove や Rerun の代替として)、アノテーションチームは同じインターフェースで同じデータにラベルを付けることができます。

データタイプ

センサーAvala データタイプ典型的なアノテーション
フロント/サラウンドカメラ画像、動画2D バウンディングボックス、車線ポリライン、セグメンテーションマスク
LiDARポイントクラウド3D キュボイド(方位、寸法、トラッキング ID 付き)
レーダーMCAP(ポイントクラウドパネル経由)3D キュボイド、検出マーカー
マルチセンサーフュージョンMCAP3D→2D プロジェクション付き同期カメラ + LiDAR アノテーション

一般的なタスク

3D 物体検出

LiDAR ポイントクラウドで車両、歩行者、自転車、静的オブジェクトを 3D キュボイドでラベル付けします。3D アノテーションエディターは、正確なキュボイド配置のためにバードアイビュー、パースペクティブビュー、サイドビューを提供します。キュボイドには完全な位置(x, y, z)、寸法(length, width, height)、方位(yaw)パラメータが含まれます。

マルチカメラプロジェクション

LiDAR ビューで 3D キュボイドをアノテーションし、視覚的検証のためにサラウンドカメラ画像に自動投影します。ビューアはピンホールモデルとダブルスフィアカメラモデルの両方をサポートしているため、標準レンズとフィッシュアイレンズの両方でプロジェクションが機能します。
マルチカメラプロジェクションは、3D アノテーション品質を検証する最も効果的な方法の一つです。トップダウンビューでは見つけにくい深度や方位のエラーが、キュボイドをカメラ画像にオーバーレイすると明らかになります。

車線と道路境界のアノテーション

ポリラインツールを使用して、カメラビューで車線標示、縁石、道路端をトレースします。ポリラインは頂点レベルの編集が可能な連結セグメントをサポートしており、カーブした車線や複雑な交差点に適しています。

時間的オブジェクトトラッキング

動き予測や軌跡予測モデルのために、フレーム間で一貫した ID でオブジェクトを追跡します。オブジェクト ID はシーケンスタイムライン全体で持続し、ビューアのフレーム単位のナビゲーションにより、トラッキングの連続性を簡単に検証できます。

シーン分類

走行条件をシーンレベルで分類します — 天候(晴れ、雨、霧)、時間帯(昼間、薄暮、夜間)、道路タイプ(高速道路、市街地、郊外)、交通密度。分類ラベルはフレーム全体に適用され、オブジェクトレベルのアノテーションと組み合わせることができます。

使用する Avala の機能

機能目的詳細
MCAP / ROS インテグレーション車両フリートからのマルチセンサーレコーディングの取り込みMCAP & ROS
マルチセンサービューアカメラ、LiDAR、レーダー、IMU の同期再生マルチセンサービューア
GPU アクセラレーションポイントクラウド6 つの可視化モードで LiDAR データを検査ビジュアライゼーション概要
3D キュボイドアノテーションバードアイ、パースペクティブ、サイドビューで 3D オブジェクトをラベル付け3D キュボイドツール
オブジェクトトラッキングフレームシーケンス間の一貫した ID動画アノテーション
ポリラインアノテーション車線、縁石、道路境界のトレースポリラインツール
マルチカメラプロジェクション3D アノテーションのカメラ画像への投影マルチカメラセットアップ
バッチ自動ラベリングモデル予測でアノテーションをブートストラップバッチ自動ラベリング
品質管理マルチステージレビューワークフロー品質管理
クラウドストレージ大規模走行データセット用 S3 バケットの接続クラウドストレージ

パイプラインの例

Raw sensor data (MCAP recordings from vehicle fleet)
  -> Upload to Avala via cloud storage integration (S3)
  -> Explore recordings in multi-sensor viewer
  -> Verify calibration with LiDAR-to-camera projection
  -> Create annotation project with 3D cuboid + tracking task type
  -> Annotators label 3D cuboids with tracking IDs
  -> Auto-label next batch with model predictions (batch auto-labeling)
  -> QC review with multi-stage workflow
  -> Export in KITTI, COCO, or custom format
  -> Train perception model
  -> Use model predictions for next round of auto-labeling

はじめましょう

1

走行データをアップロード

mcap データタイプのデータセットを作成し、フリートからの MCAP レコーディングをアップロードします。大規模データセットには、クラウドストレージインテグレーションで S3 バケットを直接接続してください。
2

ビューアで探索

マルチセンサービューアでレコーディングを開きます。カメラ、LiDAR、トランスフォームデータが存在することを確認します。LiDAR からカメラへのプロジェクションを有効にしてキャリブレーションを確認します。
3

アノテーションプロジェクトのセットアップ

3D キュボイドアノテーション付きのプロジェクトを作成し、ラベルタクソノミー(vehicle、pedestrian、cyclist など)を定義し、品質管理設定を構成します。
4

アノテーションとレビュー

チームがトラッキング ID 付きの 3D キュボイドをアノテーションします。レビュアーはマルチカメラプロジェクションを使用してアノテーションを検証し、深度や方位のエラーをキャッチします。
5

エクスポートとトレーニング

お好みのフォーマットでラベル付きデータをエクスポートします。Python または TypeScript SDK を使用してエクスポートをトレーニングパイプラインに統合します。

次のステップ

MCAP & ROS

マルチセンサーレコーディングの準備とアップロードの詳細ガイド。

3D キュボイドツール

ポイントクラウドエディターでの 3D キュボイドの配置、調整、トラッキング方法。

レコーディングのベストプラクティス

適切に可視化・アノテーションできるデータを記録するためのヒント。

品質管理

本番アノテーション用のマルチステージレビューワークフローのセットアップ。