品質プロセス
すべてのアノテーションは、エクスポートに届く前に 3 層の品質保証パイプラインを通過します。第 1 層:自動チェック
人間のレビュアーが結果を確認する前に、自動バリデーションが構造的なエラーをキャッチします。| チェック | キャッチする内容 |
|---|---|
| スキーマバリデーション | 必須属性の欠落、無効なラベル値、範囲外の座標 |
| 幾何学的バリデーション | 面積ゼロのバウンディングボックス、自己交差するポリゴン、ポイントクラウド境界外のキュボイド |
| 一貫性チェック | 重複オブジェクト ID、フレーム間のトラッキングリンクの切断、ラベル/属性の不一致 |
| カバレッジチェック | プロジェクトのオントロジーに基づいてラベルが必要なアノテーションされていない領域 |
第 2 層:人間のレビュー
専任のレビュアー — お客様のオントロジーに深い知識を持つシニアアノテーター — が、各結果の精度、完全性、ラベリングガイドラインへの準拠を検査します。 レビュアーが確認する項目:- 正しいオブジェクト分類と属性値
- 厳密なバウンディングボックス / ポリゴン / キュボイドのフィット
- フレーム間の一貫したオブジェクトトラッキング
- プロジェクト固有の指示に従ったエッジケースの処理
第 3 層:エキスパート監査
レビューされた結果のランダムサンプルがドメインエキスパートに最終監査のためにエスカレーションされます。この層はレビュアーの精度を校正し、トレーニングデータに影響を与える前に体系的な問題をキャッチします。 監査結果はアノテーターのトレーニングとガイドラインの改善にフィードバックされ、継続的な改善ループを形成します。精度目標
| メトリクス | 目標 |
|---|---|
| 初回通過率 | アノテーションの 99% 以上が再作業なしで承認 |
| 分類精度 | 99% 以上の正確なラベル割り当て |
| 位置精度 | バウンディングボックス IoU > 0.90(グラウンドトゥルースとの比較) |
| トラッキング一貫性 | 99% 以上の正確なオブジェクト ID のフレーム間連続性 |
| 属性精度 | 99% 以上の正確な属性値(オクルージョン、切断など) |
精度目標は Avala のマネージドラベリングサービスに適用されます。セルフサービスのアノテーション精度は、チームのアノテーターと QA 設定に依存します。
ターンアラウンドタイム
ターンアラウンドはアノテーションの複雑さとボリュームに依存します。以下の表は、Avala のマネージドラベリングサービスを使用した場合の一般的なアノテーションタイプの典型的なタイムラインです。| アノテーションタイプ | 典型的なターンアラウンド | 備考 |
|---|---|---|
| 2D バウンディングボックス(画像) | 1〜3 営業日 | 標準的な物体検出 |
| 2D ポリゴン(画像) | 2〜5 営業日 | インスタンスセグメンテーション |
| セマンティックセグメンテーション(画像) | 3〜7 営業日 | ピクセルレベルの分類 |
| 3D キュボイド(LiDAR) | 3〜7 営業日 | BEV + パースペクティブビューによるポイントクラウドアノテーション |
| マルチセンサー 3D(LiDAR + カメラ) | 5〜10 営業日 | 同期センサーアノテーション |
| 動画オブジェクトトラッキング | 3〜7 営業日 | シーケンスごと、フレーム数とオブジェクト密度に依存 |
| キーポイントアノテーション | 2〜5 営業日 | ポーズ推定とランドマークラベリング |
ワークフォース品質
ドメイン特化
Avala のアノテーターはキャリアプロフェッショナルであり、ギグワーカーではありません。各アノテーターは 12 ヶ月以上にわたって特定のドメイン(自動運転、ロボティクス、医療画像)に特化しています。| 属性 | 詳細 |
|---|---|
| 特化期間 | 単一の顧客ドメインで 12 ヶ月以上 |
| トレーニング | オントロジー、エッジケースライブラリ、ラベリングガイドラインを使用したプロジェクト固有のオンボーディング |
| 定着率 | 年間 90% 以上の定着率 — アノテーターが深い組織的知識を構築 |
| チーム規模 | すべてのドメインで 15,000 人以上のアノテーター |
定着率が重要な理由
高いアノテーター定着率はデータ品質に直接影響します:- 組織的知識 — アノテーターは時間をかけてエッジケース、命名規則、ドメイン固有のニュアンスを学びます。新しいアノテーターが同じレベルに達するには数週間かかります。
- 再作業サイクルの削減 — 経験豊富なアノテーターは初回パスでのエラーが少なく、レビューのオーバーヘッドとターンアラウンドタイムが短縮されます。
- オントロジーの進化 — ラベルタクソノミーを更新する際、経験豊富なアノテーターは変更の理由を理解しているため、より早く適応できます。
API による品質メトリクス
プロジェクトの品質メトリクスは、API と SDK を通じてプログラムで利用可能です。プロジェクトレベルのメトリクス
タスクレベルの品質データ
品質メタデータ付きエクスポート
エクスポートを作成する際、各アノテーション結果にはその QA レビューステータスが含まれるため、トレーニングパイプラインで品質レベルによるフィルタリングが可能です。品質管理の設定
セルフサービスアノテーション用に、Avala は設定可能な QA ワークフローを提供します。| 機能 | 説明 |
|---|---|
| マルチステージレビュー | 承認前にアノテーションを 1 つ以上のレビューステージに通す |
| コンセンサスワークフロー | 複数のアノテーターが同じラベルに同意することを要求 |
| 承認基準 | タスク承認のための最低品質しきい値を設定 |
| 課題トラッキング | コメントと解決ステータス付きでアノテーション課題をフラグ・追跡 |
| アノテーター間一致度 | 同じデータに対するアノテーター間の一貫性を測定 |
次のステップ
品質管理ガイド
プロジェクト用のマルチステージレビュー、コンセンサス、承認ワークフローを設定できます。
トレーサビリティ
アノテーションからソースデータ、アノテーター、QA レビューまで遡れます。
なぜ Avala なのか
Avala が Scale AI、Labelbox、Label Studio と比べてどう違うかを確認できます。
営業に相談
マネージドラベリング、カスタム SLA、エンタープライズデプロイメントについてご相談ください。