メインコンテンツへスキップ
Avala のマネージドラベリングサービスは、構造化された QA プロセス、キャリアドメインエキスパート、測定可能な品質メトリクスに裏打ちされた本番品質のアノテーションを提供します。このページでは、Avala のワークフォースをアノテーションに使用する際に期待できることを文書化しています。

品質プロセス

すべてのアノテーションは、エクスポートに届く前に 3 層の品質保証パイプラインを通過します。

第 1 層:自動チェック

人間のレビュアーが結果を確認する前に、自動バリデーションが構造的なエラーをキャッチします。
チェックキャッチする内容
スキーマバリデーション必須属性の欠落、無効なラベル値、範囲外の座標
幾何学的バリデーション面積ゼロのバウンディングボックス、自己交差するポリゴン、ポイントクラウド境界外のキュボイド
一貫性チェック重複オブジェクト ID、フレーム間のトラッキングリンクの切断、ラベル/属性の不一致
カバレッジチェックプロジェクトのオントロジーに基づいてラベルが必要なアノテーションされていない領域

第 2 層:人間のレビュー

専任のレビュアー — お客様のオントロジーに深い知識を持つシニアアノテーター — が、各結果の精度、完全性、ラベリングガイドラインへの準拠を検査します。 レビュアーが確認する項目:
  • 正しいオブジェクト分類と属性値
  • 厳密なバウンディングボックス / ポリゴン / キュボイドのフィット
  • フレーム間の一貫したオブジェクトトラッキング
  • プロジェクト固有の指示に従ったエッジケースの処理

第 3 層:エキスパート監査

レビューされた結果のランダムサンプルがドメインエキスパートに最終監査のためにエスカレーションされます。この層はレビュアーの精度を校正し、トレーニングデータに影響を与える前に体系的な問題をキャッチします。 監査結果はアノテーターのトレーニングとガイドラインの改善にフィードバックされ、継続的な改善ループを形成します。

精度目標

メトリクス目標
初回通過率アノテーションの 99% 以上が再作業なしで承認
分類精度99% 以上の正確なラベル割り当て
位置精度バウンディングボックス IoU > 0.90(グラウンドトゥルースとの比較)
トラッキング一貫性99% 以上の正確なオブジェクト ID のフレーム間連続性
属性精度99% 以上の正確な属性値(オクルージョン、切断など)
精度目標は Avala のマネージドラベリングサービスに適用されます。セルフサービスのアノテーション精度は、チームのアノテーターと QA 設定に依存します。

ターンアラウンドタイム

ターンアラウンドはアノテーションの複雑さとボリュームに依存します。以下の表は、Avala のマネージドラベリングサービスを使用した場合の一般的なアノテーションタイプの典型的なタイムラインです。
アノテーションタイプ典型的なターンアラウンド備考
2D バウンディングボックス(画像)1〜3 営業日標準的な物体検出
2D ポリゴン(画像)2〜5 営業日インスタンスセグメンテーション
セマンティックセグメンテーション(画像)3〜7 営業日ピクセルレベルの分類
3D キュボイド(LiDAR)3〜7 営業日BEV + パースペクティブビューによるポイントクラウドアノテーション
マルチセンサー 3D(LiDAR + カメラ)5〜10 営業日同期センサーアノテーション
動画オブジェクトトラッキング3〜7 営業日シーケンスごと、フレーム数とオブジェクト密度に依存
キーポイントアノテーション2〜5 営業日ポーズ推定とランドマークラベリング
ターンアラウンドは、データがアップロードされプロジェクトのオントロジーが確定した時点から開始されます。パイロットデータセット(1,000 アイテム未満)は多くの場合、より早く完了できます。
プロジェクトに固有の SLA が必要ですか?保証されたターンアラウンドコミットメントについては sales@avala.ai にお問い合わせください。

ワークフォース品質

ドメイン特化

Avala のアノテーターはキャリアプロフェッショナルであり、ギグワーカーではありません。各アノテーターは 12 ヶ月以上にわたって特定のドメイン(自動運転、ロボティクス、医療画像)に特化しています。
属性詳細
特化期間単一の顧客ドメインで 12 ヶ月以上
トレーニングオントロジー、エッジケースライブラリ、ラベリングガイドラインを使用したプロジェクト固有のオンボーディング
定着率年間 90% 以上の定着率 — アノテーターが深い組織的知識を構築
チーム規模すべてのドメインで 15,000 人以上のアノテーター

定着率が重要な理由

高いアノテーター定着率はデータ品質に直接影響します:
  • 組織的知識 — アノテーターは時間をかけてエッジケース、命名規則、ドメイン固有のニュアンスを学びます。新しいアノテーターが同じレベルに達するには数週間かかります。
  • 再作業サイクルの削減 — 経験豊富なアノテーターは初回パスでのエラーが少なく、レビューのオーバーヘッドとターンアラウンドタイムが短縮されます。
  • オントロジーの進化 — ラベルタクソノミーを更新する際、経験豊富なアノテーターは変更の理由を理解しているため、より早く適応できます。

API による品質メトリクス

プロジェクトの品質メトリクスは、API と SDK を通じてプログラムで利用可能です。

プロジェクトレベルのメトリクス

from avala import Client

client = Client()

# Get project details including quality metrics
projects = client.projects.list()

for project in projects:
    print(f"Project: {project.name}")
    print(f"  Tasks completed: {project.task_count}")

タスクレベルの品質データ

# List tasks with their review status
tasks = client.tasks.list(project="project_uid")

for task in tasks:
    print(f"Task: {task.uid}")
    print(f"  Status: {task.status}")

品質メタデータ付きエクスポート

エクスポートを作成する際、各アノテーション結果にはその QA レビューステータスが含まれるため、トレーニングパイプラインで品質レベルによるフィルタリングが可能です。
export = client.exports.create(
    name="Training data - QA passed only",
    format="avala-json-external",
    projects=["project_uid"]
)

品質管理の設定

セルフサービスアノテーション用に、Avala は設定可能な QA ワークフローを提供します。
機能説明
マルチステージレビュー承認前にアノテーションを 1 つ以上のレビューステージに通す
コンセンサスワークフロー複数のアノテーターが同じラベルに同意することを要求
承認基準タスク承認のための最低品質しきい値を設定
課題トラッキングコメントと解決ステータス付きでアノテーション課題をフラグ・追跡
アノテーター間一致度同じデータに対するアノテーター間の一貫性を測定
設定手順は品質管理をご覧ください。

次のステップ

品質管理ガイド

プロジェクト用のマルチステージレビュー、コンセンサス、承認ワークフローを設定できます。

トレーサビリティ

アノテーションからソースデータ、アノテーター、QA レビューまで遡れます。

なぜ Avala なのか

Avala が Scale AI、Labelbox、Label Studio と比べてどう違うかを確認できます。

営業に相談

マネージドラベリング、カスタム SLA、エンタープライズデプロイメントについてご相談ください。