质量流程
每个标注在到达您的导出之前都经过 3 层质量保证管道。第 1 层:自动检查
在人工审核员看到结果之前,自动验证捕获结构性错误。| 检查 | 捕获内容 |
|---|---|
| 模式验证 | 缺失的必需属性、无效的标签值、超出范围的坐标 |
| 几何验证 | 零面积的边界框、自相交的多边形、超出点云边界的长方体 |
| 一致性检查 | 重复的对象 ID、跨帧断裂的跟踪链接、标签/属性不匹配 |
| 覆盖检查 | 根据项目本体应该有标签但未标注的区域 |
第 2 层:人工审核
专门的审核员——对您的本体有深入了解的高级标注员——检查每个结果的准确性、完整性和对标注指南的遵守程度。 审核员检查:- 正确的对象分类和属性值
- 紧密的边界框/多边形/长方体贴合
- 跨帧一致的目标跟踪
- 按照您项目特定说明处理的边缘案例
第 3 层:专家审计
已审核结果的随机样本被提升到领域专家进行最终审计。这一层校准审核员准确性并在系统性问题影响您的训练数据之前捕获它们。 审计发现反馈到标注员培训和指南改进中,形成持续改进循环。准确性目标
| 指标 | 目标 |
|---|---|
| 首次通过率 | > 99% 的标注无需返工即被接受 |
| 分类准确性 | > 99% 正确的标签分配 |
| 定位准确性 | 边界框 IoU > 0.90(与真值对比) |
| 跟踪一致性 | > 99% 正确的对象 ID 跨帧连续性 |
| 属性准确性 | > 99% 正确的属性值(遮挡、截断等) |
准确性目标适用于 Avala 的托管标注服务。自助标注的准确性取决于您团队的标注员和 QA 配置。
交付时间
交付时间取决于标注复杂度和数量。下表显示使用 Avala 托管标注服务时常见标注类型的典型时间。| 标注类型 | 典型交付时间 | 备注 |
|---|---|---|
| 2D 边界框(图像) | 1-3 个工作日 | 标准目标检测 |
| 2D 多边形(图像) | 2-5 个工作日 | 实例分割 |
| 语义分割(图像) | 3-7 个工作日 | 像素级分类 |
| 3D 长方体(LiDAR) | 3-7 个工作日 | 点云标注,支持 BEV + 透视视图 |
| 多传感器 3D(LiDAR + 摄像头) | 5-10 个工作日 | 同步传感器标注 |
| 视频目标跟踪 | 3-7 个工作日 | 按序列计,取决于帧数和对象密度 |
| 关键点标注 | 2-5 个工作日 | 姿态估计和地标标注 |
劳动力质量
领域专业化
Avala 的标注员是职业专业人员,不是临时工。每个标注员在特定领域(自动驾驶、机器人、医学影像)专注 12 个月或更长时间。| 属性 | 详情 |
|---|---|
| 专业化周期 | 在单个客户领域 12 个月以上 |
| 培训 | 针对您的本体、边缘案例库和标注指南的项目特定入职培训 |
| 留任率 | > 90% 年度留任率——标注员积累深厚的专业知识 |
| 团队规模 | 所有领域 15,000+ 标注员 |
为什么留任率很重要
高标注员留任率直接影响数据质量:- 专业知识积累 — 标注员随时间学习您的边缘案例、命名约定和领域特定细微差别。新标注员需要数周才能达到相同水平。
- 更少的返工周期 — 经验丰富的标注员在首次提交时产生更少的错误,减少审核开销和交付时间。
- 本体演进 — 当您更新标签分类体系时,经验丰富的标注员能更快适应,因为他们理解变更背后的原因。
通过 API 获取质量指标
项目的质量指标可通过 API 和 SDK 以编程方式获取。项目级指标
任务级质量数据
带质量元数据的导出
创建导出时,每个标注结果包含其 QA 审核状态,允许您在训练管道中按质量级别过滤。质量控制配置
对于自助标注,Avala 提供可配置的 QA 工作流。| 功能 | 描述 |
|---|---|
| 多阶段审核 | 将标注通过一个或多个审核阶段后再接受 |
| 共识工作流 | 要求多个标注员对同一标签达成一致 |
| 接受标准 | 设置任务接受的最低质量阈值 |
| 问题跟踪 | 标记和跟踪标注问题,支持评论和解决状态 |
| 标注者间一致性 | 衡量在相同数据上标注员之间的一致性 |
下一步
质量控制指南
为您的项目配置多阶段审核、共识和接受工作流。
可追溯性
将任何标注追溯到其源数据、标注员和 QA 审核。
为什么选择 Avala
了解 Avala 与 Scale AI、Labelbox 和 Label Studio 的区别。
联系销售
讨论托管标注、定制 SLA 和企业部署。