质量流程
每个标注在到达您的导出之前都经过 3 层质量保证管道。第 1 层:自动检查
在人工审核员看到结果之前,自动验证捕获结构性错误。第 2 层:人工审核
专门的审核员——对您的本体有深入了解的高级标注员——检查每个结果的准确性、完整性和对标注指南的遵守程度。 审核员检查:- 正确的对象分类和属性值
- 紧密的边界框/多边形/长方体贴合
- 跨帧一致的目标跟踪
- 按照您项目特定说明处理的边缘案例
第 3 层:专家审计
已审核结果的随机样本被提升到领域专家进行最终审计。这一层校准审核员准确性并在系统性问题影响您的训练数据之前捕获它们。 审计发现反馈到标注员培训和指南改进中,形成持续改进循环。准确性目标
准确性目标适用于 Avala 的托管标注服务。自助标注的准确性取决于您团队的标注员和 QA 配置。
交付时间
交付时间取决于标注复杂度和数量。下表显示使用 Avala 托管标注服务时常见标注类型的典型时间。
交付时间从数据上传和项目本体确定后开始。试点数据集(< 1,000 项)通常可以更快完成。
劳动力质量
领域专业化
Avala 的标注员是职业专业人员,不是临时工。每个标注员在特定领域(自动驾驶、机器人、医学影像)专注 12 个月或更长时间。为什么留任率很重要
高标注员留任率直接影响数据质量:- 专业知识积累 — 标注员随时间学习您的边缘案例、命名约定和领域特定细微差别。新标注员需要数周才能达到相同水平。
- 更少的返工周期 — 经验丰富的标注员在首次提交时产生更少的错误,减少审核开销和交付时间。
- 本体演进 — 当您更新标签分类体系时,经验丰富的标注员能更快适应,因为他们理解变更背后的原因。
通过 API 获取质量指标
项目的质量指标可通过 API 和 SDK 以编程方式获取。项目级指标
任务级质量数据
带质量元数据的导出
创建导出时,每个标注结果包含其 QA 审核状态,允许您在训练管道中按质量级别过滤。质量控制配置
对于自助标注,Avala 提供可配置的 QA 工作流。
设置说明请参阅质量控制。
下一步
质量控制指南
为您的项目配置多阶段审核、共识和接受工作流。
可追溯性
将任何标注追溯到其源数据、标注员和 QA 审核。
为什么选择 Avala
了解 Avala 与 Scale AI、Labelbox 和 Label Studio 的区别。
联系销售
讨论托管标注、定制 SLA 和企业部署。