循环
每个周期从您的机群在真实世界中的行为开始,到一个可用于训练的发布版本结束。1
观察
您的机器人运行。运行记录、干预和失败以机群录制和事件的形式流入 Avala。参见失败数据接入。
2
诊断
Avala 对运行记录进行分段,把失败聚类为失败分类体系,并撰写差距报告。
3
评估
Avala 在留出的真实世界评估场景上为您当前的模型版本打分。参见评估。
5
训练
您在发布版本上训练模型。训练在您这一侧进行。
6
验证
Avala 在同一组留出场景上重新评估新的模型版本,并按失败模式报告变化。
8
观察
新模型回到您的机群。它的运行记录开启下一个周期。
分工
模型学什么、何时上线,由您决定。Avala 为每个决定提供证据和数据。
合作如何进行
每次合作都遵循相同的五个步骤。每一步都会产出一个您可以查看的成果物。- 失败。 您发送模型失败或需要帮助的运行记录。Avala 以机群录制和事件的形式读取它们。
- 差距报告。 Avala 按失败模式对失败分组,并列出缺失或稀薄的覆盖单元。
- 简报。 Avala 把差距报告转化为采集简报。简报列出目标覆盖单元、集中度上限、验收标准和评估组。由您批准。
- 批次。 Avala 采集并审核该批次。每次交付都附带覆盖报告和每个序列的元数据。
- 重新评估。 Avala 在留出场景上为您的下一个模型版本打分。能力报告展示变化内容,并设定下一次分配。