本页涵盖 Avala 平台的构建模块:可视化、标注、数据集、项目、任务、组织、标签、质量控制和序列。理解这些概念将帮助您为 Physical AI 设计有效的数据工作流。
可视化
Avala 直接在浏览器中为传感器数据提供 GPU 加速可视化。这些概念适用于所有可视化功能。
查看器
Avala 包含针对不同数据类型的专用查看器。多传感器查看器处理 MCAP 和 ROS 录制,在所有传感器流中实现同步回放。3D 点云查看器使用六种可视化模式渲染 LiDAR 数据。Gaussian Splat 查看器使用 WebGPU 渲染逼真的 3D 场景重建。
多传感器查看器将数据组织为面板——用于不同数据流的独立可视化窗口。Avala 支持八种面板类型:
| 面板类型 | 描述 |
|---|
| 图像 | 摄像头帧和图像流 |
| 3D / 点云 | LiDAR 扫描和 3D 几何体 |
| 图表 | 时间序列数据和数值信号 |
| 原始消息 | 解码的消息载荷 |
| 日志 | 文本日志流 |
| 地图 | 地理位置和轨迹 |
| 仪表盘 | 实时数值读数 |
| 状态转换 | 随时间的离散状态变化 |
Topic 根据其模式自动分配到面板。
多窗口布局将面板排列在可配置的网格中。布局组合器根据数据中的 topic 自动构建优化的排列,您也可以通过拖动、调整大小和重新排列面板来手动自定义布局。
时间轴
查看器中的所有面板共享一个同步时间轴。逐帧导航、滚动到特定时间戳或以可配置速度回放录制。时间轴保持所有传感器流对齐,无论其各自的采集频率如何。
传感器流
MCAP 录制包含多个传感器流(topic)。每个 topic 携带特定的数据类型——图像、点云、IMU 读数、GPS 坐标——以其自身的频率运行。Avala 通过时间戳同步所有流,让您在任何时刻都能看到完整的传感器画面。
可视化模式
点云数据可以使用六种模式着色:
| 模式 | 描述 |
|---|
| 中性 | 单一均匀颜色 |
| 强度 | 按返回强度着色 |
| 彩虹 | 时间或顺序着色 |
| 标签 | 按语义类别着色 |
| 全景 | 按实例身份着色 |
| 图像投影 | 使用投影的摄像头图像纹理化 |
可视化模式适用于 3D 点云查看器,可用于独立的 LiDAR 数据集和 MCAP 录制中的点云流。
数据集
数据集是数据项(图像、视频帧、点云或多传感器录制)的集合,作为可视化和标注的原始材料。
数据集属性
| 属性 | 描述 |
|---|
name | 人类可读的名称 |
slug | URL 友好的标识符(在所有者命名空间内唯一) |
data_type | 数据类型:image、video、lidar、mcap、image_3d、splat |
visibility | public 或 private |
owner | 拥有数据集的用户或组织 |
item_count | 数据集中的数据项总数 |
数据项
每个数据集包含数据项——单独的数据样本:
- 图像数据集 — 每个项是一个单独的图像文件。
- 视频数据集 — 项是视频帧,分组为序列。
- LiDAR 数据集 — 项是单独的点云扫描。
- MCAP 数据集 — 项包含同步的多传感器帧(摄像头 + LiDAR + IMU)。
序列将相关项分组,用于时间或多帧数据:
- 来自同一录制的视频帧
- 来自连续驾驶会话的 LiDAR 扫描
- 在连续时间戳处的同步多摄像头捕获
序列支持逐帧导航、跨帧目标跟踪和标注中的时间一致性。
序列状态工作流:
uploading → processing → ready → failed
项目通过将一个或多个数据集连接到特定的任务类型、标签分类体系和质量控制配置来定义标注工作流。
项目组件
Project
├── Datasets(数据源)
├── Task Type(标注方法)
├── Label Config(对象类别、属性)
├── Quality Control(审核阶段、共识)
└── Tasks(单独的工作单元)
任务类型
项目配置以下任务类型之一:
| 任务类型 | API 值 | 描述 |
|---|
| 图像标注 | image-annotation | 单个图像上的 2D 标注(框、多边形、分割、关键点) |
| 视频标注 | video-annotation | 逐帧标注,支持跨帧目标跟踪 |
| 点云标注 | point-cloud-annotation | LiDAR 扫描上的 3D 标注(长方体、分割) |
| 点云对象 | point-cloud-objects | 3D 点云序列中的对象级标注 |
项目状态
| 状态 | 描述 |
|---|
pending-approval | 等待批准启动 |
active | 接受标注工作 |
paused | 暂时停止 |
canceled | 永久停止 |
archived | 完成并归档 |
completed | 所有标注任务已完成 |
任务是项目中的单独工作单元。每个任务代表由单个标注员对一个或多个数据项进行的标注工作。
任务生命周期
任务经历以下状态:
pending → assigned → in_progress → submitted → under_review → approved
→ rejected → rework
| 状态 | 描述 |
|---|
pending | 已创建但尚未分配给标注员 |
assigned | 已分配给标注员,等待开始 |
in_progress | 标注员正在进行工作 |
submitted | 标注员已提交工作待审核 |
under_review | 审核员正在检查已提交的标注 |
approved | 标注已通过——任务完成 |
rejected | 标注未通过审核 |
rework | 退回给标注员进行修改 |
当标注员完成任务时,他们提交一个结果,包含:
- 标注数据(边界框、多边形、长方体、分割蒙版等)
- 元数据(花费时间、工具版本)
结果在最终接受前经过质量控制审核。
组织将用户和资源分组,用于基于团队的协作。
组织结构
Organization
├── Members(具有角色的用户)
├── Datasets(共享数据)
├── Projects(共享工作流)
└── Settings(计费、API 密钥、权限)
成员角色
| 角色 | 能力 |
|---|
owner | 完全控制——计费、设置,可删除组织 |
admin | 管理成员,创建和配置资源 |
member | 访问共享资源,执行标注工作 |
标签和分类体系
标签配置
项目定义一个标签配置——一组预定义的对象类别,标注员将其分配给标注:
{
"labels": [
{ "name": "car", "color": "#FF0000" },
{ "name": "pedestrian", "color": "#00FF00" },
{ "name": "cyclist", "color": "#0000FF" }
]
}
对于更复杂的分类体系,项目可以包含定义以下内容的分类配置:
- 属性 — 如颜色、遮挡程度或截断等属性,标注员分配给每个对象。
- 层次类别 — 嵌套的类别结构(例如,车辆 > 轿车 > 轿车)。
- 条件属性 — 仅针对特定对象类别显示的属性。
标注类型
Avala 支持以下标注类型,每种都针对特定的标注任务而设计:
| 类型 | 描述 | 数据类型 |
|---|
| 边界框 | 对象周围的 2D 矩形区域 | 图像、视频 |
| 多边形 | 追踪对象边界的任意封闭形状 | 图像、视频 |
| 3D 长方体 | 具有位置、尺寸和旋转的 3D 边界框 | 点云、MCAP |
| 分割 | 像素级分类蒙版 | 图像、视频 |
| 折线 | 用于车道、边缘和边界的开放路径 | 图像、视频 |
| 关键点 | 用于姿态估计和结构的地标点 | 图像、视频 |
| 分类 | 场景级或对象级类别标签 | 所有数据类型 |
质量控制
Avala 提供内置的质量保证工具,确保标注的准确性和一致性。
标注在接受前经过审核阶段:
- 标注员提交结果。
- 审核员检查标注。
- 审核员批准正确的工作或拒绝需要修改的工作。
- 被拒绝的任务退回标注员进行修改。
标注问题让审核员标记单个标注的具体问题:
- 将问题固定到场景中的特定对象或区域。
- 将问题分配给团队成员以解决。
- 跟踪问题状态(开放、已解决)。
使用内置指标监控标注质量:
- 通过率 — 首次提交即通过的任务百分比。
- 标注时间 — 每个任务的平均花费时间。
- 标注者间一致性 — 在相同数据上标注者之间的一致性。
- 问题频率 — 每个任务的标记问题率。
共识工作流将相同数据独立分配给多个标注员,然后比较结果以衡量一致性并识别模糊案例。
质量指标有助于识别培训需求并在团队中维持一致的标注标准。
序列是表示时间或空间进展的数据项的有序集合——视频帧、LiDAR 扫描或多传感器录制。
| 属性 | 描述 |
|---|
name | 序列标识符 |
frame_count | 序列中的帧数 |
status | 序列的处理状态 |
data_type | 从父数据集继承 |
状态工作流
序列在数据上传和处理时遵循以下状态进展:
uploading → processing → ready
→ failed
- uploading — 帧正在上传到平台。
- processing — 帧正在验证和准备标注。
- ready — 所有帧已处理并可用于标注。
- failed — 处理遇到错误(检查单个帧状态)。
车队管理
Avala 的车队管理功能让您能够大规模管理设备、录制和遥测数据。
设备代表您车队中的物理机器人、传感器装置或计算单元。每个设备有一个唯一的 dev_ 前缀标识符,并跟踪类型、固件版本和状态(online、offline、maintenance)等元数据。
设备产生录制——运营期间捕获的 MCAP 文件。录制自动与其源设备关联,可按设备、日期、状态和标签过滤。
事件是录制上的时间戳标记:错误、状态变化、异常和自定义标注。事件出现在 MCAP 查看器时间轴上,可在整个车队中查询。
录制规则
录制规则自动评估录制是否满足条件并在匹配时执行操作(标记、标记待审核、通知)。规则可以基于阈值、模式、频率或数据缺失触发。
警报在车队条件变化时通知您的团队。将警报路由到 Slack、电子邮件、Webhook 或应用内通知。警报遵循生命周期:open → acknowledged → resolved。
下一步
数据类型
每种数据类型支持的格式、可视化能力和标注工具。
标注
了解用于可视化、标注和项目管理的 Web 界面。
架构
了解 Avala 平台组件如何协同工作,包括可视化引擎。
API 认证
设置 API 密钥并开始发送经过认证的请求。
车队仪表板
管理您机器人车队的设备、录制和遥测数据。