机器人数据的可视化
机器人传感器数据通常以来自测试运行、现场部署或仿真的录制 bag 或 MCAP 文件形式到达。Avala 的多传感器查看器让您回放这些录制并在提交标注前检查它们。MCAP 回放
从机器人上传 MCAP 录制,在同步查看器中回放摄像头、深度、LiDAR 和 IMU 流。
点云可视化
使用 GPU 加速渲染深度摄像头和 LiDAR 的点云。在 6 种可视化模式之间切换以检查密度、强度和空间结构。
多摄像头视图
并排查看多个摄像头流(RGB、深度、立体),与录制中的相同时间戳同步。
时间轴导航
逐帧步进机器人操作以找到关键时刻——抓取尝试、导航决策、碰撞事件。
数据类型
常见任务
目标检测和抓取
在货架、桌子和传送带上用边界框和实例分割蒙版标注物体,用于抓取规划模型。对于分拣任务,将边界框与关键点标注结合以标记每个物体上的抓取点。场景分割
为地板、墙壁、障碍物、自由空间和其他表面类型创建像素级分割蒙版。分割数据训练导航模型理解机器人可以穿越哪些区域以及哪些被阻挡。关键点标注
标记关节位置、工具尖端、抓取点和姿态地标。关键点骨架可配置——定义点的数量及其连接以匹配模型的预期输入。地形分类
对于户外移动机器人,分类可通行与不可通行的表面。将图像级分类(地形类型、坡度)与界定安全区域和障碍物的分割蒙版结合。活动和事件检测
标注机器人操作的视频录制以标注特定事件:成功抓取、失败抓取、碰撞、恢复。在序列或帧范围上使用分类标签进行时间事件标注。使用的 Avala 功能
示例管道
开始使用
1
上传机器人录制
创建数据集并上传您的 MCAP 文件。查看器自动检测摄像头、深度、LiDAR 和 IMU topic。
2
探索数据
回放录制以了解传感器覆盖范围和数据质量。使用逐帧导航找到关键时刻。
3
定义标注任务
选择与模型输入匹配的标注类型:检测用边界框、姿态估计用关键点、场景理解用分割。
4
设置标签分类体系
定义与机器人任务环境相关的对象类别和属性(例如
cup、plate、obstacle、free_space)。5
标注、审核和导出
团队标注数据,审核员检查质量,您以训练管道期望的格式导出。
车队管理
对于运营机器人车队的团队,Avala 提供车队级录制管理和可观测性:- 设备注册 — 跟踪车队中所有机器人的元数据、固件版本和健康状态。
- 录制浏览器 — 按日期、状态和标签跨设备过滤和排序录制。
- 时间轴事件 — 在录制上标记错误、异常和状态变化,用于车队范围的分析。
- 录制规则 — 自动标记匹配条件(例如高延迟、错误频率)的录制。
- 警报 — 当车队条件变化时将通知路由到 Slack、电子邮件或 Webhook。
下一步
车队仪表板
管理机器人车队的设备、录制和遥测数据。
MCAP 和 ROS
支持的格式以及如何准备机器人录制以供上传。
标注工具
适用于机器人数据的所有标注工具概览。
录制最佳实践
录制在 Avala 中表现良好的机器人数据的技巧。