> ## Documentation Index
> Fetch the complete documentation index at: https://avala.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 机器人

> 可视化传感器录制并标注操作、导航和场景理解数据

机器人团队使用多样化的传感器配置——深度摄像头、立体装置、LiDAR 和多摄像头设置，这些在不同机器人平台之间会有变化。Avala 通过原生 MCAP 支持回放录制的传感器数据，以及完整的标注工具包来标注操作、导航和场景理解模型所需的感知训练数据。

## 机器人数据的可视化

机器人传感器数据通常以来自测试运行、现场部署或仿真的录制 bag 或 MCAP 文件形式到达。Avala 的多传感器查看器让您回放这些录制并在提交标注前检查它们。

<CardGroup cols={2}>
  <Card title="MCAP 回放" icon="play">
    从机器人上传 MCAP 录制，在同步查看器中回放摄像头、深度、LiDAR 和 IMU 流。
  </Card>

  <Card title="点云可视化" icon="cube">
    使用 GPU 加速渲染深度摄像头和 LiDAR 的点云。在 6 种可视化模式之间切换以检查密度、强度和空间结构。
  </Card>

  <Card title="多摄像头视图" icon="camera-cctv">
    并排查看多个摄像头流（RGB、深度、立体），与录制中的相同时间戳同步。
  </Card>

  <Card title="时间轴导航" icon="clock">
    逐帧步进机器人操作以找到关键时刻——抓取尝试、导航决策、碰撞事件。
  </Card>
</CardGroup>

<Tip>
  如果您的团队当前使用 Foxglove 或 Rerun 审查机器人录制，Avala 替代可视化步骤并添加标注、审核和导出——全部在一个平台上。
</Tip>

## 数据类型

| 应用      | Avala 数据类型 | 典型标注         |
| ------- | ---------- | ------------ |
| 室内导航    | 图像、点云      | 2D/3D 边界框、分割 |
| 取放操作    | 图像         | 边界框、关键点、分割蒙版 |
| 户外移动机器人 | MCAP、点云    | 3D 长方体、折线    |
| 操作      | 图像、视频      | 关键点、边界框      |
| 仓库机器人   | 图像、MCAP    | 边界框、分割、分类    |

## 常见任务

### 目标检测和抓取

在货架、桌子和传送带上用边界框和实例分割蒙版标注物体，用于抓取规划模型。对于分拣任务，将边界框与关键点标注结合以标记每个物体上的抓取点。

### 场景分割

为地板、墙壁、障碍物、自由空间和其他表面类型创建像素级分割蒙版。分割数据训练导航模型理解机器人可以穿越哪些区域以及哪些被阻挡。

### 关键点标注

标记关节位置、工具尖端、抓取点和姿态地标。关键点骨架可配置——定义点的数量及其连接以匹配模型的预期输入。

### 地形分类

对于户外移动机器人，分类可通行与不可通行的表面。将图像级分类（地形类型、坡度）与界定安全区域和障碍物的分割蒙版结合。

### 活动和事件检测

标注机器人操作的视频录制以标注特定事件：成功抓取、失败抓取、碰撞、恢复。在序列或帧范围上使用分类标签进行时间事件标注。

## 使用的 Avala 功能

| 功能            | 用途                          | 了解更多                                           |
| ------------- | --------------------------- | ---------------------------------------------- |
| MCAP / ROS 集成 | 直接摄取机器人传感器录制                | [MCAP 和 ROS](/docs/visualization/mcap-ros/overview) |
| 多传感器查看器       | 机器人传感器流的同步回放                | [多传感器查看器](/docs/visualization/multi-sensor-viewer)  |
| 点云可视化         | 使用 6 种渲染模式检查深度摄像头和 LiDAR 数据 | [可视化概览](/docs/zh/visualization/overview)            |
| 边界框标注         | 为检测模型标注对象                   | [边界框工具](/docs/annotation/guides/tools/bounding-box) |
| 关键点标注         | 标记关节位置和抓取点                  | [关键点工具](/docs/annotation/guides/tools/keypoint)     |
| 分割标注          | 用于场景理解的像素级蒙版                | [分割工具](/docs/annotation/guides/tools/segmentation)  |
| 多边形标注         | 不规则对象的精确边界                  | [多边形工具](/docs/annotation/guides/tools/polygon)      |
| 质量控制          | 精确关键标签的多阶段审核                | [质量控制](/docs/annotation/guides/quality-control)     |
| 切片            | 按环境、场景或机器人平台组织数据            | [切片 API](/docs/api-reference/slices)                |

## 示例管道

```
Robot sensor recordings (MCAP from test runs)
  -> Upload to Avala dataset
  -> Review recordings in multi-sensor viewer
  -> Identify frames with relevant scenarios (grasps, navigation events)
  -> Create annotation project (bounding boxes + keypoints)
  -> Annotators label objects and grasp points
  -> QC review with spot-checking and targeted review
  -> Export in COCO or custom format
  -> Train manipulation / navigation model
```

## 开始使用

<Steps>
  <Step title="上传机器人录制">
    创建数据集并上传您的 MCAP 文件。查看器自动检测摄像头、深度、LiDAR 和 IMU topic。
  </Step>

  <Step title="探索数据">
    回放录制以了解传感器覆盖范围和数据质量。使用逐帧导航找到关键时刻。
  </Step>

  <Step title="定义标注任务">
    选择与模型输入匹配的标注类型：检测用边界框、姿态估计用关键点、场景理解用分割。
  </Step>

  <Step title="设置标签分类体系">
    定义与机器人任务环境相关的对象类别和属性（例如 `cup`、`plate`、`obstacle`、`free_space`）。
  </Step>

  <Step title="标注、审核和导出">
    团队标注数据，审核员检查质量，您以训练管道期望的格式导出。
  </Step>
</Steps>

## 车队管理

对于运营机器人车队的团队，Avala 提供车队级录制管理和可观测性：

* **设备注册** — 跟踪车队中所有机器人的元数据、固件版本和健康状态。
* **录制浏览器** — 按日期、状态和标签跨设备过滤和排序录制。
* **时间轴事件** — 在录制上标记错误、异常和状态变化，用于车队范围的分析。
* **录制规则** — 自动标记匹配条件（例如高延迟、错误频率）的录制。
* **警报** — 当车队条件变化时将通知路由到 Slack、电子邮件或 Webhook。

详情请参阅[车队仪表板](/docs/visualization/fleet/fleet-dashboard)。

## 下一步

<CardGroup cols={2}>
  <Card title="车队仪表板" icon="satellite-dish" href="/docs/visualization/fleet/fleet-dashboard">
    管理机器人车队的设备、录制和遥测数据。
  </Card>

  <Card title="MCAP 和 ROS" icon="robot" href="/docs/visualization/mcap-ros/overview">
    支持的格式以及如何准备机器人录制以供上传。
  </Card>

  <Card title="标注工具" icon="pen-to-square" href="/docs/annotation/guides/annotation-tools">
    适用于机器人数据的所有标注工具概览。
  </Card>

  <Card title="录制最佳实践" icon="circle-check" href="/docs/visualization/guides/recording-best-practices">
    录制在 Avala 中表现良好的机器人数据的技巧。
  </Card>
</CardGroup>