> ## Documentation Index
> Fetch the complete documentation index at: https://avala.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Physical AI 与空间计算

> 为具身 AI、数字孪生和空间计算应用构建训练数据集

Physical AI 系统——具身智能体、数字孪生、空间计算应用和仿真到现实的迁移管道——需要捕获真实环境 3D 结构的训练数据。Avala 提供这些团队所需的可视化和标注工具：Gaussian Splat 场景渲染、GPU 加速点云可视化、多传感器 MCAP 回放以及直接在空间数据上工作的 3D 标注工具。

## 为什么选择 Avala 用于 Physical AI

传统标注平台为 2D 图像而建。Physical AI 团队需要处理 3D 场景、点云、多传感器录制和空间重建。Avala 原生处理所有这些。

<CardGroup cols={2}>
  <Card title="Gaussian Splat 查看器" icon="circle-nodes">
    将 3D Gaussian Splat 场景重建加载到 WebGPU 渲染的查看器中，支持场景层次、属性检查器和实时统计。直接在重建的 3D 环境中导航和标注。
  </Card>

  <Card title="点云可视化" icon="cube">
    GPU 加速点云渲染，支持 6 种可视化模式。使用中性、强度、彩虹、标签、全景和图像投影视图检查空间结构、密度和传感器覆盖。
  </Card>

  <Card title="多传感器 MCAP 回放" icon="play">
    回放具身 AI 系统录制的传感器数据——摄像头、深度传感器、LiDAR、IMU——在同步多面板查看器中。
  </Card>

  <Card title="3D 标注工具" icon="pen-to-square">
    直接在点云和 Gaussian Splat 场景上标注 3D 长方体、分类标签和对象属性，无需切换工具。
  </Card>
</CardGroup>

## 数据类型

| 应用      | Avala 数据类型             | 典型标注       |
| ------- | ---------------------- | ---------- |
| 场景重建    | Splat (Gaussian Splat) | 3D 长方体、分类  |
| 空间映射    | 点云                     | 3D 长方体、分割  |
| 具身智能体录制 | MCAP                   | 带跟踪的多传感器标注 |
| 导航训练    | 点云、MCAP                | 3D 长方体、折线  |
| 物体识别    | 图像、点云                  | 边界框、3D 长方体 |
| 数字孪生生成  | Splat、点云               | 分类、对象属性    |

## 使用场景

### 具身 AI 的场景理解

具身 AI 智能体需要理解其环境的 3D 结构：对象在哪里、哪些表面可通行以及空间如何组织。Avala 的点云和 Gaussian Splat 查看器让您可视化捕获的环境，然后标注训练场景理解模型的对象、区域和空间关系。

**工作流：** 使用 LiDAR 或深度摄像头捕获环境 -> 上传点云或 Gaussian Splat 重建 -> 在 3D 查看器中可视化和检查 -> 使用 3D 长方体和分类标签标注对象 -> 导出用于模型训练。

### 3D 物体识别

使用标注的点云和场景重建训练模型在 3D 空间中识别对象。3D 长方体工具让标注员围绕对象放置精确的边界体，具有完整的位置、尺寸和朝向控制。分类属性为每个对象添加类别、材料和状态元数据。

### 仿真到现实的迁移

构建仿真环境的团队需要标注的真实世界数据来验证和校准仿真。Avala 处理管道的真实世界部分：

<Steps>
  <Step title="捕获真实世界数据">
    使用机器人或传感器装置从目标环境录制多传感器数据。多传感器录制使用 MCAP 格式，独立点云使用 PCD/PLY。
  </Step>

  <Step title="重建和可视化">
    上传 Gaussian Splat 重建或原始点云。在 Avala 的 3D 查看器中探索数据以了解场景结构。
  </Step>

  <Step title="标注真值">
    标注仿真需要精确复制的对象、区域和空间关系。
  </Step>

  <Step title="导出用于仿真对齐">
    导出带有精确 3D 坐标的标注。使用这些作为真值来验证和调整仿真参数。
  </Step>
</Steps>

### 数字孪生数据标注

数字孪生应用需要将物理世界映射到虚拟表示的标注数据。Avala 的 Gaussian Splat 查看器在这里特别有用——它渲染逼真的 3D 场景重建，标注员可以像在真实环境中一样导航和标注。

查看器提供：

* **场景层次面板** — 浏览和选择场景树中的对象
* **属性检查器** — 查看和编辑对象属性
* **实时统计** — 监控渲染性能
* **撤销/重做** — 标注修正的完整编辑历史

### 导航和路径规划

对于需要导航物理空间的机器人和自主系统，在点云数据中标注可通行区域、障碍物和航路点。使用折线定义路径和边界，使用 3D 长方体标记带有大小和方向的障碍物。

## 使用的 Avala 功能

| 功能                 | 用途                      | 了解更多                                            |
| ------------------ | ----------------------- | ----------------------------------------------- |
| Gaussian Splat 查看器 | 可视化和标注 3D 场景重建          | [可视化概览](/docs/zh/visualization/overview)             |
| 点云可视化              | 使用 6 种渲染模式检查空间数据        | [可视化概览](/docs/zh/visualization/overview)             |
| MCAP / ROS 集成      | 从具身 AI 系统摄取多传感器录制       | [MCAP 和 ROS](/docs/visualization/mcap-ros/overview)  |
| 3D 长方体标注           | 在 3D 空间中标注对象，精确控制位置和尺寸  | [3D 长方体工具](/docs/annotation/guides/tools/cuboid-3d)  |
| 分类                 | 场景级和对象级类别标签             | [分类工具](/docs/annotation/guides/tools/classification) |
| Python SDK         | 编程式数据集管理和导出             | [Python SDK](/docs/zh/sdks/python)                   |
| TypeScript SDK     | 与 Node.js 管道集成          | [TypeScript SDK](/docs/zh/sdks/typescript)           |
| 云存储                | 连接 S3 或 GCS 用于大型 3D 数据集 | [云存储](/docs/integrations/cloud-storage)              |

## 示例管道

```
Real-world environment capture (LiDAR, cameras, depth sensors)
  -> Generate 3D reconstruction (Gaussian Splat or point cloud)
  -> Upload to Avala dataset
  -> Visualize in 3D viewer -- inspect scene structure and quality
  -> Create annotation project with 3D cuboid + classification task
  -> Annotators label objects, regions, and spatial relationships
  -> QC review in the same 3D viewer
  -> Export with 3D coordinates and metadata
  -> Feed into embodied AI training / simulation calibration pipeline
```

## 开始使用

<Steps>
  <Step title="选择数据格式">
    场景重建使用 Gaussian Splat 格式，原始点云使用 PCD/PLY，具身系统的多传感器录制使用 MCAP。
  </Step>

  <Step title="上传和可视化">
    创建适当数据类型的数据集并上传文件。在 3D 查看器中打开以探索空间数据。
  </Step>

  <Step title="定义标注模式">
    设置与模型需求匹配的对象类别和属性——对象类别、材料、状态、空间关系。
  </Step>

  <Step title="在 3D 中标注">
    团队直接在点云或 Gaussian Splat 场景中放置 3D 长方体和分类标签。
  </Step>

  <Step title="导出和集成">
    通过 API 或 SDK 导出带有 3D 坐标的标注。集成到训练管道、仿真或数字孪生系统中。
  </Step>
</Steps>

## 下一步

<CardGroup cols={2}>
  <Card title="可视化概览" icon="eye" href="/docs/zh/visualization/overview">
    Avala 可视化能力的完整概览，包括 Gaussian Splat 和点云查看器。
  </Card>

  <Card title="3D 长方体工具" icon="cube" href="/docs/annotation/guides/tools/cuboid-3d">
    如何在 3D 中标注对象，精确控制位置、尺寸和朝向。
  </Card>

  <Card title="数据类型" icon="database" href="/docs/zh/getting-started/data-types">
    Splat、点云、MCAP 和其他数据类型的支持格式和上传要求。
  </Card>

  <Card title="Python SDK" icon="code" href="/docs/zh/sdks/python">
    编程访问以管理数据集、创建项目和导出标注。
  </Card>
</CardGroup>