Skip to main content
Physical AI 系统——具身智能体、数字孪生、空间计算应用和仿真到现实的迁移管道——需要捕获真实环境 3D 结构的训练数据。Avala 提供这些团队所需的可视化和标注工具:Gaussian Splat 场景渲染、GPU 加速点云可视化、多传感器 MCAP 回放以及直接在空间数据上工作的 3D 标注工具。

为什么选择 Avala 用于 Physical AI

传统标注平台为 2D 图像而建。Physical AI 团队需要处理 3D 场景、点云、多传感器录制和空间重建。Avala 原生处理所有这些。

Gaussian Splat 查看器

将 3D Gaussian Splat 场景重建加载到 WebGPU 渲染的查看器中,支持场景层次、属性检查器和实时统计。直接在重建的 3D 环境中导航和标注。

点云可视化

GPU 加速点云渲染,支持 6 种可视化模式。使用中性、强度、彩虹、标签、全景和图像投影视图检查空间结构、密度和传感器覆盖。

多传感器 MCAP 回放

回放具身 AI 系统录制的传感器数据——摄像头、深度传感器、LiDAR、IMU——在同步多面板查看器中。

3D 标注工具

直接在点云和 Gaussian Splat 场景上标注 3D 长方体、分类标签和对象属性,无需切换工具。

数据类型

使用场景

具身 AI 的场景理解

具身 AI 智能体需要理解其环境的 3D 结构:对象在哪里、哪些表面可通行以及空间如何组织。Avala 的点云和 Gaussian Splat 查看器让您可视化捕获的环境,然后标注训练场景理解模型的对象、区域和空间关系。 工作流: 使用 LiDAR 或深度摄像头捕获环境 -> 上传点云或 Gaussian Splat 重建 -> 在 3D 查看器中可视化和检查 -> 使用 3D 长方体和分类标签标注对象 -> 导出用于模型训练。

3D 物体识别

使用标注的点云和场景重建训练模型在 3D 空间中识别对象。3D 长方体工具让标注员围绕对象放置精确的边界体,具有完整的位置、尺寸和朝向控制。分类属性为每个对象添加类别、材料和状态元数据。

仿真到现实的迁移

构建仿真环境的团队需要标注的真实世界数据来验证和校准仿真。Avala 处理管道的真实世界部分:
1

捕获真实世界数据

使用机器人或传感器装置从目标环境录制多传感器数据。多传感器录制使用 MCAP 格式,独立点云使用 PCD/PLY。
2

重建和可视化

上传 Gaussian Splat 重建或原始点云。在 Avala 的 3D 查看器中探索数据以了解场景结构。
3

标注真值

标注仿真需要精确复制的对象、区域和空间关系。
4

导出用于仿真对齐

导出带有精确 3D 坐标的标注。使用这些作为真值来验证和调整仿真参数。

数字孪生数据标注

数字孪生应用需要将物理世界映射到虚拟表示的标注数据。Avala 的 Gaussian Splat 查看器在这里特别有用——它渲染逼真的 3D 场景重建,标注员可以像在真实环境中一样导航和标注。 查看器提供:
  • 场景层次面板 — 浏览和选择场景树中的对象
  • 属性检查器 — 查看和编辑对象属性
  • 实时统计 — 监控渲染性能
  • 撤销/重做 — 标注修正的完整编辑历史

导航和路径规划

对于需要导航物理空间的机器人和自主系统,在点云数据中标注可通行区域、障碍物和航路点。使用折线定义路径和边界,使用 3D 长方体标记带有大小和方向的障碍物。

使用的 Avala 功能

示例管道

开始使用

1

选择数据格式

场景重建使用 Gaussian Splat 格式,原始点云使用 PCD/PLY,具身系统的多传感器录制使用 MCAP。
2

上传和可视化

创建适当数据类型的数据集并上传文件。在 3D 查看器中打开以探索空间数据。
3

定义标注模式

设置与模型需求匹配的对象类别和属性——对象类别、材料、状态、空间关系。
4

在 3D 中标注

团队直接在点云或 Gaussian Splat 场景中放置 3D 长方体和分类标签。
5

导出和集成

通过 API 或 SDK 导出带有 3D 坐标的标注。集成到训练管道、仿真或数字孪生系统中。

下一步

可视化概览

Avala 可视化能力的完整概览,包括 Gaussian Splat 和点云查看器。

3D 长方体工具

如何在 3D 中标注对象,精确控制位置、尺寸和朝向。

数据类型

Splat、点云、MCAP 和其他数据类型的支持格式和上传要求。

Python SDK

编程访问以管理数据集、创建项目和导出标注。