跳转到主要内容
Physical AI 系统——具身智能体、数字孪生、空间计算应用和仿真到现实的迁移管道——需要捕获真实环境 3D 结构的训练数据。Avala 提供这些团队所需的可视化和标注工具:Gaussian Splat 场景渲染、GPU 加速点云可视化、多传感器 MCAP 回放以及直接在空间数据上工作的 3D 标注工具。

为什么选择 Avala 用于 Physical AI

传统标注平台为 2D 图像而建。Physical AI 团队需要处理 3D 场景、点云、多传感器录制和空间重建。Avala 原生处理所有这些。

Gaussian Splat 查看器

将 3D Gaussian Splat 场景重建加载到 WebGPU 渲染的查看器中,支持场景层次、属性检查器和实时统计。直接在重建的 3D 环境中导航和标注。

点云可视化

GPU 加速点云渲染,支持 6 种可视化模式。使用中性、强度、彩虹、标签、全景和图像投影视图检查空间结构、密度和传感器覆盖。

多传感器 MCAP 回放

回放具身 AI 系统录制的传感器数据——摄像头、深度传感器、LiDAR、IMU——在同步多面板查看器中。

3D 标注工具

直接在点云和 Gaussian Splat 场景上标注 3D 长方体、分类标签和对象属性,无需切换工具。

数据类型

应用Avala 数据类型典型标注
场景重建Splat (Gaussian Splat)3D 长方体、分类
空间映射点云3D 长方体、分割
具身智能体录制MCAP带跟踪的多传感器标注
导航训练点云、MCAP3D 长方体、折线
物体识别图像、点云边界框、3D 长方体
数字孪生生成Splat、点云分类、对象属性

使用场景

具身 AI 的场景理解

具身 AI 智能体需要理解其环境的 3D 结构:对象在哪里、哪些表面可通行以及空间如何组织。Avala 的点云和 Gaussian Splat 查看器让您可视化捕获的环境,然后标注训练场景理解模型的对象、区域和空间关系。 工作流: 使用 LiDAR 或深度摄像头捕获环境 -> 上传点云或 Gaussian Splat 重建 -> 在 3D 查看器中可视化和检查 -> 使用 3D 长方体和分类标签标注对象 -> 导出用于模型训练。

3D 物体识别

使用标注的点云和场景重建训练模型在 3D 空间中识别对象。3D 长方体工具让标注员围绕对象放置精确的边界体,具有完整的位置、尺寸和朝向控制。分类属性为每个对象添加类别、材料和状态元数据。

仿真到现实的迁移

构建仿真环境的团队需要标注的真实世界数据来验证和校准仿真。Avala 处理管道的真实世界部分:
1

捕获真实世界数据

使用机器人或传感器装置从目标环境录制多传感器数据。多传感器录制使用 MCAP 格式,独立点云使用 PCD/PLY。
2

重建和可视化

上传 Gaussian Splat 重建或原始点云。在 Avala 的 3D 查看器中探索数据以了解场景结构。
3

标注真值

标注仿真需要精确复制的对象、区域和空间关系。
4

导出用于仿真对齐

导出带有精确 3D 坐标的标注。使用这些作为真值来验证和调整仿真参数。

数字孪生数据标注

数字孪生应用需要将物理世界映射到虚拟表示的标注数据。Avala 的 Gaussian Splat 查看器在这里特别有用——它渲染逼真的 3D 场景重建,标注员可以像在真实环境中一样导航和标注。 查看器提供:
  • 场景层次面板 — 浏览和选择场景树中的对象
  • 属性检查器 — 查看和编辑对象属性
  • 实时统计 — 监控渲染性能
  • 撤销/重做 — 标注修正的完整编辑历史

导航和路径规划

对于需要导航物理空间的机器人和自主系统,在点云数据中标注可通行区域、障碍物和航路点。使用折线定义路径和边界,使用 3D 长方体标记带有大小和方向的障碍物。

使用的 Avala 功能

功能用途了解更多
Gaussian Splat 查看器可视化和标注 3D 场景重建可视化概览
点云可视化使用 6 种渲染模式检查空间数据可视化概览
MCAP / ROS 集成从具身 AI 系统摄取多传感器录制MCAP 和 ROS
3D 长方体标注在 3D 空间中标注对象,精确控制位置和尺寸3D 长方体工具
分类场景级和对象级类别标签分类工具
Python SDK编程式数据集管理和导出Python SDK
TypeScript SDK与 Node.js 管道集成TypeScript SDK
云存储连接 S3 或 GCS 用于大型 3D 数据集云存储

示例管道

Real-world environment capture (LiDAR, cameras, depth sensors)
  -> Generate 3D reconstruction (Gaussian Splat or point cloud)
  -> Upload to Avala dataset
  -> Visualize in 3D viewer -- inspect scene structure and quality
  -> Create annotation project with 3D cuboid + classification task
  -> Annotators label objects, regions, and spatial relationships
  -> QC review in the same 3D viewer
  -> Export with 3D coordinates and metadata
  -> Feed into embodied AI training / simulation calibration pipeline

开始使用

1

选择数据格式

场景重建使用 Gaussian Splat 格式,原始点云使用 PCD/PLY,具身系统的多传感器录制使用 MCAP。
2

上传和可视化

创建适当数据类型的数据集并上传文件。在 3D 查看器中打开以探索空间数据。
3

定义标注模式

设置与模型需求匹配的对象类别和属性——对象类别、材料、状态、空间关系。
4

在 3D 中标注

团队直接在点云或 Gaussian Splat 场景中放置 3D 长方体和分类标签。
5

导出和集成

通过 API 或 SDK 导出带有 3D 坐标的标注。集成到训练管道、仿真或数字孪生系统中。

下一步

可视化概览

Avala 可视化能力的完整概览,包括 Gaussian Splat 和点云查看器。

3D 长方体工具

如何在 3D 中标注对象,精确控制位置、尺寸和朝向。

数据类型

Splat、点云、MCAP 和其他数据类型的支持格式和上传要求。

Python SDK

编程访问以管理数据集、创建项目和导出标注。