在具身智能领域，“Sim2Real”（从仿真到现实）一直是绕不开的难题，不仅仿真环境搭建成本高昂，模型迁移到现实世界时也常出现性能折损。近日，由李飞飞团队联合英伟达GEAR实验室、佐治亚理工大学等多家机构共同发布的一项全新研究，为这一困境提供了新的破局思路:Real2Sim。

这项被称为“SimFoundry”的系统，通过一段真实世界的视频，即可自动生成一个具备交互能力、可进行训练与评测的机器人仿真环境。与传统的3D场景重建不同，SimFoundry实现了对真实世界的深度解析与重构，通过自动化技术大幅降低了仿真环境的搭建门槛。

SimFoundry的核心创新在于“数字孪生”与“数字表亲”的闭环构建。首先，系统通过提取视频信息，解析出场景中的物体几何结构、物理属性及交互功能，构建起高精度的“数字孪生”。在此基础上，系统能够自动调整物体的外观、形态、场景布局甚至操作任务，生成海量的“数字表亲”。这意味着，开发者仅需一段真实视频，就能获得几乎无限的训练数据，从而让机器人在仿真中完成从策略学习到自动评测的全过程。

实验数据显示，SimFoundry展现出了卓越的预测能力，其在仿真中评测出的机器人表现，与真实世界的实际结果具有极高的一致性。更重要的是，基于这些自动生成数据训练出的机器人策略，能够实现“零样本”迁移，在多步操作、双臂协作等复杂任务中表现优异。

这一研究由多位机器人领域的权威学者共同署名，包括英伟达GEAR实验室的核心研究者及李飞飞团队成员。随着该系统的开源与应用，具身智能机器人的开发流程有望迎来重大变革——不再依赖昂贵的人工采集与建模，而是通过生成式技术，让机器人更快地从实验室走向真实世界。

论文地址:https://arxiv.org/pdf/2606.28276v1