这项由新加坡南洋理工大学S-Lab实验室的曹子昂、洪方州、陈昭熙等研究人员-◆，联合上海AI实验室的潘亮共同完成的开创性研究，发表于2025年11月的arXiv预印本平台（论文编号=△：arXiv:2511.13648v1）。研究团队开发出名为PhysX-Anything的革命性系统，这套系统能够仅凭一张普通照片，就生成出具备完整物理属性、可直接在游戏引擎和机器人仿线D物体模型•▷。

　　现在的3D建模技术虽然能创造出视觉上令人印象深刻的模型=•=，但这些模型就像精美的塑料玩具——看起来很漂亮，却无法真正动起来。当你想把它们放入游戏中或让机器人与之交互时，就会发现这些模型缺少关键信息：它们有多重☆■？是什么材料制成的？哪些部分可以移动？如何移动？这就好比拿到一辆看起来完美的汽车模型…◇，但里面没有发动机□▼，轮子不能转动，车门打不开——徒有其表而已…△。

　　PhysX-Anything的突破性在于，它不仅能理解照片中物体的外观•◁=，还能推测出这个物体在现实世界中应该具备的所有物理特性。比如看到一张笔记本电脑的照片，系统不仅知道它长什么样-，还知道屏幕可以开合、键盘是什么材料、整个设备有多重▽☆、各部分的连接方式等等▼▪。更令人惊喜的是，生成的模型可以直接导入到MuJoCo、PhysX等主流物理引擎中，立即开始仿真实验。

　　这项技术的核心创新体现在三个方面▽。首先是全球首个基于视觉语言模型的物理3D生成架构•，能够同时处理几何形状△□、物理属性和运动机制•▷▲。其次是创新的3D表示方法★■，将复杂的几何信息压缩了193倍◁○◁，使得普通的语言模型也能处理详细的3D几何结构。第三是构建了名为PhysX-Mobility的大型数据集◇-，包含47个类别超过2000个日常物品的详细物理标注，涵盖了从咖啡机到订书机等各种常见物品★…◁。

　　这项研究不仅在技术上实现了突破，更重要的是为机器人学习、游戏开发、虚拟现实等领域开辟了全新的可能性。机器人可以在仿真环境中练习操作各种日常物品，游戏开发者可以快速生成具有真实物理行为的游戏道具●▼，而这一切只需要一张照片就能开始。

　　传统的3D建模就像制作电影道具——外观逼真，但一碰就露馅•。当你在电影中看到一辆汽车爆炸的场面时•，很可能那辆汽车只是个空心的塑料壳子=，里面什么都没有。同样，现有的3D生成技术虽然能创建出视觉效果很棒的模型，但这些模型就像空心道具一样，缺乏真实世界物体应有的内在属性。

　　这个问题在机器人和仿真领域尤为突出。当研究人员想要训练机器人学会开门时，他们需要在仿真环境中创建一扇真正的门——不仅要看起来像门，还要有合适的重量、材质=、铰链位置、开启角度等物理特性◁。如果这些特性不准确，机器人在仿真中学到的技能就无法应用到现实世界中○▪△。这就好比让人在游泳池里练习开车——环境完全不匹配，学到的经验毫无用处…○。

　　现有的解决方案存在明显缺陷。一些方法采用检索式策略……，就像在图书馆里查找现有的书籍■▼★，而不是写新的内容。这些方法从预建的3D模型库中寻找相似的物体，然后简单地添加一些运动信息。这种做法的问题在于，真实世界的物体千变万化●▪□，预设的模型库永远无法覆盖所有情况。另一些方法虽然能生成新的3D模型，但生成的模型往往假设物体由均匀材料制成，忽略了真实物体内部结构的复杂性。

　　更具挑战性的是，即使有些方法声称能生成物理属性，但生成的模型也无法直接在标准的物理引擎中使用。这就像制作了一把看起来很棒的钥匙，却发现它无法插入任何现有的锁里◁☆○。研究人员需要花费大量时间手动调整和转换这些模型，才能在仿真环境中使用它们…。

　　PhysX-Anything的研究团队意识到，要解决这个问题，需要从根本上改变思路。与其试图在现有框架上修修补补，不如重新设计整个流程，让系统从一开始就理解物体的完整物理特性。这种方法就像培养一个既懂得观察物体外观，又深谙物理原理的专家□，能够从一张照片中推断出物体的所有相关特性。

　　PhysX-Anything的核心架构采用了一种类似专业工程师分析物体的思维过程。当一个有经验的机械工程师看到一张桌子的照片时，他不仅看到了桌子的外形，还会自动分析桌面可能的材料（木材还是金属■▷=？）●●，估算桌子的大概重量，判断桌子的稳定性，甚至推测抽屉的开合方式。PhysX-Anything就是要让计算机具备这样的分析能力●。

　　系统的工作流程采用了多轮对话的方式，就像咨询专家时的问答过程▲▽。第一轮对话中，系统会对输入的照片进行全面分析，生成物体的整体描述。这个描述包含了物体的名称•▼□、类别、尺寸▽▲=、组成部分等基本信息，还包括每个部分的材料特性、密度▲○、功能描述等详细信息▽-。比如分析一个储物柜时，系统会识别出柜体框架、门板、把手等不同部分…，并为每个部分标注材料类型（胶合板、金属等）、密度数值▼○、功能描述等。

　　接下来的多轮对话中，系统会针对每个识别出的部分，逐一生成详细的几何信息。这个过程类似于雕塑家从整体构思开始▪，然后逐步雕琢每个细节。每一轮对话都专注于一个特定部分，生成该部分的精确3D几何结构。这种分步骤的方法不仅提高了生成质量▷★☆，还避免了处理过长信息序列时可能出现的遗忘问题▷=☆。

　　系统使用的基础模型是Qwen2.5视觉语言模型，这是一个经过大量图像和文本数据训练的AI系统●，具备强大的视觉理解和文本生成能力◁•。研究团队在这个基础上进行了专门的微调训练，让它能够理解物理世界的规律和约束■-。这个过程就像让一个聪明的学生接受专业的工程学训练，学会从视觉信息中推断物理特性。

　　为了处理复杂的几何信息▽▲，系统还配备了一个可控制的流变换器（Controllable Flow Transformer）。这个组件的作用类似于一个精密的3D打印机□，能够根据粗略的设计图纸生成精细的实体模型…-。它接收系统生成的粗略几何描述，然后生成高分辨率的详细几何结构。这种两阶段的方法既保证了效率，又确保了最终模型的精度•▷。

　　最后，系统配备了一个物理格式解码器◇▪=，负责将生成的信息转换成标准的仿真格式。这个组件就像一个多语言翻译官，能够将系统内部的表示转换成URDF、XML等不同的标准格式，确保生成的模型能够直接在各种物理引擎中使用。整个架构的设计理念是端到端的自动化，用户只需要提供一张照片▲，系统就能输出完整的可仿线D模型。

　　在3D建模领域，如何高效地表示复杂的几何信息一直是个棘手问题。传统的方法就像用文字描述一幅复杂的画作——需要大量篇幅才能表达清楚●•…，而且很容易遗漏细节。PhysX-Anything团队开发的新表示方法，则像是发明了一种高效的几何速记法，能用极少的信息量表达复杂的3D结构=▼★。

　　传统的网格表示方法需要详细记录每个顶点的坐标和每个面的连接关系。一个普通的3D模型可能包含数万个顶点和面，转换成文本序列后会产生数十万个词汇标记▪。这对于语言模型来说是个巨大负担，就像让人一口气背诵一本厚厚的电话簿——既不现实也不高效▽◆●。即使一些研究使用了简化的网格表示或3D压缩编码技术，仍然需要引入额外的特殊符号和专门的编码器★，增加了系统的复杂性。

　　PhysX-Anything采用了一种巧妙的体素化方法来解决这个问题。体素可以理解为3D世界中的像素——就像用乐高积木搭建模型一样，复杂的3D形状可以用许多小立方体拼接而成。研究团队选择使用32×32×32的体素网格，这个分辨率足以捕捉物体的主要形状特征，同时保持合理的计算复杂度•○=。

　　更聪明的做法在于如何表示这些体素。与其记录每个体素的详细信息，系统只记录被物体占据的体素位置。这就像在地图上只标记有建筑物的地点▲▲…，而忽略空地▷◆◆，大大减少了需要处理的信息量。每个体素位置被转换成一个从0到32767的数字索引，这种编码方式既简洁又精确。

　　最巧妙的优化来自于对连续区域的合并处理。在真实物体中，相邻的体素往往会连成一片-▼◁，比如桌面的中央部分通常是一个连续的实心区域。系统识别这些连续的体素序列，并用连字符将首尾索引连接起来表示整个区域▼○◁。例如，索引为199、200▽、201◆、202、203●□…、204□▲、205•、206到216的连续体素会被简化为199-216这样的紧凑表示。

　　这种压缩策略取得了惊人的效果。经过实际测试，新方法将原始网格表示所需的词汇标记数量减少了193倍。这意味着原本需要数十万个词汇才能表示的3D模型，现在只需要几千个词汇就够了△--。这种压缩不仅大大提高了处理效率，还使得标准的语言模型能够处理详细的3D几何信息•●▪，无需任何特殊的扩展或修改●▪■。

　　为了从粗略的体素表示生成精细的3D模型，系统采用了分层细化的策略。语言模型生成的32×32×32体素网格提供了物体的基本形状框架，然后专门的几何细化模块会将这个粗略框架扩展成高分辨率的详细模型☆●▷。这种方法就像先用粗线条勾勒草图，然后逐步添加细节○，既保证了整体结构的准确性◇，又实现了局部细节的丰富性。

　　要训练一个能够理解物理世界的AI系统◇，就需要大量标注详细的训练数据。这就像培养一个鉴定专家，需要让他见过足够多种类的真品和仿品▼，才能练就火眼金睛。PhysX-Anything团队意识到现有的物理3D数据集在规模和多样性上都存在不足△▲，因此着手构建了一个全新的综合性数据集——PhysX-Mobility。

　　PhysX-Mobility数据集的构建过程可以比作编撰一部详尽的日常物品百科全书…。研究团队从现有的PartNet-Mobility数据集出发□◆□，这是一个包含各种可移动部件物体的3D模型库。不过，原始数据虽然包含几何信息和运动信息，却缺乏详细的物理属性标注。这就像有一本只有图片的百科全书☆▽▪，缺少文字说明一样不完整★。

　　研究团队对这些3D模型进行了全面的物理属性标注工作。对每个物体▪○，他们不仅记录了外观和结构信息●◁-，还添加了材料类型、密度数值、绝对尺寸、功能描述等详细信息▪▼•。这个过程就像给每件古董写一份详细的鉴定报告☆•，需要考虑材质、工艺☆、功能、年代等各个方面○◆•。

　　最终构建的PhysX-Mobility数据集涵盖了47个类别，包含超过2000个常见的真实世界物体◆☆•。这些物体的选择标准是日常生活中的常见程度和实用价值。数据集包含了从家具家电到办公用品的各种物品：储物柜、风扇、相机、咖啡机、订书机△、马桶等等。每个类别都包含多个不同样式和尺寸的实例，确保了数据的多样性•◁▷。

　　相比于之前的物理3D数据集，PhysX-Mobility在类别数量上实现了翻倍增长●，覆盖面更加全面。更重要的是，数据集中的每个物体都包含了完整的物理属性标注，包括各部件的材料特性、密度信息、运动约束、功能描述等☆□○。这些标注信息都经过了仔细的验证和校准•▼，确保与真实物体的物理特性相符。

　　数据集的另一个特色是其标注格式的标准化和系统性。每个物体的信息都按照统一的JSON风格格式组织-，包含层次化的部件结构、详细的材料和几何信息▷▪、规范的运动学参数等。这种标准化格式不仅便于AI系统学习和理解，也为研究社区提供了一个可复用的标注规范。

　　为了确保数据质量，研究团队还对标注信息进行了多轮验证。他们将生成的模型导入物理引擎进行仿真测试，检查物理行为是否合理。对于发现的问题，团队会回过头修正标注信息，确保最终的数据集能够支持高质量的物理仿真●◆。这种迭代优化的过程虽然耗时，但确保了数据集的可靠性和实用性。

　　任何科学研究都需要通过严格的实验来验证其有效性•-●。PhysX-Anything团队设计了一系列全面的实验•=▼，从多个角度评估系统的性能表现◇。这些实验就像给新发明的汽车进行各种路试，需要在不同条件下测试其可靠性、安全性和实用性。

　　在PhysX-Mobility数据集上的量化评估中，PhysX-Anything与当前最先进的方法进行了全面对比●▪☆。比较的对象包括URDFormer•…、ArticulateAnything和PhysXGen等代表性方法。实验结果显示▲•○，PhysX-Anything在几乎所有评估指标上都取得了最佳表现•▪…。特别是在绝对尺寸预测方面，系统将误差从之前最好方法的43.44降低到了0.30，相对改善超过99%。这个改善幅度就像将测量误差从几十厘米缩小到几毫米◇◆=，实现了质的飞跃。

　　在几何质量方面，PhysX-Anything也表现出色•★。峰值信噪比达到20.35，倒角距离为14.43，F-分数达到77.50，这些指标都略优于其他方法。虽然改善幅度不如物理属性那么显著，但考虑到系统需要同时处理几何、物理和运动等多个方面的信息◇，能够在所有方面都保持领先水平已经相当难得。

　　真实世界图像的测试更能体现系统的实用价值。研究团队从互联网收集了约100张涵盖常见日常物体的真实照片，用这些照片测试各个系统的泛化能力。由于真实照片的复杂性和多样性，这种测试更能反映系统在实际应用中的表现。

　　为了获得客观的评估结果，团队采用了两种评估方式。一种是基于大型语言模型的自动评估，让GPT等AI系统对生成结果的几何质量和运动合理性进行打分。另一种是人工评估●，邀请14名志愿者对生成结果进行主观评分，总共收集了1568个有效评分。人工评估的结果显示-●，PhysX-Anything在几何质量上获得了0.98的高分（满分1.0）▼▪★，在各项物理属性评估中也都取得了0.84到0.98的优异成绩。

　　消融实验揭示了新3D表示方法的重要性。研究团队比较了不同表示方法的效果，包括直接体素表示、索引表示和完整的压缩表示。结果显示，随着压缩程度的提高，系统能够更好地捕捉复杂物体的详细几何结构■=●。这证明了高效的信息表示对于语言模型处理3D信息的重要性。

　　最激动人心的验证来自于仿真环境中的机器人操作实验。研究团队将生成的3D模型导入MuJoCo物理引擎，让虚拟机器人学习各种操作技能。实验包括水龙头开关操作、门窗开合、眼镜折叠、打火机开启、笔记本电脑合盖等多种任务◇。这些实验不仅验证了生成模型的物理正确性◆，还展示了系统在机器人学习领域的应用潜力。

　　在水龙头操作任务中…◇，机器人需要学会转动水龙头把手来控制水流。生成的水龙头模型不仅外观逼真，其转动机制、阻力特性、转动角度限制等物理特性都与真实水龙头高度相似。机器人在仿真环境中学到的操作技能能够很好地迁移到真实世界中☆□。眼镜折叠任务更加精细，需要小心处理易碎部件▼，避免施力过大造成损坏。这类精密操作对物理模型的准确性要求极高=□•，实验结果证明了PhysX-Anything生成模型的高保真度★-•。

　　PhysX-Anything的技术创新不仅仅是性能数字上的提升…▪，更重要的是它从根本上改变了3D内容创建的游戏规则=▲◁。这种改变可以类比为从手工制作到工业化生产的转变◁▪，或者从个人定制到批量生产的飞跃-=▼。

　　传统的物理3D建模流程就像手工制作精密的机械表，需要经验丰富的技师花费大量时间精雕细琢每一个零件。3D建模师需要先创建几何模型□□，然后物理学家需要分析和标注物理属性，最后工程师需要将模型转换成仿真格式…□。整个流程涉及多个专业领域的专家协作●▽▼，耗时长、成本高，而且容易出现各环节之间的不一致问题。

　　PhysX-Anything将这个复杂的多步骤流程压缩成了一个端到端的自动化过程。用户只需要提供一张照片，系统就能自动完成从视觉理解到物理分析，再到格式转换的全部工作。这种自动化程度就像从需要多个工匠协作的手工作坊…●◇，升级为一条完全自动化的生产线。

　　更重要的创新在于系统对物理世界的深度理解能力•▲。以前的方法往往只能处理几何形状或简单的物理属性••，PhysX-Anything却能够同时理解和生成物体的外观、内部结构、材料特性、运动机制等多个方面的信息。这种综合理解能力类似于从单科专家发展为全科医生◆，能够全面诊断和处理复杂问题。

　　系统的另一个突破性特点是其出色的泛化能力▲。训练完成后，系统不仅能够处理训练数据中见过的物体类型，还能够合理推断从未见过的新物体的物理特性。这种泛化能力源于系统学到了物理世界的基本规律▪•●，而不是简单地记忆训练样本。比如当系统看到一个新款的咖啡机时，虽然具体外观可能与训练数据中的不同，但系统能够根据其材质▪、结构等线索推断出合理的物理属性■-。

　　从技术架构角度看，PhysX-Anything的创新在于成功地将视觉语言模型的强大能力扩展到了3D物理建模领域▼○。视觉语言模型在2D图像理解和文本生成方面已经展现出惊人的能力▽■□，但将这种能力迁移到3D物理世界并非易事。研究团队通过巧妙的表示方法和训练策略，成功地架起了2D视觉理解与3D物理建模之间的桥梁。

　　新的3D表示方法的影响可能会扩展到整个3D生成领域○。193倍的压缩比不仅解决了当前项目的问题，还为其他需要处理3D信息的AI应用提供了新的思路。这种高效的表示方法可能会被其他研究者采用和改进◁◇▼，推动整个领域的发展。

　　PhysX-Anything的技术突破为多个应用领域打开了全新的可能性空间•△。这些应用前景不仅具有巨大的商业价值，更重要的是它们可能从根本上改变我们与数字世界交互的方式。

　　在机器人技术领域◆，PhysX-Anything为机器人学习开辟了一条全新的道路▲。传统的机器人训练需要在真实环境中进行大量的试错实验，这不仅成本昂贵•，还存在安全风险□。现在，研究人员可以仅凭一张照片就创建出任何日常物体的精确物理模型，让机器人在仿真环境中练习操作技能。这就像为机器人建立了一个无限丰富的虚拟练习场，它们可以在其中安全地学习如何处理各种复杂情况。

　　比如训练家庭服务机器人时，研究人员可以拍摄家中各种物品的照片，快速生成相应的仿真模型。机器人可以在仿真中学习如何小心地操作易碎的玻璃杯，如何适当用力开启不同类型的瓶盖，如何精确控制力度折叠不同材质的衣物等等○◇。这种训练方式不仅效率更高，还能覆盖更多的场景变化。

　　游戏开发行业也将从这项技术中获得巨大收益。游戏开发者经常需要创建大量具有真实物理行为的游戏对象，传统方法需要美术师建模、物理师调参数…◆、程序员集成等多个环节的配合。PhysX-Anything可以大大简化这个流程，开发者只需要提供参考照片•…，就能快速获得可直接在游戏引擎中使用的3D资源□▲▷。

　　更有趣的是，这项技术可能会催生全新的游戏类型。玩家可以将现实世界中的任何物体导入到游戏中▲•■，创造出前所未有的个性化游戏体验。想象一个建造游戏，玩家可以用自己家中的家具照片来设计虚拟房间，这些虚拟家具不仅外观逼真★，还具有真实的物理特性。

　　虚拟现实和增强现实技术也将从中受益。PhysX-Anything可以快速将现实世界的物体转换成虚拟环境中的交互对象▪，为用户提供更加沉浸和真实的体验。在VR培训应用中，学员可以在虚拟环境中操作与现实完全一致的设备和工具，获得接近真实的训练效果。

　　教育领域的应用潜力同样巨大。物理教学中，教师可以展示各种物体的内部结构和物理特性，让学生通过交互式的方式理解抽象的物理概念◆◇。工程教育中，学生可以快速创建和测试各种设计方案…•，无需昂贵的实验设备就能进行复杂的物理仿真实验。

　　产品设计和原型制作也将因此受益▼。设计师可以快速将设计草图或现有产品转换成可仿线D模型•，在虚拟环境中测试产品的功能性和可用性▲▷□。这种快速原型制作方法可以大大缩短产品开发周期，降低开发成本△=●。

　　在电影和动画制作中，PhysX-Anything可以帮助特效师快速创建具有真实物理行为的数字道具□。这些道具不仅外观逼真●■，其运动和变形行为也符合物理规律▼▪▪，提高了特效的真实感和可信度。

　　值得注意的是，这项技术还可能在一些意想不到的领域发挥作用▲=△。考古学家可以用它来重建古代物品的使用方式，心理学家可以用它来研究人类对不同物体的认知和操作行为，甚至艺术家也可以用它来创作新型的交互式艺术作品。

　　尽管PhysX-Anything取得了显著的技术突破，但作为一项前沿技术◇◆，它仍然面临一些挑战和局限性。理解这些限制对于正确评估技术价值和规划未来发展方向同样重要。

　　当前系统的一个主要限制来自于输入信息的有限性。仅从一张静态照片推断物体的完整物理特性本身就是一个极具挑战性的任务▷。照片只能提供物体某一个角度的视觉信息，对于物体的背面◆○、内部结构、材质细节等信息往往只能基于经验进行推测。这就像让医生仅凭一张X光片诊断所有可能的疾病一样困难★。

　　特别是对于一些外观相似但物理特性差异很大的物体，系统可能会出现误判。比如两个外观几乎相同的水杯◆=，一个是普通玻璃制成◁◁，另一个是特殊的防弹玻璃材料，从照片上很难区分▼◇▪，但它们的重量-☆•、强度•、热导性等物理特性却截然不同。在这种情况下△▽，系统生成的模型可能会偏离真实情况。

　　系统对复杂关节和运动机制的处理也存在一定局限性■◆▼。虽然PhysX-Anything能够识别和建模常见的铰链△▼、滑动等基本运动类型▲，但对于一些复杂的机械结构，如齿轮传动•▪、弹簧机构、液压系统等，处理效果还有待提升☆。这些复杂机制往往涉及多个部件之间的精密配合▼■▷，仅从外观照片很难准确推断其内部工作原理。

　　数据集的覆盖范围也是一个需要持续改进的方面。尽管PhysX-Mobility数据集已经涵盖了47个类别的常见物体，但现实世界中物体的多样性是无穷无尽的。对于一些特殊材料、特殊结构或特殊用途的物体，系统可能缺乏足够的训练样本，导致生成质量下降。

　　计算资源需求是另一个实际考量。虽然新的3D表示方法大大提高了效率，但整个系统仍然需要相当的计算能力，特别是在处理高分辨率几何细节时。这可能会限制系统在资源受限环境中的应用○，比如移动设备或嵌入式系统。

　　系统生成的物理参数的绝对精度也需要进一步提升。虽然相对于之前的方法已经有了显著改善，但对于一些对物理精度要求极高的应用◇，如精密仪器仿真或安全关键系统■◁▽，当前的精度水平可能还不够理想。这需要更多的训练数据和更精细的标注来改善•■。

　　另一个挑战来自于不同应用场景对模型复杂度的不同需求-•◆。有些应用可能需要极其详细的物理模型，而另一些应用则更注重运行效率。如何在保持通用性的同时满足不同应用的特定需求-，是一个需要继续探索的问题。

　　系统对于动态变化物体的处理能力也有限。现实世界中的许多物体会随着使用而发生磨损、变形或性质改变△★，比如轮胎的磨损、金属的疲劳★…、塑料的老化等。当前系统主要关注物体的初始状态，对这些动态变化的建模还不够完善。

　　尽管存在这些挑战，PhysX-Anything已经在现有技术基础上实现了重要突破。随着技术的不断发展，数据集的持续扩充，以及计算能力的提升○，这些限制很可能在未来逐步得到解决。重要的是要以发展的眼光看待这些技术挑战，将它们视为未来改进的方向而非技术的缺陷□。

　　说到底◁●，PhysX-Anything代表了从静态视觉到动态物理的重要跨越☆。这项技术虽然还在发展初期，但已经展现出了改变3D内容创建范式的巨大潜力。就像早期的个人电脑虽然功能有限○▪◇，但最终发展成为改变世界的技术一样▲…●，PhysX-Anything也可能成为数字世界与物理世界融合的重要推动力。

　　对于研究者和开发者来说…=，理解当前的技术限制有助于更好地应用这项技术，避免过度依赖或错误使用。同时，这些挑战也为未来的研究指明了方向，推动技术向更高水平发展。随着更多研究团队的参与和技术的不断完善★，我们有理由相信，从一张照片生成完整物理世界的梦想将逐步变为现实。