像素只是表象，大模型生成了运动学，但唯有物理代码才能通向动力学与因果关系。
作者丨吴思梦 马晓宁
编辑丨岑 峰
8 月 20 日下午，德国不来梅，IJCAI ECAI 2026 进入第三天。斯坦福大学计算机科学助理教授吴佳俊（Jiajun Wu）登上讲台，发表了本届IJCAI Computers and Thought Award（计算机与思想奖）获奖演讲。
这个奖项颁发给人工智能领域杰出的青年科学家，诞生于 1970 年代，以 Edward Feigenbaum 和 Julian Feldman 主编的经典著作《Computers and Thought》命名。过去半个多世纪里，Tom Mitchell、Rodney Brooks、Stuart Russell、Daphne Koller、Andrew Ng 等 AI 学者都曾获此殊荣。2026 年，吴佳俊成为新一位获奖者。
这并不是吴佳俊第一次站在 AI 前沿。
2010 年，他从信息学竞赛保送进入清华大学，随后进入姚班。本科期间，他连续三年保持全年级学分绩第一，并在学生时代就开始发表计算机视觉论文。2013 年，他获得清华大学本科生特等奖学金；一年后，又获得中国大学生年度人物称号。进入 MIT 后，他继续研究计算机视觉，并逐渐把研究延伸到机器学习、认知科学和机器人。博士毕业后，他曾在 Google Research 从事研究，如今在斯坦福大学同时任教于计算机科学和心理学。
这条轨迹有一个很有意思的转折。
早期的吴佳俊就在追问，机器能不能仅凭一张静态图片，理解图片之外的东西。比如，一张梅西踢球的照片里，除了一个瞬间的画面，机器能不能进一步推断运动、动作以及背后的世界规律。
十多年过去，他今天研究的问题已经从“一张图片能告诉机器什么”，走到了“机器如何从视觉中理解整个物理世界”。在这场题为“Building Visual and Physical Intelligence Through Code”的演讲中，他提出了一个很有意思的概念——代码。
但这里的代码，不是我们熟悉的编程代码。它更像是藏在物理世界深处的一套“源代码”。
几何、纹理、材质、物理属性，以及物体之间的关系，都构成了这个世界的内在结构。吴佳俊想做的，是让机器从原始感知数据中把这些结构找出来，再把它们与今天越来越强大的基础模型结合起来。
如果说大模型正在学习世界上所有“说过的话”，那么吴佳俊想研究的，是机器能不能进一步学会世界“为什么会这样”。从清华姚班、MIT 到斯坦福，吴佳俊十多年来的研究始终围绕一个核心问题：机器如何从原始感知走向对物理世界的真正理解？
当前，大模型在语言空间完成了知识压缩，视频生成模型在像素层面展现了逼真画卷。然而，面对物理世界的摩擦、弹性、流体以及机器人的接触交互，AI 仍频频“露怯”。在这场题为《Building Visual and Physical Intelligence Through Code》的演讲中，吴佳俊没有盲目推崇“纯端到端 Scaling”，也没有退回“经典符号系统”，而是给出了一种兼具理论深度与工程可行性的答案：以物理代码为桥，融合基础模型的泛化力与物理模拟的因果性。
在获奖演讲中，吴佳俊直击当前生成式 AI 与世界模型的痛点：视觉像素只是表象，物理结构才是因果。他系统性阐述了如何将经典符号 AI 的几何、物理先验定义为“物理代码”（Physical Code），并与现代基础模型深度缝合，铺就了一条从“看懂画面”到“具身动作交互（4D）”的全新物理智能范式。
以下是吴佳俊在 IJCAI 2026 大会发表的获奖演讲精编稿。AI 科技评论基于现场英文演讲进行了编辑，在不改变原意的基础上，对口语表达和技术术语进行了重新梳理。
Building Visual and Physical Intelligence Through Code
▎主讲人：吴佳俊，斯坦福大学
01
什么是“通过代码”？
感谢邀请。我是吴佳俊，来自斯坦福大学。我的研究主要集中在计算机视觉，也涉及机器学习、计算认知科学、物理和机器人等领域。很高兴来到这里，也非常荣幸获得这个奖项。
今天我想讲的是，我们如何通过“代码”来构建视觉智能和物理智能。有时候我会犹豫，要不要真的把“代码”放进演讲标题。
因为我真正想讲的，其实可以被称为神经符号 AI。但很长一段时间以来，人们对“符号”这个词有些怀疑。
符号方法真的能工作吗？
某种意义上，我觉得它一直在工作。只是现在，人们可能不再把它叫作“符号”，而是开始把它叫作“代码”。
所以我想换一个更直观的说法。
我们一直在尝试做的，是把一些很老的想法，甚至是经典符号 AI 时代的想法，与现代机器学习结合起来，构建一种基于代码的学习框架，从而真正建立视觉智能和物理智能。
我们生活在一个物理世界里。这个世界非常复杂，它在视觉上复杂，在物理上同样复杂。
这里就是美丽的不来梅。我昨天在城市里散步，拍了一些照片。有城市里的标志性建筑，有动物雕塑，也有教堂内部，还有河心岛。
当你仔细观察这些场景，会发现其中有大量细节：建筑有复杂的结构，动物有复杂的纹理，雕塑和建筑中也有各种设计。
但与此同时，你会发现一些更深层的东西。这里存在某种结构，比如这些动物为什么会被艺术家堆叠在一起？一个原因是，它们之间存在相似性。它们拥有相似的几何形态，所以可以形成某种层次化结构。
再看看这些重复的图案。为什么这里的天花板看起来是对称的？因为人们就是这样设计的。所以，对称性、相似性、重复性，这些内在结构其实无处不在。
在某种意义上，这些符号化的结构，与物理世界本身丰富的细节是结合在一起的。问题来了。我们如何把这两者结合起来？也就是把神经和符号结合起来，建立真正能够理解复杂物理世界的系统。
在复杂的物理世界里，我们希望找到一些内在的“物理代码”。它们可能表现为几何、材质，也可能表现为物理规律。它们还可能以层次化结构、甚至某种类似人类语法的方式组织起来。
我们能不能利用这些世界本身已经存在的结构，帮助机器理解世界？其实，人们研究人类认知与世界结构之间的关系已经有几十年了。计算机图形学和物理模拟就是很好的例子。
我们拿到几何表示，拿到材质，把它们组合起来，然后进行模拟和渲染，尽可能真实地重现视觉世界。今天，AI 和视觉生成模型当然可以完成很多类似的事情。但背后的这些“代码”，人们其实已经研究了几十年，甚至更久。
在经典计算机视觉中，人们很早就提出过一个重要设想。当你面对原始的视觉观测时，能不能从中推断出一组真正有意义的物理组成部分？
因为现实世界存在不确定性，所以你需要学习的不是某一个固定答案，而是背后的分布。这与认知科学、神经科学和心理学中的许多早期研究也有联系。例如，计算机视觉领域曾经提出过“逆图形学”的概念，也有人研究层次化的视觉表示。
回到 1970 年代，我们可以看到从初始草图到 2.5D 草图的一系列中间表示。这些研究试图回答一个问题：我们如何从视觉输入中形成关于物体的概念？物体是什么？它们如何运动？什么是我们对世界的“朴素物理”理解？物体为什么是坚固的？它们为什么具有连续性？这些关于物体的知识，又如何与我们对因果关系的理解联系起来？
这就是物理代码有意思的地方。
因为当你掌握了底层的因果结构，你就不仅能描述世界，还可以改变它。比如，如果我改变一个物体的重量，我就可以进一步预测它会发生什么变化。这背后不是简单的视觉相关性，而是因果结构。
02
以代码为导师，看到一花一世界
以上是历史背景。现在，我们把这些想法放到现代机器学习框架里。如果你想使用数据驱动的方法，最重要的当然是数据。那么，我们有什么数据？
我们有图像、有语言、有视频。这些数据都可以从互联网获得。但当我们进入三维世界时，情况突然变得非常不同。
我们几乎没有足够的标注数据。你可能有一些来自 3D 扫描的数据，但与 2D 世界拥有的数据规模相比，它们少得可怜。更不用说物理属性和材质了。
那么问题就变成了：
在标注数据极度匮乏的情况下，我们还能不能用数据驱动的方法理解物理世界？我们探索了几种不同的范式。我把它们大致分成两类。
第一种想法是，虽然我们没有这些内在代码的标注数据，但我们知道它们应该如何相互作用。因为这本身就是计算机图形学和物理模拟研究的内容。所以，我们可以把这些结构表示，以及它们应该如何相互作用的知识，直接用作学习系统中的自监督信号。
举个简单的例子。你可能有一些来自互联网的原始图像，比如动物的照片。我们可以让一个学习系统尝试把它分解成我们关心的物理属性。这里没有任何人工标注。但我们拥有关于结构的先验知识。于是，我们可以让系统利用这些知识重新构建原始视觉输入。
你可以把它理解成自编码器的一种泛化。区别在于，这里的解码器不再只是一个普通的神经网络，而是一组结构化表示。这些表示可能来自物理模拟，也可能来自我们对世界的先验知识。
我们需要让这些结构可微分，或者在网络中对它们进行近似。这样，整个系统就可以端到端训练。更重要的是，你可以通过重建本身获得监督信号。这就是自监督学习。
系统会不断判断，自己学习到的表示，能不能重新解释原始输入。不需要人工告诉它每个物体是什么。只要它能够把世界重新建出来，这些结构本身就可以被学习出来。
我们来看一个具体例子。有一个问题，我们很早就开始感兴趣。一张图片到底能告诉我们多少？假设你有一张图片，里面有很多不同的花。你当然可以告诉我，这是花，这是玫瑰，那也是玫瑰。它们的姿态不同，光照不同，所以看起来并不完全一样。但我们仍然知道它们属于同一类。
与此同时，你也知道旁边的水杯不是玫瑰。那么问题来了。究竟是什么让玫瑰成为玫瑰？这些不同的实例，到底共享了什么？我们的观点是，它们共享的并不是某一个固定的外观，而是一种底层代码的分布。其中包括几何、材质、纹理等物理属性。
当然，并不是每一朵玫瑰都完全一样。这里存在一个需要被发现的分布。所有不同的玫瑰，都可以被看作从这个分布中采样出来的实例。而水杯则来自另一种分布。
所以，如果我们能够正确地建模玫瑰的底层分布，就可以从这个分布中不断采样，得到不同类型的玫瑰。这就是我们想做的事情。我们先学习一个需要被发现的分布，然后从中得到物理代码，比如几何、纹理和材质。再把这些信息与环境参数结合起来，比如相机参数和物体姿态。
最后，通过可微分渲染管线重新生成图像。如果这些代码真的正确，那么生成出来的结果就应该与真实世界非常接近。我们在 2022 年和 2023 年做了这项工作。那时候扩散模型还没有真正成为今天这样的主流。所以我们当时甚至只使用了判别器。
它有一个很有意思的特点。整个系统可以从零开始训练。包括生成器和可微分渲染层，都从零开始学习。我们只给它一张图片。没有预训练，也没有蒸馏损失，因为蒸馏本身也可以被理解为某种形式的预训练。什么都没有。只从这一张图开始。
但系统仍然可以做到很多事情。从这张图片出发，我们可以看到不同视角下的玫瑰，也可以看到不同环境中的玫瑰。我们还可以看到不同的几何形态，因为我们已经学习了形状背后的分布。当然，结果并不是最好的。毕竟这是几年前的工作，而且所有东西都只从同一张图片中学习。
但即使把今天最好的方法放在这里，如果你要求它只用一张图片、从零开始学习，我也不认为它能做得比这更多。当然，现在我们有了更好的工具。比如用数十亿张图片训练的扩散模型，可以生成非常逼真的图像。人们也在尝试从这些扩散模型中进行知识蒸馏，以获得更好的结果。
但我认为有一件事依然非常重要。如果你拥有关于世界结构的正确先验知识，那么即使数据非常少，你仍然可以学到很多东西。这对于很多数据稀缺的领域依然非常重要。
比如科学研究中的许多问题，本身就没有那么多数据。后来，我们进一步把这个系统扩展到了多个物体类别。我们尝试从大约 100 个不同类别中学习。依然从单张图片开始。我们可以把这些物体分解成几何、纹理和材质，也可以进一步发现它们的空间结构，甚至进行生成。
03
从物体到场景，零样本泛化的惊喜
后来我们继续研究这个系统。可以从一张图开始，也可以从多张图开始。可以学习单一类别，也可以学习多个类别。然后我们发现，这个系统其实还拥有一些意料之外的能力。
最近的一项工作进一步提出了一个问题：我们能不能从静态物体走向动态物体？比如微波炉、牛顿摆、水龙头。这些物体都有一些特定的交互方式。除了几何、纹理和材质之外，物体还有另一个重要属性，那就是它的可供性，也就是它在特定环境下能够做什么、能够如何被作用。
对人来说，我们天然知道一个物体有哪些可能的使用方式，比如椅子可以坐，门可以打开，杯子可以拿起来。那么，我们能不能从一张图片中学习这种“可供性空间”？这就是我们最近研究的问题。在这项工作中，我们试图捕捉物体的另一个代码维度，也就是它的可供性状态。就像一个物体拥有自己的几何结构，它也拥有自己的状态空间。我们训练了一个非常简单的框架，但结果相当令人惊讶。
当系统进入一个真实场景，比如一个办公室，它可以看到转椅、笔记本电脑、显示器、桌子、椅子等各种物体。一个模型就可以学习不同物体可能出现的状态，以及它们可能发生的形变和交互。
但这时候你可能会提出一个问题。这些物体都是干净的、合成的。如果进入真实世界呢？真实世界里的物体很乱，扫描结果也不完美。所以我们进一步测试了真实办公室。我们直接用iPhone扫描房间，扫描结果当然不完美，里面有大量噪声，也有很多伪影。
但即使输入如此粗糙，我们的系统依然能够实现零样本泛化。它可以从这些带有噪声的重建结果中，推断物体可能具有怎样的交互方式，从微波炉到洗碗机，再到冰箱。尽管输入很粗糙，系统依然能够泛化到真实世界中的物体。我认为这是一件很有意思的事情。
04
两条路径
这是第一种思路。它比我最开始预想的走得更远。通过一个非常简单的想法，也就是从分布中采样物理代码，我们可以从非常少的数据中得到大量信息，包括几何、纹理、骨架结构、形态，甚至运动学状态。但这条路径也存在明显的限制。你需要建立一个完整的重建循环，先提取物理代码，然后通过可微分模拟把输入重新构建出来。如果你拥有大量领域知识，这当然很好。如果这些知识足够准确，在很多情况下也能很好地工作。
但问题是，我们对物理世界的了解其实远没有想象中那么完整。我们知道很多物理规律，但我们不知道的更多，而且很多工程知识本身也只是近似，并不完全准确。
所以这里存在很多限制。第一，模拟器需要能够进行微分，才能进行端到端训练，有些模拟器可以做到这一点，但需要近似。第二，即使能够微分，也不意味着它足够准确。第三，即使它既准确又可微分，它还必须足够快。比如可微分光线追踪，它可以非常准确，但计算速度仍然可能成为问题。
所以，当物理模拟器受到这么多约束时，我们往往不得不加入一些假设，比如场景里只有一个物体，背景是干净的，光照条件是已知的。这些假设在一些科学和工程领域当然有价值。但如果我们面对的是更加一般的真实世界场景，其中很多东西甚至还没有被我们很好地建模，那该怎么办？这就引出了第二条路径。
第二条路径，让基础模型落地于代码。
现在我们进入了基础模型时代。越来越大的模型，在越来越大的数据集上训练，视频生成模型也变得越来越逼真。于是我们开始思考：这些视频模型能不能帮助我们生成关于物理世界的知识？我们能不能从这些模型中提取出世界的内在属性？第二条路径的核心思想是：既然我们已经拥有了强大的基础模型，那么我们不一定需要自己构建所有的可微分模拟器。我们可以把那些内在的物理代码直接作为学习目标。首先明确我们真正关心的信息是什么，然后利用这些强大的基础模型去实现它。
举一个例子。假设你有一个3D场景，里面有多个物体，你还有一个文本提示。这其实带来了一个额外的好处，语言可以帮助我们控制输出。比如输入一个3D场景，再加入一句话：一个孩子跳上跷跷板，旁边是一堆明亮的篝火。我们的目标是：能不能生成一个真正遵循这个文本描述的四维场景？总体来说，我们可以这样做。先把包含多个物体的3D场景转换成一种三维表示，比如3D Gaussian Splatting，然后加入时间维度，把它扩展成四维表示，接着从这个底层四维表示中渲染出视频。
再利用预训练的视频模型，判断生成的视频与文本提示之间是否一致。技术上，这属于Score Distillation Sampling，也就是分数蒸馏采样。通过视频模型给出的分数，我们可以获得梯度，并利用梯度不断更新底层的三维和四维表示。概念上它很简单，但真正做起来非常困难。3D已经很难，4D更难，因为维度更高，搜索空间也更大。所以我们需要针对不同部分设计专门的数据结构和表示方式，也可能需要在空间和时间两个维度上使用层次化结构。
05
从生成到交互，
动作条件下的四维世界
我们还进一步研究了物体的生命周期。比如一朵玫瑰，如果你只看它的几何、纹理和材质，你得到的是一个静态物体，但玫瑰还会生长，它有自己的生命周期。所以，我们希望捕捉的不只是“它是什么”，还包括“它如何变化”。现在，我们可以从一个物体的分布中，进一步采样它在不同时间点的状态。于是，你可以从不同视角看到一朵玫瑰在不同生命周期阶段的状态。接下来，我们开始进入多物体、带条件动作的场景。比如一个机器人手臂抓起一块砖。
系统需要学习的不只是机器人手臂长什么样，也不只是砖块长什么样，它还需要学习机器人手臂如何运动，砖块如何移动，以及两者如何发生交互。预训练视频模型本身已经非常擅长捕捉真实视频中的视觉规律，但我们希望从中提取更多东西，不仅是初始的3D几何，还包括物体随时间发生形变的方式，以及不同物体之间发生交互的方式。
同时，因为我们加入了语言条件，不同场景还可以对应不同的语言输入和不同的输出。比如一个标准球和一个篮球，我们告诉系统“篮球被弹出去”，它就可以生成对应的运动过程。
再比如一只猫，我们从一个网格开始，加入一只猫，然后输入文本提示“一只猫跳上坐垫”，系统就可以生成猫与坐垫之间的交互过程。但这里有一个非常重要的限制。这种方法本质上是在生成随时间变化的序列，它可以看起来像物体在互动，但这并不意味着系统真正理解了动力学，它更多是在描述运动学。比如，你仔细观察一个例子，会发现猫还没有落到坐垫上，坐垫就已经开始变形了。这说明系统生成的是一种视觉上合理的运动过程，而不是真正遵循物理因果关系的动力学过程。
所以，它还不是完整的物理模拟。但即使如此，它对某些应用仍然非常有用，比如机器人训练。我们可以生成大量人手与布料交互的视频，因为这些视频是系统生成的，所以我们拥有完整的记录。我们可以得到物体随时间变化的三维密集追踪数据，这些数据可以直接作为机器人模仿学习的训练数据。机器人可以学习人手如何抓取、拉伸和改变布料。更有意思的是，我们甚至不需要给机器人提供真实的人类演示，只需要告诉它要完成什么任务，然后它就可以根据这些生成的交互数据学习完成动作。
今年，我们还进一步尝试进入更加基础的物理层面。之前我们做的是把一个静态物体扩展到四维，但现在的问题变成了：如果我对它施加一个动作，它到底会发生什么？比如一朵花，如果我打开它，它会如何响应？这就是真正的动作条件预测。这里最大的挑战是，我们需要更准确地描述物体内部的物理属性。花就是一个很好的例子，看起来很简单，但它实际上是一个高度异质的系统，花瓣、花茎和不同部分拥有完全不同的物理属性。所以，我们不能只用一个简单的物理层来描述它，我们需要更加高维的表示。
一旦我们能够建立这样的表示，就可以真正进行动作条件预测，也就是预测物体在受到某个动作之后会发生什么。另一个方向是从单个视频进行三维重建。我们不只是想重建外观和辐射场，还希望重建物体本身的物理属性和物理场，比如弹性。我们能不能从单个视角重建一个物体的弹性？我们也在研究流体如何响应动作。这些结果当然还不是特别清晰，因为与生成模型不同，我们不是根据语言直接生成，而是根据视频进行条件预测，而且我们试图重建的是随时间变化的三维物理场，也就是四维场。但我们可能只有一个视频，观测非常有限，所以这是一个非常困难的问题。
最近，我们还进一步研究了界面动力学，比如液体和气体组成的两相系统。我们用高速相机记录气泡运动，然后试图从极其有限的观测中重建整个系统，不仅要重建气泡的外观和大小，还要捕捉界面速度等关键物理量。这让我们能够从软体、流体、气体，一直走向更加一般的物理世界。
06
两全其美，
物理模拟与视频模型的融合
到这里，我们已经做了很多不同的事情：软体、流体、气体、几何、纹理、材质、物理属性。于是我们开始问：有没有可能把这些东西真正整合到一个系统里？比如，我给你一张图片，你先把它变成3D，然后我施加一个动作，比如抓取或者推动，系统再告诉我这个物体会怎样变化。这就是从图像到3D，再到动作条件下的4D世界。问题是，单纯依赖物理模拟可能不够。原因很简单，第一，我们并不了解所有物理规律；第二，我们的观测通常是不完整的，很多时候我们只有视频，所以系统辨识本身就非常困难。
我们甚至很难知道一个物体真实的质量、状态和内部参数，我们当然不可能拥有一个完美的物理状态。但物理方法有一个非常大的优势，它天然支持动作条件。如果我说，我把这个东西往这里推，那么系统自然就应该回答它接下来会发生什么。与此同时，我们又拥有非常强大的数据驱动方法，尤其是视频模型。视频模型非常通用，它们可以处理各种视频和语言，而且已经从海量数据中学到了大量视觉规律。它们还有一个重要优势，面对不完整的观测，它们通常比传统物理模拟更有弹性。
但视频模型也存在一个根本问题：它们很难接受复杂的动作作为输入。语言当然可以作为一种动作，导航命令也可以，比如向前走、向左转，因为互联网上确实有大量无人机视频、游戏数据可以提供这类训练样本。但复杂的物理动作就完全不同，比如我抓住一个杯子，如果我松开其中一根手指，杯子可能会掉下来，这样的动作空间维度非常高，而且互联网上几乎没有足够的数据可以直接下载。所以，如果没有足够的数据，想让视频模型真正理解复杂动作，可能需要非常长的时间。
于是我们发现，这两类方法其实非常互补，也许我们应该把它们结合起来。回到前面提到的物理代码，它们可以成为学习目标，但现在我们希望它们承担更多作用。如果你已经拥有一个强大的基础模型，那么这些物理代码还可以成为控制和条件化基础模型的中间表示。这样，模型未来就不只是接受语言，它还可以接受物理属性、运动状态，甚至更加复杂的物理条件。它们既可以作为学习目标，也可以作为中间表示。你可以把它们理解成一种脚手架，或者一种接口，它帮助我们更好地与这些强大的基础模型交互。
举一个具体例子。我们可以先从一张图像开始，利用任何一种重建方法，把它恢复成一个场景。当然，这个场景并不完美，会有很多伪影。但如果你把这个场景放进一个物理模拟器，即使输入并不完美，它仍然可以给出一些关于物体如何运动的结果。这些结果当然也不完美，但某种意义上，它提供了一种关于世界的“直觉”。如果我告诉系统我要推动这个物体，它应该如何响应？这些直觉就可以反过来帮助我们优化底层的物理表示。同时，它们也可以作为生成模型的条件，让生成结果更加逼真。
最后，再把生成的视频重新用于优化底层表示，让视觉结果和物理表示真正对齐。这样，我们就同时获得了两种能力：一方面，有一个物理上可信的表示，可以从不同视角观察，也可以与真实物理模拟连接；另一方面，又有一个视觉上逼真的生成结果。这就是我们想要的结合。最近，随着扩散模型推理速度不断提高，这套系统也可以运行得越来越快。在单个GPU上，我们已经可以实现实时帧率的动作条件视频生成。这里有一个实时演示：输入一张图片，然后指定施加在物体上的动作和力，系统可以实时生成物体如何响应这些动作，以及它如何与周围场景发生交互。
如果我们能够真正做到实时生成，那么它对机器人就会非常有意义，因为这意味着我们可以实时预测机器人动作会如何影响周围世界。最终，这种实时生成和模拟甚至可以被直接集成到机器人控制系统中。
07
结语，到底应该建模什么？
最后，我想总结一下。我们一直在尝试做的，是把世界内在的代码，也就是物理参数，与现代学习方法结合起来，构建更加完整的视觉与物理智能。这里有一个非常根本的问题：我们到底应该建模什么？这些先验知识应该如何被捕捉？它们应该如何与基础模型结合？它们又如何帮助我们理解和生成世界？随着时间推移，这些方法当然会发生变化。过去我们加入的一些结构，未来可能不再需要，因为学习系统可能会以更加通用的方式自动捕捉它们。但这并不意味着这些“代码”会失去价值。
即使在数字空间和控制领域，你可能已经不再需要传统意义上的符号化代码作为最终输出，但这些结构依然可以作为一种脚手架，帮助系统规划和搜索更加复杂的动作。所以，我们讨论了几种不同的方式：把物理代码引入系统，把它们作为学习目标，把它们作为中间表示，再把它们与越来越强大的基础模型连接起来。对于更加一般的领域，这些结构依然有价值，因为至少它们可以告诉学习系统我们真正想学习的是什么，它们也可以成为我们与基础模型交互的重要接口。
我还想强调一点。除了物理世界之外，这种思路其实还有更加广泛的意义。当我们研究物理世界时，我们真正想找到的，是那些能够描述世界运行方式的一般规律。如果我们能够找到这些规律，那么一旦改变某个条件，我们就可以预测接下来会发生什么。这意味着，我们不只是获得了更多数据，而是获得了一种更接近因果关系的表示。
所以，物理代码至少带来了两个额外的好处：第一，我们可以利用基础模型从海量数据中学到的知识；第二，当我们真正需要的时候，这些物理表示又让我们能够自然地接入不同的模拟器，并更好地控制基础模型的输出。它可以控制语言，也可以控制物理属性和物体状态。这对于科学应用尤其重要，最终，它也让更多不同类型的应用成为可能。谢谢。
08
Q&A
▎Q1：您展示的结果主要是生成视频。对于这些任务，如何进行大规模、严格的定量评估？
我其实是一个非常强调实验的人。我非常相信实验方法论。所以，如果我要在这样的演讲里展示大量数字和表格，我反而会有些纠结。因为这些工作来自不同的论文，每篇论文都有自己的评估方式和基准。
例如，我们研究流体动力学时，会使用高速相机进行真实数据采集，然后用更加严格的方法重建和测量气泡的真实尺寸。这就是一种很好的评估方式。但不同基准的实验设置差异很大。相机参数不同。视角数量不同。数据采集方式也不同。所以，如果把所有结果放到一个统一的指标体系里，其实非常困难，而且需要大量工作。
这也是为什么我在这种演讲中更愿意展示有代表性的可视化结果。视觉研究有一个很大的优势，就是你可以直接看到结果。与图形学相比，AI 研究同样给了我们一种很直接的展示方式。我们可以让你直接看到系统生成了什么。
▎Q2：您的混合系统与“世界模型”有什么区别？因为世界模型也在处理时间和物理。其次，您之前讲到了视频生成，后来又加入了物理理解。这对于多尺度预测和推理有什么帮助？
我觉得这两个问题其实是联系在一起的。当你问我们的系统和世界模型有什么区别时，首先会遇到一个问题。“世界模型”这个词本身并没有一个非常统一的定义。有人认为世界模型必须拥有 3D 表示。有人认为世界模型只需要能够进行动作条件的视频生成。也有人认为，甚至不需要视频，只需要某种隐式表示就可以。
所以，它其实有点像“通用人工智能”这个词。大家都在使用，但每个人的定义可能并不一样。我认为我们实际上是在用不同的表示方式，捕捉世界的不同方面。对于我们的研究来说，具体采用什么输出格式，取决于应用。
过去很长时间，我们都在使用显式的三维表示，或者至少是能够被渲染成显式表示的结构。这样做的一个好处是，我们可以直接提取物理属性。这对于工程应用尤其重要。因为工程问题往往需要回答非常具体的问题。物体有多大？它会怎样运动？施加某个动作之后会发生什么？
如果你把这种系统称为“世界模型”，当然可以。但最近，我们也在做更多动作条件的视频生成。在这种情况下，系统输出的可能是一段视频。那么，这算不算世界模型？也许算。所以我认为，最终还是要看具体的应用和具体的问题。不同的表示方式，可能只是我们理解和使用世界模型的不同路径。
IJCAI 2026 要来了，你还在单打独斗？
为了方便大家抱团交流、互通会议消息，我们专门建了IJCAI 2026 参会群！进群你会解锁这些「福利」
会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。
同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。
前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。
现场后援团：（会议期间专属开启）：到了会场也不用慌——
路线导航：场馆分布、报告厅怎么走，群里随时问；
议题共读：热门 session、Keynote 现场探讨，错过也能追；
Poster 汇编：现场海报精华整理，一键收藏不遗漏；
约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。
进群传送门：扫码进群或添加微信Qvv0909777，备注：IJCAI+ 单位/学校+姓名+方向。
搞科研/搞技术，信息差很重要。
来，一起快人一步！
上车，带你看遍全球 AI 顶会精华
可独家畅览：
专家演讲PPT
大会报告全文
热门论文解读
学术新星访谈
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。
扬帆配资提示：文章来自网络，不代表本站观点。
