ballbet贝博·艾弗森官网

李飞飞:使用世界模型不用等5年!只靠LLM不可能实现AGI!曝世界模型数据构建策略:真实+仿真数据的多模态混合叠加!
栏目:体育动态 发布时间:2026-02-14 11:37:57

  在最近Cisco AI峰会的公开对谈中,AI教母、斯坦福大学教授李飞飞,再次为业界带来了一场关于世界模型的最新进展。

  为了佐证这个观点,李飞飞把讨论直接拉回到一个AI圈并不常用、但她本人极为看重的参照系:进化史。

  从进化角度看,最早触发神经系统“军备竞赛”的,并不是语言而是感知。早在五亿多年前,动物就已经开始感知光、触碰环境,逐步学会在真实世界中导航、避险、互动。而语言,即便用非常宽松的标准来估计能也只有五十万年,甚至更短,是一种极其晚近的智能形态。

  理解、推理、与现实世界互动,以及在真实的三维、四维物理世界中导航的能力,与语言智能同样基础,甚至更加原始。

  也正因为如此,她认为今天的AI路线出现了一种结构性偏差,我们正在不断强化“会说话的智能”,却迟迟没有补上“理解世界的智能”。

  这也是她在两年前创立World Labs 的根本动机。这家公司并不是要再做一个更强的语言模型,而是押注在一个当下仍然小众、但她认为不可绕过的方向上:空间智能与世界模型。

  空间智能并不是生成几段视频、几张3D 图像,而是让机器具备一种能力:在真实的三维、甚至四维物理世界中,理解结构、保持一致性、进行推理,并与环境交互。语言,在这里更像是接口,而不是核心。

  跟马斯克等激进派所说的“1年或3年内实现AGI”的说法不同,李飞飞表示自己始终不喜欢做过度承诺。“北极星的位置很清楚,并不意味着通往它的路很短。”

  以自动驾驶为例:2006 年,学术界就已经做出了可以在沙漠中连续行驶上百英里的原型车;但直到20年后,Waymo才真正开始在城市道路中规模化运行。

  在她看来,空间智能和通用机器人,面临的是一个比自动驾驶维度更高、难度更大的问题。

  这在问题维度上要高得多。再加上手部操作的仿真、精细视觉、空间理解能力,以及训练数据的匮乏,这些因素叠加在一起,使得挑战异常巨大。

  就像150年前的电力行业的成功,不是某项具体指标,而是学校被照亮、家庭变得温暖、工业化进程得以推进,人类寿命因此延长。

  此外,对于通用机器人领域,李飞飞也透露了不少干货。比如在克服训练数据匮乏的挑战方面,团队采用了一种多模态叠加的混合策略。

  主持人:很高兴在过去一年里看到World Labs 取得的进展。我们不妨从你们正在做什么、以及为什么这件事如此重要谈起。

  李飞飞:现在我每天醒来,脑子里几乎只想着一件事——空间智能。这是我大约两年前和一群年轻的技术人员共同创立的一家公司,名字叫World Labs。

  为什么空间智能如此重要?为什么我认为它是AI的下一个前沿?如果从进化的角度来看智能的发展,这条路径其实可以追溯到五亿多年前。最早引发神经系统进化“军备竞赛”的,并不是语言,而是感知。与感知相比,语言是一种非常新的智能形式。即便用非常宽松的标准来估计,语言的历史可能也只有五十万年,甚至更短;而在五亿多年前,动物就已经开始感知光、触碰环境,也就是触觉和视觉感知。

  李飞飞:“本能”是一个很有意思的词。在我看来,它是一个相对模糊的概念。我并不是否定这个词,但如果从物理层面来看,真正触发神经系统发展的,是触觉和视觉感知。

  正是这些感知能力开启了进化的“军备竞赛”,让动物越来越积极地与环境互动,也变得越来越聪明。我想强调的是:理解、推理、与现实世界互动,以及在真实的三维、甚至四维物理世界中导航的能力,与语言智能同样基础。而其中的关键技术,就是空间智能。这也是为什么我认为空间智能代表了AI的下一代、下一个前沿,而这正是World Labs 一直在构建的方向。

  主持人:那能不能具体讲讲最近发布的 Marble?Marble 是什么?

  李飞飞:Marble 是我们第一代空间智能模型的名字。我们平时比较随意地把它称为“世界模型”,但说实话,“世界模型”这个词有很多不同的定义,是否使用这个称呼本身并不重要。

  它的本质是一个空间智能模型,一个前沿模型。Marble 可以接收多模态输入:一句话、一张图片、一段视频、几张图片,甚至是一个简单的 3D 输入,都没有问题。它会将这些输入转化为一个完全可导航、可交互的三维世界。

  这个世界具有长期一致性,这与当前很多视频模型非常不同,同时它还具备明确的几何结构,可以支持机器人动作仿真、游戏开发等多种应用。Marble 大约在两个月前发布,目前还只是第一代模型。我们对这段旅程感到非常兴奋,它现在仍然是最先进的3D生成式世界模型之一。

  主持人:有一种观点认为,如果只依赖语言模型,是无法走向AGI 的,必须引入物理世界的维度。你显然也认同这一点。你能不能谈谈这个维度?随着时间推移,真正的“突破”会发生在哪里?除了机器人之外,五年后我们还能用世界模型做哪些今天还想不到的事情?

  李飞飞:事实上,你甚至不需要等五年。我们已经在和用户、客户一起,体验并探索这一代世界模型的早期形态。

  我们看到有人用 Marble 来开发游戏;也看到VFX用户和客户在商业级虚拟制作场景中使用它。我们还在与英伟达这样的公司,以及一些初创企业和学术实验室合作,把 Marble 作为机器人训练环境。

  建筑师和设计师也在用它进行室内设计和其他类型的设计。除此之外,还有一些非常出乎意料的用例。比如,一些临床研究人员主动找到我们,对 Marble 表现出极大的兴趣。

  原来,很多精神病学和心理健康研究,以及相关干预,都需要高度沉浸、并且高度个性化的环境。以强迫症为例,许多患者会被非常具体的情境触发。就我个人而言,我会被脏衣服触发,但显然每个人的触发点都不同。研究人员长期以来很难获得这些高度定制的环境,而 Marble 可以在几分钟内,通过反复提示生成大量不同的场景供研究使用。

  这对我们来说是一个非常惊喜的应用方向。我们也看到有人将它用于身心健康和健身训练,比如构建个性化的瑜伽环境。我认为,随着 Marble 不断变得更好——而我们现在仍然处在非常早期的阶段——未来会出现越来越多横向扩展的应用场景。

  主持人:不是这个意思。我是说,你不是那种“只看了三年 AI”的人,而是真正把一生投入到 AI 的那种人。在创办这家公司、思考空间智能的过程中,最让你感到意外的是什么?

  李飞飞:这是一个很好的问题。你我都一样,即使到了我们这个年纪,最重要的事情仍然是学习,以及对学习本身的渴望。

  我在这个领域已经很多年了。最初进入AI,其实源于一种非常个人化的好奇心:我一直在问一个大胆的问题——什么是智能?如何让机器具备智能?在那个年代,AI完全是个人兴趣,几乎没人关心,世界甚至不知道如何拼写“AI”。那是一段非常有意思的时光。

  而在过去十年里,一切都发生了变化。AI不再只是个人层面的研究,它已经上升到了文明层面。这让我多了一层责任感:不仅要在技术上做出贡献,也要作为教育者,为AI的健康发展尽一份力。

  作为一名创业者,有几件事让我格外震撼。第一,过去几年AI发展的速度,快到令人窒息。不管是否愿意承认,很多人内心都有一种焦虑:要读的论文太多了,博客太多了,新闻太多了,模型发布也太频繁了。这种焦虑本身,恰恰说明了我们所处的时代,这项技术正以惊人的速度向前推进。

  这让我既感到兴奋,也让我保持谦卑,意识到自己真正理解的其实非常有限。有一句名言是“我什么都不知道”,即使像我这样的人,也会有同样的感受。我希望你能把这一点传递给读者:我们所有人都会有这种感觉,但不要因此放弃学习,要持续保持好奇心。

  另一件让我感到惊讶、也持续让我担忧的,是围绕AI的极端化话语。在网络空间中,太多精力被消耗在两个极端上:一端是彻底的技术乌托邦,仿佛技术永远不是一把双刃剑;另一端是彻底的末日论,仿佛人类每一刻都面临生存危机。

  这两种态度,都不足以负责任地讨论一项如此深刻影响文明走向的技术。技术确实是双刃剑,但真正的决定权在我们每一个人手中——包括创业者、产品经理、企业领导者、软件工程师,乃至每一位公民。我们都有责任去决定,这项技术将被引向何方。

  我线年以及更远的未来开始,我们能够跳出这两个极端,用更细腻、更善意的方式来讨论AI:既保持用技术造福社会的乐观,也保持负责任使用技术的自觉,而不是单纯追逐点击量。

  AI成功的标准是什么?类比电力的成功:学校被照亮,家庭变温暖,工业化进程加快

  主持人:在你看来,未来几年AI的“成功”应该是什么样子?我很喜欢你刚才对当前两极化观点的描述:一边认为“所有工作都会消失,人类只能对着大海发呆”,另一边则认为“这项技术完全没用,什么也做不了”。

  李飞飞:如果我们把时间倒回150 年前,具体是哪几年我也记不清了。假设当时也有两个“我们”站在台上讨论“电力的成功意味着什么”,我希望至少有人能够想象这样一幅图景:学校被照亮,家庭变得温暖,机器获得动力并推动工业化进程,人类寿命得以延长,更多孩子能够在适龄时接受教育。

  这就是技术的意义,也是AI的意义——一种跨越时代的价值。所谓“成功”,并不是某个指标的提升,而是文明整体变得更好。而文明是由每个个体在追求幸福、追求繁荣、并以尊严生活的过程同塑造的。这不仅是AI的成功标准,也是所有技术的成功标准。

  主持人:那我们稍微转到更偏战术层面的问题:大型世界模型在计算成本上,会和语言模型一样昂贵吗?它们是更“重”,还是更“轻”?

  李飞飞:这是一个很好的问题。首先需要说明的是,“世界模型”本身就存在不同类型。我们非常坚定地致力于构建具有显式3D、4D 表征的世界模型,用来赋能机器人、游戏、娱乐、设计等领域;同时,市面上也有一些被称为“世界模型”的,其实更接近视频生成模型。

  从规模上看,目前这一领域中的模型还没有大到像最大的语言模型那样。如果我没记错的线FLOPs 左右,而我们的 Marble 模型在规模上仍然要小好几个数量级。

  李飞飞:我认为原因是多方面的。数据当然非常重要,缩放定律本身就是从数据规模和模型参数规模开始的;但同时,这个领域整体也仍然处在较早期阶段。

  如果从2016年Transformer 论文发表算起,语言模型已经发展了将近10年;而世界模型是一个更新的研究方向。我们现在处在一个相对早期、但已经越过最初阶段的位置。过去两年里,我们在科学层面已经消除了一些主要风险,但在模型架构上仍在持续探索。因此,目前模型规模相对较小是可以理解的。

  不过,考虑到World Labs在过去几年取得的进展,以及整个领域的发展趋势,我认为未来两到三年会非常令人兴奋,我们将真正开始“乘上”大型世界模型的缩放曲线。

  主持人:我记得你之前提到过一个让我印象很深的观点:语言模型训练依赖的是互联网上大量免费、公开的数据,因此很容易积累到极大的规模;但物理世界的数据获取要困难得多,这就使得合成数据变得非常重要,而真实世界数据的采集节奏也慢得多。能不能谈谈这种约束意味着什么?世界模型的发展速度会不会因此慢于语言模型?这又会如何影响机器人领域,未来会是通用机器人,还是更多专用机器人?

  我们可以先谈数据,再谈通用机器人。这两者彼此相关,但中间也存在不少细微差别。以World Labs为例,很多人都会问我们的数据策略。具体细节我不能展开太多,但有一点可以明确:我们采用的是混合数据策略。

  坦率地说,我非常羡慕从事语言模型研究的同行。语言模型的输入和输出几乎都是完全可观测的,本质上是单一模态的文本,而且文本本身相对“干净”,词汇和语义边界清晰。但物理世界无论是像素还是体素要混乱得多。

  为了推动3D、4D世界生成的技术边界,我们并没有足够规模的3D、4D数据可以直接用来训练模型,因此必须采用多模态叠加的混合方式:既使用互联网规模的文本、图像和视频数据,也使用模拟数据,还需要所谓的“真实世界采集数据”。

  一个典型例子是自动驾驶。无论是特斯拉、Waymo还是其他公司,都是花费了多年甚至几十年时间,持续采集真实世界数据,并将其与模拟数据结合使用。世界模型的构建也需要采用类似的方法。

  那么,这是否意味着世界模型的发展会更慢?这是一个非常有意思的问题,因为这里存在多种相互作用的因素。一方面,进入这一领域的人更多,算力更强,芯片更先进,生态也更加成熟。例如,我们现在能够合作的数据供应商,在三年前甚至都还不存在;另一方面,合成数据的质量和效果也在持续提升,正在显著提高整体效率。

  此外,我们正在构建的模型本身,也会反过来成为机器人领域的高质量模拟数据,从而形成一种飞轮效应。说到通用机器人,我在斯坦福运行机器人学习实验室已经十多年了。我对机器人充满期待,但作为一名科学家,我也必须承认,这是一个极其困难的问题。北极星的位置很清楚,并不意味着通往它的路很短。

  回想2006 年,我的同事Sebastian Thrun带领斯坦福团队,制造出了第一辆能够在内华达沙漠中连续行驶138英里的自动驾驶汽车。当时,很多人宣布“自动驾驶时代已经到来”。但直到20年后,Waymo才真正开始在旧金山以及其他一些大城市的公共道路上运行。

  汽车本质上是一个在二维平面上移动、近似方形的机器人,其最核心的目标是“不要撞到东西”;而机器人则是一个真正意义上的三维系统,无论是否具有人形,都必须在三维世界中工作。而通用机器人的目标恰恰是“要去接触物体,而且还不能把它们弄坏”。

  这在问题维度上要高得多。再加上手部操作的仿真、精细视觉、空间理解能力,以及训练数据的匮乏,这些因素叠加在一起,使得挑战异常巨大。

  这正是我创立World Labs的原因,这是一个极其重要的问题,我们希望去尝试解决它,但我也始终不喜欢做过度承诺。

  主持人:给在场的企业界朋友一些建议吧。他们应该如何看待世界模型、物理AI,以及你正在思考的这一切?另外我也必须说一句,没有你的Cisco AI 峰会,总感觉不太完整,所以我们之后还会继续邀请你。

  李飞飞:谢谢,那我就等着我的周边礼物了(笑)。从企业的角度来看,尤其是在世界模型和空间智能这个方向上,我认为这是一个高度面向企业的技术领域。World Labs非常欢迎与企业伙伴进行交流与合作。

  这是一项横向技术。我们已经谈到了机器人、仿真、沉浸式互动娱乐,但还远没有覆盖全部场景。医疗、教育、现场服务、金融、农业、制造、检测、仓储,以及城市和城市规划等领域,都有巨大的空间。空间智能能够做的事情还有很多。

  我确实认为,这是AI的下一个前沿,也诚挚邀请大家与我们一起,或者以你们自己的方式,投入到这个方向中来。