李飞飞的全新世界模型问世！一张英伟达AI芯片就能生成无限3D世界

\u003cdiv class=\"rich_media_content\"\u003e\u003cp data-exeditor-arbitrary-box=\"image-box\"\u003e\u003c!--IMG_0--\u003e\u003c/p\u003e\u003cp class=\"qqnews_image_desc\" style=\"color: #666; font-size: 14px; text-align: center\"\u003e\u003c!--NO_READ_BEGIN--\u003eWorld Labs联合创始人兼CEO李飞飞（图片来源：彭博）\u003c!--NO_READ_END--\u003e\u003c/p\u003e\u003cp\u003e“AI教母”、美国华人科学家、斯坦福大学计算机科学教授、World Labs联合创始人兼CEO李飞飞的全新“世界模型”问世。\u003c/p\u003e\u003cp\u003e\u003cstrong\u003e\u003c!--AIPOS_0--\u003e10月17日消息，李飞飞的World Labs于今晨发布全新实时生成式世界模型——RTFM（Real-Time Frame Model，实时帧模型）。\u003c/strong\u003e\u003c/p\u003e\u003cp\u003e\u003cstrong\u003e据悉，RTFM\u003c/strong\u003e是一款基于大规模视频数据进行端到端训练、效率极高的自回归扩散Transformer模型。其核心突破在于不依赖显式3D表征，仅通过输入1张或多张 2D图像，就能直接生成不同视点的全新2D图像，被业内称为“学会渲染的 AI”。通过训练，该模型已能精准建模3D几何、反射、阴影等复杂物理现象，还可利用稀疏照片重建真实地点。\u003c!--MID_AD_0--\u003e\u003c!--EOP_0--\u003e\u003c/p\u003e\u003c!--PARAGRAPH_0--\u003e\u003cp\u003e\u003cstrong\u003e\u003c!--AIPOS_1--\u003e李飞飞表示，仅需一块\u003c!--SECURE_LINK_BEGIN_0--\u003e英伟达\u003c!--SECURE_LINK_END_0--\u003eH100 GPU芯片，RTFM模型就能实时渲染出持久且3D一致的场景，无论是真实空间还是虚拟想象场景，均可实现交互式体验。\u003c/strong\u003e\u003c/p\u003e\u003cp\u003e“那些能随算力增长优雅扩展的简洁方法终将在AI领域占据主导，因为它们能享受数十年来推动技术发展的算力成本指数级下降红利。生成式世界模型正处在绝佳位置，必将从持续降低的算力成本中获益。”李飞飞团队在文章中表示。\u003c/p\u003e\u003cp data-exeditor-arbitrary-box=\"image-box\"\u003e\u003c!--IMG_1--\u003e\u003c/p\u003e\u003cp\u003e对此，前谷歌高级工程师Rui Diao发文评价称，RTFM最新成果真正解决了，长期困扰世界模型可扩展性的问题。\u003c/p\u003e\u003cp\u003e\u003cstrong\u003e实际上，\u003c/strong\u003e所谓空间智能，是指人们或机器在三维空间中的感知、理解和交互能力。这一概念最早由美国心理学家\u003c!--SECURE_LINK_BEGIN_1--\u003e霍华德·加德纳\u003c!--SECURE_LINK_END_1--\u003e（Howard Gardner）在多元智能理论中提出，让大脑中形成一个外部空间世界的模式，并能够运用和操作。\u003c/p\u003e\u003cp\u003e空间智能让人有能力以三度空间的方式来思考，使人知觉到外在和内在的影像，也能重现、转变或修饰影像，从而能够在空间中从容地游走，随心所欲地操弄物件的位置，以产生或解读图形的讯息。\u003c/p\u003e\u003cp\u003e从广义上看，空间智能不仅包括对空间方位的感知能力，还包括视觉辨别能力和形象思维能力。而对于机器而言，空间智能则是指其在三维空间中的视觉数据处理能力，能够精准作出预测，并基于这些预测采取行动。这种能力使得机器能够像人类一样在复杂的三维世界中导航、操作和决策，从而超越传统二维视觉的局限。\u003c!--MID_AD_1--\u003e\u003c!--EOP_1--\u003e\u003c/p\u003e\u003c!--PARAGRAPH_1--\u003e\u003cp\u003e李飞飞曾坦言，视觉能力引发了寒武纪大爆发，神经系统的进化带来了智能。“我们想要的不仅仅是能看会说的 AI，我们想要的是能做的 AI。”\u003c/p\u003e\u003cp\u003e而随着新一轮生成式AI技术的到来，“空间智能+世界模型”成为\u003c!--VERTICAL_CARD_BEGIN_0--\u003eAGI\u003c!--VERTICAL_CARD_END_0--\u003e重要发展路径之一。强大的世界模型能够实时重建、生成并模拟具有持久性、可交互且物理精确的世界，这类模型技术将彻底改变软件、机器人等很多领域和产业。\u003c/p\u003e\u003cp\u003e在李飞飞看来，空间智能与世界模型是解决 AI 技术难题的关键法宝。\u003c/p\u003e\u003cp\u003e相对于其他世界模型技术，李飞飞团队认为，在世界模型的性能不变下，需要减少单卡算力资源投入，用性价比更高的方式解决世界模型和空间智能的实时交互问题。\u003c/p\u003e\u003cp\u003e若直接套用现有视频架构，生成60帧的4K交互视频流每秒需产生超过10万个token（约等于《弗兰肯斯坦》或首部《哈利·波特》的篇幅），而要维持一小时以上的持续交互，需处理的上下文token更将突破1亿大关，但基于当前计算基础设施，这既不可行也不具备经济性。\u003c!--MID_AD_2--\u003e\u003c!--EOP_2--\u003e\u003c/p\u003e\u003c!--PARAGRAPH_2--\u003e\u003cp\u003e因此，今年3月，李飞飞联合Ben Mildenhall、Justin Johnson、Christoph Lassner三位学者创立World Labs，并研发出RTFM——具备高效性、可扩展性、持久性三大核心优势。\u003c/p\u003e\u003cp\u003e其中，高效性体现在单块H100 GPU即可支撑交互式帧率推理；可扩展性方面，其通用端到端架构能随数据与算力增长不断优化；持久性则依靠“带位姿帧空间记忆”与“上下文调度”技术，实现世界场景“永不消逝”，用户长时间交互也能保持场景一致性。\u003c/p\u003e\u003cp data-exeditor-arbitrary-box=\"image-box\"\u003e\u003c!--IMG_2--\u003e\u003c/p\u003e\u003cp\u003e\u003cstrong\u003e融资方面，\u003c/strong\u003e今年9月，World Labs宣布获得2.3亿美元（约合人民币16亿元）融资，由a16z、NEA恩颐投资和Radical Ventures领投，\u003c!--SECURE_LINK_BEGIN_2--\u003eAMD\u003c!--SECURE_LINK_END_2--\u003e、\u003c!--SECURE_LINK_BEGIN_3--\u003eAdobe\u003c!--SECURE_LINK_END_3--\u003e、Databricks的风投部门和Shinrai Investments LLC，更有黄仁勋执掌的英伟达创投部门参与投资。\u003c!--MID_AD_3--\u003e\u003c!--EOP_3--\u003e\u003c/p\u003e\u003c!--PARAGRAPH_3--\u003e\u003cp\u003e公司团队约24人，其中包括李飞飞在内共4位联合创始人，而华人面孔约占据了三分之一。\u003c/p\u003e\u003cp\u003e\u003cstrong\u003e公开报道显示，World Labs成立3个月估值便达到10亿美元（约合70亿元）。\u003c/strong\u003e\u003c/p\u003e\u003cp\u003e\u003cstrong\u003e对于World Labs未来规划，\u003c/strong\u003e投资人曾透露，李飞飞团队第一阶段将构建一个对三维、物理以及空间和时间概念有深入理解的空间智能大模型LWM；接下来大模型将支持AR；再之后，大模型将作用于机器人技术，改进自动驾驶汽车、自动化工厂、人形机器人等领域。\u003c/p\u003e\u003cp\u003e李飞飞表示，团队最早将在2025年推出产品，并表示现在只是刚起步，在盈利模式等问题上有很多边界需要突破，相信团队能够解决。\u003c/p\u003e\u003cp\u003e\u003cstrong\u003e\u003c!--AIPOS_2--\u003e除了World Labs，李飞飞还在打造Behavior视觉挑战比赛，希望能复制当年ImageNet的成功\u003c/strong\u003e——ImageNet已成为深度学习革命的关键催化剂，并正式开启以深度学习为核心的AI热潮，因此李飞飞被视为“让AI真正看懂世界”的推动者之一。\u003c/p\u003e\u003cp\u003e李飞飞认为，创建Behavior的灵感来自我们在机器人学习中遇到的三个主要痛点：1、任务缺乏标准化，研究往往依赖随机设定，导致不同论文之间难以比较；2、缺乏统一的任务体系，很多研究任务非常短、非常局限；3、缺乏训练数据。\u003c/p\u003e\u003cp\u003e今年10月，李飞飞正式发布了Behavior 1K，也就是Behavior 1000挑战。\u003c/p\u003e\u003cp\u003e\u003cstrong\u003e这是一个面向\u003c!--VERTICAL_CARD_BEGIN_1--\u003e具身智能\u003c!--VERTICAL_CARD_END_1--\u003e与机器人研究的综合仿真基准与训练环境。它包含了1000个任务，主要聚焦在日常家庭环境中的“长时序任务”（long-horizon tasks）\u003c/strong\u003e，也就是需要多个动作步骤才能完成的真实任务。Behavior为全球研究者提供了一个开放源码的训练与评测平台，让不同机构可以在相同标准下训练算法、进行比较和评估。\u003c!--MID_AD_4--\u003e\u003c!--EOP_4--\u003e\u003c/p\u003e\u003c!--PARAGRAPH_4--\u003e\u003cp\u003e“更让我兴奋的是，我们正处在一个文明性的转折时刻：语言、空间、视觉、具身智能等多种AI技术正在融合，并开始真正改变人类社会。只要我们始终把‘以人为本’放在心中，这些技术就能成为造福人类的力量。”李飞飞近期表示。\u003c/p\u003e\u003cp\u003e李飞飞团队表示，未来World Labs将进一步增强模型动态场景模拟与用户交互功能，更大规模模型有望带来更优性能。\u003cstrong\u003e（本文作者｜林志佳）\u003c/strong\u003e\u003c/p\u003e\u003cdiv powered-by=\"qqnews_ex-editor\"\u003e\u003c/div\u003e\u003cstyle\u003e.rich_media_content{--news-tabel-th-night-color: #444444;--news-font-day-color: #333;--news-font-night-color: #d9d9d9;--news-bottom-distance: 22px}.rich_media_content p:not([data-exeditor-arbitrary-box=image-box]){letter-spacing:.5px;line-height:30px;margin-bottom:var(--news-bottom-distance);word-wrap:break-word}.rich_media_content{color:var(--news-font-day-color);font-size:18px}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content p:not([data-exeditor-arbitrary-box=image-box]){letter-spacing:.5px;line-height:30px;margin-bottom:var(--news-bottom-distance);word-wrap:break-word}body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content{color:var(--news-font-night-color)}}.data_color_scheme_dark .rich_media_content p:not([data-exeditor-arbitrary-box=image-box]){letter-spacing:.5px;line-height:30px;margin-bottom:var(--news-bottom-distance);word-wrap:break-word}.data_color_scheme_dark .rich_media_content{color:var(--news-font-night-color)}.data_color_scheme_dark .rich_media_content{font-size:18px}.rich_media_content p[data-exeditor-arbitrary-box=image-box]{margin-bottom:11px}.rich_media_content\u003ediv:not(.qnt-video),.rich_media_content\u003esection{margin-bottom:var(--news-bottom-distance)}.rich_media_content hr{margin-bottom:var(--news-bottom-distance)}.rich_media_content .link_list{margin:0;margin-top:20px;min-height:0!important}.rich_media_content blockquote{background:#f9f9f9;border-left:6px solid #ccc;margin:1.5em 10px;padding:.5em 10px}.rich_media_content blockquote p{margin-bottom:0!important}.data_color_scheme_dark .rich_media_content blockquote{background:#323232}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content blockquote{background:#323232}}.rich_media_content ol[data-ex-list]{--ol-start: 1;--ol-list-style-type: decimal;list-style-type:none;counter-reset:olCounter calc(var(--ol-start,1) - 1);position:relative}.rich_media_content ol[data-ex-list]\u003eli\u003e:first-child::before{content:counter(olCounter,var(--ol-list-style-type)) '. ';counter-increment:olCounter;font-variant-numeric:tabular-nums;display:inline-block}.rich_media_content ul[data-ex-list]{--ul-list-style-type: circle;list-style-type:none;position:relative}.rich_media_content ul[data-ex-list].nonUnicode-list-style-type\u003eli\u003e:first-child::before{content:var(--ul-list-style-type) ' ';font-variant-numeric:tabular-nums;display:inline-block;transform:scale(0.5)}.rich_media_content ul[data-ex-list].unicode-list-style-type\u003eli\u003e:first-child::before{content:var(--ul-list-style-type) ' ';font-variant-numeric:tabular-nums;display:inline-block;transform:scale(0.8)}.rich_media_content ol:not([data-ex-list]){padding-left:revert}.rich_media_content ul:not([data-ex-list]){padding-left:revert}.rich_media_content table{display:table;border-collapse:collapse;margin-bottom:var(--news-bottom-distance)}.rich_media_content table th,.rich_media_content table td{word-wrap:break-word;border:1px solid #ddd;white-space:nowrap;padding:2px 5px}.rich_media_content table th{font-weight:700;background-color:#f0f0f0;text-align:left}.rich_media_content table p{margin-bottom:0!important}.data_color_scheme_dark .rich_media_content table th{background:var(--news-tabel-th-night-color)}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content table th{background:var(--news-tabel-th-night-color)}}.rich_media_content .qqnews_image_desc,.rich_media_content p[type=om-image-desc]{line-height:20px!important;text-align:center!important;font-size:14px!important;color:#666!important}.rich_media_content div[data-exeditor-arbitrary-box=wrap]:not([data-exeditor-arbitrary-box-special-style]){max-width:100%}.rich_media_content .qqnews-content{--wmfont: 0;--wmcolor: transparent;font-size:var(--wmfont);color:var(--wmcolor);line-height:var(--wmfont)!important;margin-bottom:var(--wmfont)!important}.rich_media_content .qqnews_sign_emphasis{background:#f7f7f7}.rich_media_content .qqnews_sign_emphasis ol{word-wrap:break-word;border:none;color:#5c5c5c;line-height:28px;list-style:none;margin:14px 0 6px;padding:16px 15px 4px}.rich_media_content .qqnews_sign_emphasis p{margin-bottom:12px!important}.rich_media_content .qqnews_sign_emphasis ol\u003eli\u003ep{padding-left:30px}.rich_media_content .qqnews_sign_emphasis ol\u003eli{list-style:none}.rich_media_content .qqnews_sign_emphasis ol\u003eli\u003ep:first-child::before{margin-left:-30px;content:counter(olCounter,decimal) ''!important;counter-increment:olCounter!important;font-variant-numeric:tabular-nums!important;background:#37f;border-radius:2px;color:#fff;font-size:15px;font-style:normal;text-align:center;line-height:18px;width:18px;height:18px;margin-right:12px;position:relative;top:-1px}.data_color_scheme_dark .rich_media_content .qqnews_sign_emphasis{background:#262626}.data_color_scheme_dark .rich_media_content .qqnews_sign_emphasis ol\u003eli\u003ep{color:#a9a9a9}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content .qqnews_sign_emphasis{background:#262626}body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content .qqnews_sign_emphasis ol\u003eli\u003ep{color:#a9a9a9}}.rich_media_content h1,.rich_media_content h2,.rich_media_content h3,.rich_media_content h4,.rich_media_content h5,.rich_media_content h6{margin-bottom:var(--news-bottom-distance);font-weight:700}.rich_media_content h1{font-size:20px}.rich_media_content h2,.rich_media_content h3{font-size:19px}.rich_media_content h4,.rich_media_content h5,.rich_media_content h6{font-size:18px}.rich_media_content li:empty{display:none}.rich_media_content ul,.rich_media_content ol{margin-bottom:var(--news-bottom-distance)}.rich_media_content div\u003ep:only-child{margin-bottom:0!important}.rich_media_content .cms-cke-widget-title-wrap p{margin-bottom:0!important}\u003c/style\u003e\u003c/div\u003e

【纠错】【责任编辑:简单882424】

深度观察

新华全媒头条丨郭士强：从“悬崖边”抢回希望