李飞飞空间智能上新！一张图就可以生成3D世界，能像玩游戏一样互动

智东西
编译｜依婷
编辑｜漠影

智东西12月3日消息，今日凌晨，由“AI教母”李飞飞联合创立并担任CEO的AI初创公司World Labs对外公布了他们的首个成果，3D世界生成模型，一个可以让用户从单张图片生成3D世界的AI系统。

World Labs的3D世界生成模型通过预测3D场景，实现了更高的可控性和一致性。

和市面上大多数将图片转化为3D的产品不同，使用该模型生成的3D场景，用户可以与之互动。比如，用户可以模拟相机进行对焦或滑动变焦，还可以在浏览器中与之实时交互，并能为场景添加交互效果和动画。

World Labs称，这是他们迈向空间智能的第一步。

一、生成的3D场景支持实时交互，可模拟相机对焦

1、用户可以在浏览器里与生成的3D场景交互

根据World Labs博客介绍，用户只需要提交一张图片，不论是由AI生成的图像，还是日常生活中拍摄的照片，3D世界生成模型都能根据该图片生成一个3D场景，且风格和原始图片保持一致。

▲左图为输入的图片，右图为模型生成的3D场景。

同时，和市面上将图片转化为3D建模或环境的产品不同，World Labs的3D世界生成模型生成的3D场景更像是开放世界游戏里的画面，它允许用户通过操作键盘、鼠标和场景交互，比如摁下“D”键向右移动，点击并划动鼠标转换视角。

▲通过键盘和鼠标在生成的3D场景里移动、转换视角。

2、像使用相机一样对生成的3D场景对焦、变焦

生成3D场景后，模型会使用虚拟相机在浏览器中实时渲染。用户在使用时通过拖动滑块精准控制虚拟相机，可实现艺术摄影效果。

比如，用户可以通过拖动滑块来模拟拍照时候的对焦，从而渲染出更清晰或模糊的画面。

▲通过移动滑块转换由远及近的焦距。

另外，在World Labs生成的3D场景中，用户还可以使用滑动变焦来调整虚拟相机的视野范围，从而获得不一样的视觉效果。

▲通过移动滑块可以模拟滑动变焦效果。

3、为生成的3D场景添加交互和动画效果

World Labs在博客中介绍，与大多数模型预测像素不同，他们预测3D场景，这么做有三个明显的优势：

连续性（Persistent Reality）：模型生成的3D场景将一直存在，转换视角和移动都不会对已生成的场景产生影响；

实时控制（Real-Time Control）：用户可以在场景中自由、实时移动，能凑近去看花的经络，也能抬头远望太空星云；

正确的几何结构（Correct Geometry）：模型生成的3D场景遵循3D几何的基本物理规律，有立体感和纵深感。

正因为这些优势，用户可以在生成的3D场景中构建交互式效果。如选择声纳（Sonar）效果后再点击场景中的任一区域，该区域会出现对应效果。

▲对脉动、声纳、聚光灯三种交互效果的演示。

还可以为场景制作动画效果，比如选择波纹动态效果，整个画面就会像波纹一样动起来。

▲对波纹动画效果的演示。

二、内容创作者已开始试用，或将改变电影游戏制作方式

World Labs团队认为，3D世界生成模型将改变电影、游戏、模拟器和其它数字媒体的制作方式。他们展示了两个应用案例。

1、像带上VR眼镜一样游览世界名画

World Labs的模型可以根据梵高等世界知名画家的画作生成一个画中世界，让用户以全新的方式感受艺术作品。

▲模型根据梵高的画作《夜晚的咖啡馆露台》生成的3D场景。

2、与现有AI工具结合使用，加速内容创作

该3D世界生成模型可以与现有的其它AI工具结合使用，为内容创作者提供便利。比如，用户可以先使用文生图模型生成图像，再从生成的图像创建3D世界。虽然不同的文生图模型有不同的风格，生成的3D场景依然可以适配这些风格。

World Labs给出了一个示例。他们给四个不同的文生图模型输入了同一组提示词，再根据生成的不同风格的图像创建了对应风格的3D场景。

提示词为：A vibrant cartoon-style teenager’s bedroom with a bed covered in colorful blankets, a cluttered desk with a computer, posters on the walls, and scattered sports gear. A guitar leans against the wall, and a cozy, patterned rug is in the center. Light from a window adds a warm, youthful vibe to the room.（一间充满活力的卡通风格青少年卧室，床上铺着五颜六色的毯子，杂乱的书桌上放着一台电脑，墙上贴着海报，运动装备散落。一把吉他靠在墙上，中间是一块舒适的图案地毯。窗外的光线为房间增添了温暖、年轻的氛围。）

▲3D世界生成模型在同一主题、不同风格的AI图片中的表现。

一些创作者已经开始内测他们的模型了。

//oss.zhidx.com/uploads/2024/12/674ec061e7cf1_674ec061e3a7e_674ec061e3a49_1.mp4

▲创作者Eric Solorio通过3D世界生成模型给画面加入角色并精确地调度虚拟相机完成“拍摄”。

//oss.zhidx.com/uploads/2024/12/674ec04e468d6_674ec04e429c5_674ec04e42989_黄豆豆。-2024-12-12-16.21.36.mp4

▲创作者Brittani Natali将3D世界生成模型与Midjourney、Runway、Suno、ElevenLabs、Blender和CapCut等工具结合使用，通过三支短片传递了不同情绪。

当然，目前该模型还存在一些不足，例如生成的3D场景可探索区域有限，在移动一小段距离后，它就会提示已达到边界；某些场景会出现渲染错误，不同的物体以不自然的方式融合，成为了一团色块。

World Labs表示，以上成果还偏早期，他们正在努力提高生成世界的大小和拟真度，也正在试验用户与它们交互的新方式。

三、公司成立不到三个月，估值超过10亿美元

World Labs于今年9月13日正式宣布成立，是一家空间智能AI公司，试图构建大型世界模型（LWM）来感知、生成3D世界并与之交互。前谷歌云AI负责人、斯坦福大学教授李飞飞是该公司的联合创始人兼CEO。

▲李飞飞在AI Optimist Club发表演讲（图源：福布斯）

World Labs在博客中写道：“我们的目标是将AI模型从像素的2D平面提升到完整的3D世界，赋予它们与我们一样丰富的空间智能。”

据《福布斯》9月19日报道，成立不到一个星期，World Labs的估值就已经超过10亿美元。

彼时，World Labs筹集了2.3亿美元的风投资金，投资方包括Andreessen Horowitz（a16z）、NEA和Radical Ventures在内的美国知名风投机构，以及Salesforce公司创始人兼CEO Marc Benioff和英伟达（Nvidia）旗下投资部门NVenture。

该公司预计到2025年发布首批产品，应用范围包括游戏、机器人以及其他潜在行业。

结语：空间智能，生成式AI迈入下一阶段

从自然语言到图片、视频、3D建模，再到如今的空间计算，两年时间，生成式AI正在以极快的速度认知、理解、模拟、生成人类所存在的物理世界。

在即将到来的2025年，由World Labs开启的空间智能AI竞争或将重现今年各大AI视频生成应用厂商的盛况，生成式AI也有可能由此迈入下一阶段。

来源：World Labs、《福布斯》