直观即时绘制3D模型，可添加文本提示，VAST又开源了

VAST 投稿
量子位 | 公众号 QbitAI

3D生成明星玩家VAST，又又又又又开源了！

Tripo Doodle（内部代号TripoSG Scribble)，能够将简单的2D草图和文本提示（Text Prompt）实时转化为精细的3D模型。

它改进了传统3D建模学习曲线陡峭、耗时耗力的痛点，尤其是在初期“打形”阶段。

现在，该项目的关键组件已经开源。

通过Tripo Doodle，用户可以：

1. 直观绘制（Sketch Intuitively）：在画布上随手勾勒简单的 2D 形状和线条。
2. 添加文本提示（Add Text Prompts）：通过文字输入，赋予模型语义信息或特定属性。
3. 即时生成（Generate Instantly）：实时看到基于草图和文本生成的 3D 模型，并随着输入的修改而动态更新。

在SIGGRAPH Asia 2024 Real-Time LIVE! 的首次亮相中，Tripo Doodle展示了一个“万物皆可画”的未来——3D 建模可以像2D涂鸦一样流畅自然、触手可及。

它让创作者能从繁琐的工具操作中解放出来，将精力完全聚焦于创意本身。

基于TripoSG的实时交互延伸

Tripo Doodle是一款旨在彻底简化并加速3D创作流程的全新交互界面。

值得注意的是，Tripo Doodle并非从零构建，它巧妙地利用并扩展了VAST旗下TripoSG基础模型的能力，并针对实时、多模态交互进行了创新：

首先来了解一下TripoSG基础模型（TripoSG Base Model）。

TripoSG是它的底层引擎，它是一图像到3D（Image-to-3D）形状生成模型。

该模型开创性地采用了大规模整流流 Transformer（Large-Scale Rectified Flow Transformer）架构，能在精选数据集上进行训练，直接从条件输入（基础模型通常是图像）生成高保真3D网格。

其内部通过定制的VAE管理精确的符号距离函数（Signed Distance Function, SDF）表征。

其次是多模态条件注入（Multimodal Conditioning - Sketch + Text）。

Tripo Doodle的核心突破在于增强了TripoSG，使其能够理解并同时融合草图和文本两种输入模态。

其一，草图引导（Sketch Guidance）。

2D绘图提供了强几何约束，定义了3D模型的核心形状、结构和姿态。

其二，文本引导（Text Guidance）。

自然语言提示则负责引导语义理解，影响物体的类型、风格和具体特征（例如，演示中加入“dragon”文本提示，就能将一个基础的怪兽草图转化为龙形态）。

再者还有实时性能优化（Real-Time Optimization - 例如蒸馏技术）。

为了实现“涂鸦”体验所必需的近乎实时的生成速度，Tripo Doodle采用了CFG Distillation等优化技术。

通过训练一个更快的“学生”模型来模拟（或“学习”）更大TripoSG 模型的输出能力，从而实现能在用户连续输入时进行快速推理和实时更新。

从概念到初步3D可视化的时间缩短至秒级

SIGGRAPH Asia 2024 Real-Time LIVE! 现场，Tripo Doodle生动演示了自己的能力。

以下实例突显了Tripo Doodle如何将从概念到初步3D可视化的时间缩短至秒级，让3D创作变得前所未有的简单和有趣。

轻松创建

无论是植物、桌子、戒指还是怪兽，简单的几笔草图都能即时转化为3D物体。

实时迭代

随着用户绘制、擦除、修改草图，或添加/更改文本提示（如将普通怪兽变为“乌龟怪兽”或带翅膀的“龙怪兽”），3D模型会动态、无缝地更新。

创意探索

“Randomize”（随机化）功能允许用户基于同一份草图和文本输入，快速浏览多种不同的、合理的3D解释，极大地促进了创意发散。

易用性与效率

“Doodle 1v1” 环节中，观众成员在30秒内创作怪兽。

即使是初次使用者，也能快速上手并创造出如“番茄怪兽”、“毛毛虫怪兽”等充满趣味（有时甚至出人意料）的作品，充分证明了其直观性和高效性。

一直以来，VAST致力于通过开放合作推动领域发展。

此次，TripoSG Scribble（即Tripo Doodle）与TripoSG的核心组件都将对外开放。

VAST诚邀全球的研究者、开发者和创作者们，深入探索TripoSG及Tripo Doodle背后的技术理念，在其基础上构建应用。

TripoSG-Scribble抱抱脸：
https://huggingface.co/spaces/VAST-AI/TripoSG-scribble
TripoSG抱抱脸：
https://huggingface.co/spaces/VAST-AI/TripoSG
TripoSG GitHub：
https://github.com/VAST-AI-Research/TripoSG
TripoSG arXiv：
https://arxiv.org/abs/2502.06608