DreamGaussian: AIGC 3D生成的SD时刻

type

status

date

slug

summary

category

icon

password

URL

October 13, 2023 • 3 min read

by Simon Meng, See original

自从我去年10月发布3D生成工具Dreamfields-3D（我，编程菜鸟，攒了一个用文字生成三维模型的AI工具（已开源））到现在，一眨眼到现在已经一年了，最近几个月AIGC的3D生成算法层出不穷，而最新发布的DreamGaussian，让我感觉3D生成已经几乎到达了2D生成的stable diffusion时刻——挑战了“质量、速度、泛化性”的不可能三角！

DreamGuassian生成模型导出mesh质量示例

🥰DreamGaussian = Dreamfusion + 3D Gaussian Splatting 迭代 + mesh导出 + SD优化贴图。

DreamGuassian技术框架

✨Dreamfusion是第一个将stable diffusion的2D生成能力，移植到3D nerf生成上的算法（使用了一种称之为SDS loss的迭代方式，具体实现方式可以参见我之前写的科普文：从用手建模到用嘴建模：一文说透最新用文字生成三维模型的人工智能算法原理）

👀3D Gaussian Splatting是目前神经辐射场类3D场景表征的Sota方法，做到了目前3D场景还原的质量最好+速度最快（具体可以看这篇科普文：下一代Nerf，Gaussian Splatting来了~）

💕这两者结合，就可以使用SD+3D Gaussian，实现文字/图片输入快速（1分钟内）迭代出一个粗糙的高斯场；然后将高斯场导出为mesh和UV 贴图，然后再用SD在不改变mesh的情况下继续优化贴图（1分钟内）。

😍这一套操作下来的结果是：质量达到SOTA（当前最佳）+ 迭代时间短（3090 一分半左右）+ 支持各种任务（text to 3D & image to 3D）+ 泛化性强（借鉴了SD模型的泛化能力。）

DreamGuassian图片转3D模型结果示例

🤔但是考虑到3D Gaussian Splatting才开源了3个月，还有很大优化的空间；dreamfusion算法发布后已经有很多其他借鉴SD模型的能力来做3D生成的算法，有很多不同的提高performance的trick，这次都还没有引入；因此，在可预计的一年内，3D生成算法将飞速迭代，从"SD 1.0“时代，快速步入“controlnet + SDXL”时代。（PS：有谁还记得，stable diffusion是去年8月份才发布的，到现在也才1年多一点么？毕竟我们使用SD几乎就像呼吸一样自然了。🐶）