type
status
date
slug
summary
tags
category
icon
password
URL
October 13, 2023 • 3 min read
by Simon Meng, See original
自从我去年10月发布3D生成工具Dreamfields-3D（我，编程菜鸟，攒了一个用文字生成三维模型的AI工具（已开源））到现在，一眨眼到现在已经一年了，最近几个月AIGC的3D生成算法层出不穷，而最新发布的DreamGaussian，让我感觉3D生成已经几乎到达了2D生成的stable diffusion时刻——挑战了“质量、速度、泛化性”的不可能三角！
DreamGuassian生成模型导出mesh质量示例
🥰DreamGaussian = Dreamfusion + 3D Gaussian Splatting 迭代 + mesh导出 + SD优化贴图 。
DreamGuassian技术框架
✨Dreamfusion是第一个将stable diffusion的2D生成能力，移植到3D nerf生成上的算法（使用了一种称之为SDS loss的迭代方式，具体实现方式可以参见我之前写的科普文：从用手建模到用嘴建模：一文说透最新用文字生成三维模型的人工智能算法原理）
👀3D Gaussian Splatting是目前神经辐射场类3D场景表征的Sota方法，做到了目前3D场景还原的质量最好+速度最快（具体可以看这篇科普文：下一代Nerf，Gaussian Splatting来了~）
💕这两者结合，就可以使用SD+3D Gaussian，实现文字/图片输入快速（1分钟内）迭代出一个粗糙的高斯场；然后将高斯场导出为mesh和UV 贴图，然后再用SD在不改变mesh的情况下继续优化贴图（1分钟内）。
😍这一套操作下来的结果是：质量达到SOTA（当前最佳）+ 迭代时间短（3090 一分半左右）+ 支持各种任务（text to 3D & image to 3D）+ 泛化性强 （借鉴了SD模型的泛化能力。）
DreamGuassian图片转3D模型结果示例
🤔但是考虑到3D Gaussian Splatting才开源了3个月，还有很大优化的空间；dreamfusion算法发布后已经有很多其他借鉴SD模型的能力来做3D生成的算法，有很多不同的提高performance的trick，这次都还没有引入；因此，在可预计的一年内，3D生成算法将飞速迭代，从"SD 1.0“时代，快速步入“controlnet + SDXL”时代。（PS：有谁还记得，stable diffusion是去年8月份才发布的，到现在也才1年多一点么？毕竟我们使用SD几乎就像呼吸一样自然了。🐶）
DreamGuassian文字转3D模型结果示例
DreamGuassian文字转图片+3D模型结果示例
🤗相关资源：
_▶colab-image to 3D：https://colab.research.google.com/drive/1sLpYmmLS209-e5eHgcuqdryFRRO6ZhFS?usp=sharing_
_▶colab- text to 3D：https://colab.research.google.com/github/camenduru/dreamgaussian-colab/blob/main/dreamgaussian_colab.ipynb_
- 作者:Simon阿蒙
- 链接:https://shengyu.me//article/3D-moment4SD
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章