type
status
date
slug
summary
tags
category
icon
password
URL
December 12, 2023 • 3 min read
by Simon Meng, mp.weixin.qq.com • See original
我，编程菜鸟，攒了一扇平行时空传送门——GaussianSpace，一个可以用文字引导编辑三维高斯（3D Gaussian Splatting）大场景的工具🐶。
最近三维高斯技术对于真实场景的3D还原已经达到了毫发毕现的程度，作为跑路的前建筑师，很容易联想到的一点是，如果加上文字引导做整体修改，不就可以创造平行世界了😮？本编程菜鸟本来是不想造轮子的，但是看了一大圈，现有的3D高斯文字引导编辑方法，基本上都是基于instruct pix2pix的，只能做局部编辑😂。
那没法了，只能自己干了🧐，我在原来3D高斯损失函数的基础上，加入了基于2D stable diffusion 模型的得分蒸馏采样（score distillation sampling, SDS）损失函数，并引入自动权重平衡（AutomaticWeightedLoss）方法，平衡SDS Loss和真实图片Loss，使得整体损失函数能够在迭代中平稳下降，确保编辑后的高斯场景能够在保持原有场景结构特征的同时，响应文字引导，最终成功传送到平时时空！🥹
我这次一共做出来3个比较满意的平行时空——从格拉茨兵器博物馆分别迁移到赛博机器武器库、废弃生物展馆和幻想玩具屋！注意，这不是视频，不是视频，不是视频！这是可以交互（旋转、缩放、平移）的全3D场景🫠！
➡️迁移后的3D高斯平行时空可以在以下网址交互试玩 （需要在chrome中打开，网页渲染效果比本地渲染略差）：https://showcase.3dmicrofeel.com/armour_museum-house.html
➡️更多信息可以访问我们的git page （需要梯子）：https://gaussianspace.github.io/
🤔PS：现在只是初步跑通了技术管线，还有很多buff没有往上叠，后续应该能进一步提升质量（本来想做得更完善一点再发的，但是现在实在卷得太快了，还是先发出来占个坑吧😂）！希望合适的时候能够以某种方式开放给大家使用🤗！
- 作者:Simon阿蒙
- 链接:https://shengyu.me//article/dreamspace
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章