关于早期4D生成的一切

AI 3D生成已经卷爆了,现在已经流行4D生成了

January 10, 2024 • 4 min read

by Simon Meng • See original

现在AIGC太卷的,2D/3D/视频都不够看了,已经开始卷4D了😂 快速分享几个最近看到的4D生成算法,不得不说有些其实已经接近能用了。注明一下,这里的4D指的是自带动作的3D模型(4D模型),以及在播放时可以任意切换视角的视频(4D空间场)。

  • Animate124: 可通过文本描述将单张静态图像转化为3D视频,实现了从2D到4D的跨越。该技术依托于三阶段优化和多重扩散先验,打造出独特的动画体验。

    ➡️_链接:https://animate124.github.io/_

  • 4D-fy: 结合变分SDS和文本到图像模型(T2I),改进了4D生成过程。此算法通过混合梯度监督增强了视觉效果,并在文本驱动的四维创作中显示出其独特优势。

    ➡️_链接:https://sherwinbahmani.github.io/4dfy/_

  • Grounded 4D Content Generation: 这个框架将静态3D资产与单目视频序列相结合,为用户在4D场景构建中提供了更细致的几何和运动控制。这种方法在4D内容创作领域中提供了新的视角。

    _➡️链接:https://vita-group.github.io/4DGen/_

  • DreamGaussian4D: 通过其4D高斯喷溅技术显著提升了内容生成速度,同时增强了运动控制和细节呈现。这一框架在效率和表现力方面都具有显著优势。

    ➡️_链接:https://jiawei-ren.github.io/projects/dreamgaussian4d/_

  • Control4D: 使用户能够通过文本指令进行直观的4D肖像编辑。这种框架的创新在于其高保真度和编辑一致性,为四维编辑提供了新的可能性。

    _➡️链接:https://control4darxiv.github.io/_

  • Consistent4D: 通过从未校准的单目视频生成4D动态对象的方法,为四维对象生成开辟了新路径。它在文本到3D任务中加入了新的维度,为传统方法提供了有力的补充。

    _➡️链接:https://consistent4d.github.io/_

  • EasyVolcap: EasyVolcap:一个基于PyTorch的库,专注于神经体积视频研究的加速,特别是在体积视频捕获、重建和渲染方面。它提供了一套工具,旨在简化复杂的体积视频处理流程。

    _➡️链接:https://github.com/zju3dv/EasyVolcap_

  • SpacetimeGaussians: 引入了一种新型的动态场景表示方法——时空高斯特征喷溅。它结合了增强的3D高斯模型和特征喷溅渲染技术,实现了在保持存储紧凑的同时提供高分辨率实时光影效果。

    _➡️链接:https://oppo-us-research.github.io/SpacetimeGaussians-website/_

  • GPS-Gaussian: 专注于4D高斯的实时重建渲染,针对人体新视角合成提供了高效的解决方案。这个工具旨在实现快速且准确的动态3D渲染。

    _➡️链接:https://shunyuanzheng.github.io/GPS-Gaussian_

  • Dynamic 3D Gaussians: 通过其持久动态视图合成技术,突破了神经隐式场建模的局限性,能够对动态对象进行重建,并将不同场景的模型有效组合。

    _➡️链接:https://dynamic3dgaussians.github.io/_


▶关注更多和AI有关的文章请关注↓

▶需要心灵按摩的加群 ↓ (大部分时候做心灵按摩,少部分时候聊AI😂进群备注职业和加群目的,如果二维码过期请在公众号对话框回复加群,获取新二维码)

▶想拼命跟上AI时代更新节奏的请订阅↓(6折优惠中+72小时无理由退款)

搜索