type
status
date
slug
summary
tags
category
icon
password
URL
March 11, 2023 • 5 min read
by Simon Meng, mp.weixin.qq.com • See original
2022年11月的时候，有幸受邀用AI为小米和美国著名艺术家Daniel Arsham联名的限量国际版手机 Xiaomi 12T PRO做了宣传片，现在和大家分享一下创作流程和用到的AI技术哈~！
所用AI工具：
Stable Diffusion webUI automatic 111 + SD 1.5 model / dreambooth / Stable Diffusion studio / frame interpolation + Real-ESRGAN + 手工后期（工具下载网址放在最后）
创作步骤：
1. 设计脚本+生成意向图：
手机的主题是give it time，中文可以理解为“隽永”，或者“历久弥新”。根据这个主题，设计了三个场景：来自过去/送给现在/回到未来。
由于每个场景都有自己的时间线，因此每个场景需要多个prompt，然后生成大量的场景参考图片，并且根据甲方反馈不断修改关键词和参数，以下是各个场景的基础文案和其中的部分过程图片。
▶来自过去———在漫长岁月里，沧海桑田，日月变换，在天地万物之中锻造出了一块坚韧而神秘的方形石碑，并最终幻化为美轮美奂的手机包装盒。
▶送给现在——将手机界面/屏幕比作时空传送门，从未来穿越时空来到了熙熙攘攘的现代城市中，接受人们的围观和瞩目；
▶
回到未来
——这款已成为艺术品的手机，已经成为一种永恒的象征。经过漫长岁月的洗礼，它依旧熠熠生辉，犹如宇宙中的一颗永恒之星，降落在未来文明的城市中。
2. Finetune模型
由于最后生成的动画中需要包含手机和包装盒的主要特征，所以需要对模型进行finetune。我首先对手机的正面、背面和包装壳在不同背景和光照条件下各拍摄几十张照片，然后用dreambooth对SD 1.5 模型进行finetune，直到能够相对清楚地通过identifier word生成手机的对应内容为止。（多说一句，这个手机背壳和包装的设计及最终产品呈现的质感，是我见过的最漂亮的，没有之一）
finetune模型使用的图片（部分）
使用训练完毕后的模型对手机背壳进行重生成的部分结果
3. 关键帧确定
使用训练好的模型，将identifier word和前面测试过的场景prompt进行融合，再次生成大量包含产品特征的图片，并根据甲方反馈进行调整，最后选定每个场景对应故事线的关键帧。
finetune模型后，将手机背壳特征融入宇宙星辰
“回到未来”视频关键帧：手机从星辰中炼化，并逐渐降落到星球表面，背景为未来城市
4. 动画生成
将这些关键帧用stable diffusion stuido进行补帧连接（现在或许可能直接使用stable diffusion webui deforum里边的image guide来做了），生成视频，并根据结果进行微调。
5. 手工修帧
导出生成的帧，并手工删除或修改一些有瑕疵的帧，并将手机/包装盒实物照片手工P到每个视频最后一帧（视频最后需要定格在产品上，作为最终定格帧来说，AI生成的手机图像还是不够精致和逼真）。
修帧前后对比图
6. AI放大+插帧
使用Real-ESRGAN放大到2K分辨率；使用frame interpolation对一些不够流畅的地方进行插帧；手工处理视频的锐度、饱和度、对比度等——交差！Yeah！
最后再看一遍成品视频!
工具下载地址：
▶Stable diffusion webUI automatic 111: https://github.com/AUTOMATIC1111/stable-diffusion-webui
▶Dreambooth (colab版，也可使用SD webui的插件，或者尝试使用Lora替代): https://github.com/TheLastBen/fast-stable-diffusion
▶Stable diffusion studio（搭配SD webUI使用，但是好像已经不和最新版的SD兼容了）: https://github.com/amotile/stable-diffusion-studio
▶Frame interpolation：https://github.com/google-research/frame-interpolation
▶Real-ESRGAN：https://github.com/xinntao/Real-ESRGAN
- 作者:Simon阿蒙
- 链接:https://shengyu.me//article/AI4xiaomi
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章