我如何用AI为小米限量版手机做宣传片

type

status

date

slug

summary

所用AI工具：

Stable Diffusion webUI automatic 111 + SD 1.5 model / dreambooth / Stable Diffusion studio / frame interpolation + Real-ESRGAN + 手工后期（工具下载网址放在最后）

创作步骤：

1. 设计脚本+生成意向图：

手机的主题是give it time，中文可以理解为“隽永”，或者“历久弥新”。根据这个主题，设计了三个场景：来自过去/送给现在/回到未来。

由于每个场景都有自己的时间线，因此每个场景需要多个prompt，然后生成大量的场景参考图片，并且根据甲方反馈不断修改关键词和参数，以下是各个场景的基础文案和其中的部分过程图片。

▶来自过去———在漫长岁月里，沧海桑田，日月变换，在天地万物之中锻造出了一块坚韧而神秘的方形石碑，并最终幻化为美轮美奂的手机包装盒。

▶送给现在——将手机界面/屏幕比作时空传送门，从未来穿越时空来到了熙熙攘攘的现代城市中，接受人们的围观和瞩目；

▶

回到未来

——这款已成为艺术品的手机，已经成为一种永恒的象征。经过漫长岁月的洗礼，它依旧熠熠生辉，犹如宇宙中的一颗永恒之星，降落在未来文明的城市中。

2. Finetune模型

由于最后生成的动画中需要包含手机和包装盒的主要特征，所以需要对模型进行finetune。我首先对手机的正面、背面和包装壳在不同背景和光照条件下各拍摄几十张照片，然后用dreambooth对SD 1.5 模型进行finetune，直到能够相对清楚地通过identifier word生成手机的对应内容为止。（多说一句，这个手机背壳和包装的设计及最终产品呈现的质感，是我见过的最漂亮的，没有之一）

finetune模型使用的图片（部分）

使用训练完毕后的模型对手机背壳进行重生成的部分结果

3. 关键帧确定

使用训练好的模型，将identifier word和前面测试过的场景prompt进行融合，再次生成大量包含产品特征的图片，并根据甲方反馈进行调整，最后选定每个场景对应故事线的关键帧。

finetune模型后，将手机背壳特征融入宇宙星辰

“回到未来”视频关键帧：手机从星辰中炼化，并逐渐降落到星球表面，背景为未来城市

4. 动画生成

将这些关键帧用stable diffusion stuido进行补帧连接（现在或许可能直接使用stable diffusion webui deforum里边的image guide来做了），生成视频，并根据结果进行微调。

5. 手工修帧

导出生成的帧，并手工删除或修改一些有瑕疵的帧，并将手机/包装盒实物照片手工P到每个视频最后一帧（视频最后需要定格在产品上，作为最终定格帧来说，AI生成的手机图像还是不够精致和逼真）。

修帧前后对比图

6. AI放大+插帧

使用Real-ESRGAN放大到2K分辨率；使用frame interpolation对一些不够流畅的地方进行插帧；手工处理视频的锐度、饱和度、对比度等——交差！Yeah！

最后再看一遍成品视频!

工具下载地址：

▶Stable diffusion webUI automatic 111: https://github.com/AUTOMATIC1111/stable-diffusion-webui

▶Dreambooth (colab版，也可使用SD webui的插件，或者尝试使用Lora替代): https://github.com/TheLastBen/fast-stable-diffusion

▶Stable diffusion studio（搭配SD webUI使用，但是好像已经不和最新版的SD兼容了）: https://github.com/amotile/stable-diffusion-studio

▶Frame interpolation：https://github.com/google-research/frame-interpolation

▶Real-ESRGAN：https://github.com/xinntao/Real-ESRGAN