Jiaming Zhang's Blog
0%

AI 视频制作思路分享

发表于 分类于

整体思路

  1. 编写剧本
  2. 生成分镜图
  3. 生成视频
  4. 剪辑配音

其中，编写剧本用 chatgpt，分镜图/视频用 running hub，本地电脑无要求

介绍：

  • Running Hub 是一个 ComfyUI 的AI平台，提供了很多直接可用的 ComfyUI 工作流，视频制作者只需专注于创作，免去下载模型、环境配置、搭建工作流等复杂工作
  • ComfyUI 是一个开源的图片、视频工作流框架

可通过下面链接注册：

宝子们，我发现一个AI图像视频宝藏产品 RunningHub！全球ComfyUI 开发者每天在此发布数百个超有趣超有用的AI应用，娱乐工作一网打尽。打开链接：https://www.runninghub.cn/?inviteCode=0v8k3rwm 注册领500RH币可以免费生成好多图片视频哦！

编写剧本

在 chatgpt 输入以下内容：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
角色1：一二，小女熊，性格调皮可爱，胖乎乎，声音甜美
角色2：布布，小男熊，性格老实憨厚，胖乎乎，声音憨憨的
他们是情侣关系

故事情节：一二和布布在小屋里堆积木，越堆越高，哗一下子倒了，两小只开心的躺下

请参考下面模板改写上述情节：

核心角色为创意视觉化脚本助手，其目的是根据剧本和参考图，生成GPT-Image2专用的9宫格分镜，关键词描述需极致精简，无字幕，中文，总字数不得超过500字。

参考以下格式模板（仅参考格式）：

生成九宫格分镜图，电影风格。

1. 晨光，卧室，棕发女主侧卧，橘色长毛猫蹭脸，温馨。
2. 厨房，女主倒猫粮，橘猫抬头期待，特写。
3. 书桌，女主专注电脑，橘猫趴在键盘边，侧拍。
4. 客厅，女主挥动逗猫棒，橘猫跃起捕捉，动态。
5. 阳台阳光，女主看书，橘猫在腿上打盹，静谧。
6. 镜前，女主穿上牛仔外套，橘猫蹲在脚边，全身。
7. 窗边黄昏，女主抱起橘猫看晚霞，剪影氛围。
8. 沙发，女主吃零食，橘猫眼神渴望，近景。
9. 卧室关灯，女主与橘猫相拥入眠，微光暖色。

Chatgpt 输出：

1
2
3
4
5
6
7
8
9
10
生成九宫格分镜图，电影风格。
1. 晨光，客厅地板，一二和布布坐在积木堆前挑选积木，阳光洒落，温馨开场。
2. 地毯上，一二认真搭建积木底座，布布递来积木块，两小只默契合作，近景。
3. 客厅中央，积木塔逐渐变高，一二踮脚放置积木，布布仰头观看，侧拍。
4. 积木塔已经超过两小只身高，一二小心调整顶部，布布兴奋拍手，动态感。
5. 地板特写，高高的积木塔摇摇晃晃，一二和布布屏住呼吸观察，紧张有趣。
6. 客厅中央，积木塔突然倾斜，两小只惊讶睁大眼睛，积木开始散落，全身镜头。
7. 积木塔轰然倒塌，五颜六色的积木洒满地板，一二和布布被逗得哈哈大笑，欢乐氛围
8. 地板上，一二和布布坐在积木堆中开心讨论，比划着下次要搭得更高，温暖近景。
9. 午后阳光下，一二和布布并排躺在铺满积木的地板上，惬意的闭上眼睛，积木散落四周，轻松治愈收尾。

分镜图

https://www.runninghub.cn/workflow/2064398790777466882

点击左上角【保存】，将工作流保存到自己的工作台

输入角色图、剧本、提示词

剧本：见编写剧本

提示词：

一二（图1）和布布（图2）在小屋里开心的玩积木。（电影风格） 要与图片中角色形象完全一致 注意：超萌Q版毛绒团子角色，毛茸茸的，圆脸，没有鼻子！只有一个小“ω”嘴，极简五官，贴图式表情，无口鼻区结构，无下巴线，无额外面部细节，no nose, single ω mouth only，无手指，不要有玩具的缝合线！不要序号数字

不要：双嘴，多嘴，额外嘴巴，口鼻结构，手指，缝合线，序号数字！！！

运行工作流：

将 9宫格分成 9张单独图片：手动截取，或使用分镜图切分拆分工作流 https://www.runninghub.cn/ai-detail/2043972086510657538

分镜视频

https://www.runninghub.cn/workflow/2064398588595236865

同样保存到自己的工作台

将上面的 9 张图片放到下面节点，每张图片输入剧本分镜词，通过横向拉拽图片，设置每个分镜的时长

运行工作流，得到视频

成品链接：待上传

成本分析

分镜：3R + 0.1元

视频：78R

1R = 0.004 元

总计成本：0.424 元

收费情况：

  • 调用付费模型 api，如极梦、seedence2.0 按照付费模型定价
  • 调用开源模型，只收取 R币，不用付费

上面的分镜工作流调用了付费模型api，可能有只用开源模型的工作流，会更便宜

待解决问题

  1. 无法说话，无法对口型
  2. 无法自动为角色配音
  3. 视频清晰度不够

学习资料

https://space.bilibili.com/17919458/lists/6542969?type=season

https://www.runninghub.cn/page-workflow