802 Star:文章一句话,画成会讲的手绘视频——sweety-handdraw-video 完整教程

16次阅读
没有评论

文章一句话,画成会讲的手绘视频

sweety-handdraw-video(threerocks/sweety-handdraw-video)是一个把主题、一篇文章或完整故事做成「边画边讲」有声手绘视频的开源工具。AI Agent 负责理解内容、写口播、设计分镜和生成插画;本地工具负责逐笔描线、填色、手写文字、配音对齐与导出。画什么、用什么画风、讲多久,按内容决定。

核心流程:给一个主题 → Agent 理解内容并写口播 → 设计分镜 → 生成插画 → 本地渲染逐笔描线(像真人一笔一笔画出来)→ 配音对齐 → 加字幕 → 合成导出。整条链路在一个工程内完成,保留脚本、素材、时间戳等元数据,修改局部画面或字幕时可定位重渲该段,不用重渲全片。

✨ 核心亮点

  • 文章变视频:给主题或文章,自动做完整手绘口播视频
  • 逐笔描线:本地渲染一笔一笔画出,像真人手绘过程
  • VoiceStudio 配音:配音生成、逐段对齐字幕,口播听感自然
  • 局部可重渲:保留脚本/素材/时间戳,改一段只重渲一段

🖼️ 效果图与演示

sweety-handdraw-video 制作流程演示示意
演示示意:AI 理解内容 → 写口播 → 分镜 → 描线 → 配音 → 字幕
sweety-handdraw-video 配音对齐演示示意
演示示意:VoiceStudio 配音 · 逐段对齐字幕

🚀 上手步骤

① 准备环境与依赖

git clone https://github.com/threerocks/sweety-handdraw-video
cd sweety-handdraw-video
# 安装依赖(Node + Python + FFmpeg,VoiceStudio 配音)

② 输入主题或文章

把主题、文章或完整故事交给 Agent,它会理解内容并写出口播稿。

③ 设计分镜并生成插画

Agent 根据内容拆画面、排分镜,生成插画;画风与风格文字可自选。

④ 本地描线、配音、导出

逐笔描线、填色、手写文字,VoiceStudio 配音并逐段对齐字幕,FFmpeg 合成导出 1080p MP4。改局部画面/字幕按脚本+素材+时间戳定位重渲该段。

🎯 典型玩法

  • 📚 故事/寓言口播:像《蛇与锯子》那种边画边讲的小故事
  • 🎓 概念科普:把复杂概念拆成画面逐笔讲清楚
  • ✍️ 手绘口播短视频:默认竖屏 9:16,适合视频号/抖音/快手
  • 🎬 知识类长内容:较长叙事拆成多画面,连续旁白串联
  • 🖼️ 品牌/创作者内容:用统一手绘画风讲产品与观点
  • 🧩 局部快速改稿:改一处画面或字幕,只重渲该段不重渲全片

📊 与同类做法比

做法 结果
纯 AI 文生视频 一次成型难控制、画面与口播难对齐、改一处要重出全片
人工手绘 + 剪辑 可控但耗时,逐笔绘制与配音对齐成本高
sweety-handdraw-video AI 写稿画图 + 本地逐笔描线 + 配音对齐,保留工程可局部重渲

原理一句话:Agent 负责创意(口播/分镜/插画),本地工具负责确定性的逐笔描线、填色、配音对齐与合成,并把脚本/素材/时间戳存成元数据,所以能精准局部重渲。

❓ 常见问题

Q:需要一个什么样的环境?
Node.js + Python + FFmpeg,配音走 VoiceStudio,写口播/生成插画需要模型 API;本地渲染逐笔描线不要求高配 GPU。

Q:用什么模型?
模型与画风可自选,风格文字列表 + 模型推理控制;不做平台限定,可用你手头的模型。

Q:输出什么规格?
默认竖屏 9:16;样片为 1920×1080、30fps 的 MP4,可按需导出。

Q:改一处会重渲全片吗?
不会。工程保留脚本、素材、时间戳等元数据,修改局部画面或字幕可定位重渲该段,无需重渲全片。

Q:配音怎么对齐?
VoiceStudio 生成配音,本地按时间轴把字幕/画面逐段对齐到口播节奏。

Q:是免费开源的?
是。MIT 协议,免费开源,可自由使用和二次开发(VoiceStudio/模型为外部服务)。

Q:成品有带水印吗?
仓库公开样片保留制作时的预告水印;正式使用请以当前版本的导出设置与协议为准。

Q:可以做多长的视频?
按内容决定,支持较长叙事拆成多画面、连续旁白;样片从几十秒到 2 分钟都有。

📎 GitHub 搜索 threerocks/sweety-handdraw-video · 关注「AI工具匠」获取更多 AI 工具实操教程

正文完
 0
评论(没有评论)