ToonCrafter

产品简介

ToonCrafter是一款基于扩散模型的AI动画生成工具，由香港中文大学、香港城市大学与腾讯AI Lab联合研发。该工具通过预训练的图像到视频扩散先验，仅需两张卡通或照片关键帧，即可自动生成 2 秒左右的流畅过渡动画，分辨率最高 512×320，帧数可达 16 帧。ToonCrafter不仅支持彩色动画，还能处理线稿、黑白草图，并允许通过额外草图或参考图进行颜色和动作引导。项目已开源，并提供 ComfyUI、Windows、Colab 等多平台集成方案，适合动画师、内容创作者、教育从业者及AI爱好者快速制作短片、动图或教学演示，显著降低传统逐帧动画的工作量。

主要功能

• 关键帧插值动画：上传起始与结束两张关键帧，AI 自动生成中间过渡帧，形成流畅动画。
• 草图引导生成：提供线稿或稀疏草图，可精确控制角色动作与场景变化，提升可控性。
• 参考图着色：基于一张彩色参考图，为黑白草图或线稿自动上色，并保持时序一致性。
• 多平台支持：提供 ComfyUI 节点、Windows 一键包、Colab 脚本，本地或云端均可运行。
• 多风格兼容：支持卡通、动漫、写实等多种视觉风格，自动保持原画细节与色彩一致性。

使用方法

1. 准备两张关键帧图片（PNG/JPG，512×320 最佳）。
2. 选择运行方式：
   • 在线体验：访问 Hugging Face Space 或 toon-crafter.com 直接上传；
   • 本地部署：克隆 GitHub 仓库，安装 Anaconda 环境并执行 pip install -r requirements.txt。
3. 将模型文件 model.ckpt 放入 checkpoints/tooncrafter_512_interp_v1/。
4. 运行命令 python gradio_app.py 启动本地 Web 界面，或加载 ComfyUI 工作流。
5. 在界面中上传关键帧，可选填写提示词、草图或参考图，点击生成并下载 MP4/GIF 结果。

应用场景

• 社交媒体动图：快速为微博、抖音、Discord 等平台制作吸睛的动画表情或短片。
• 动画前期预览：动画师利用关键帧快速生成动态预览，验证节奏与动作设计。
• 教育教学演示：教师将静态插图变为动画，生动展示物理运动、生物过程等抽象概念。
• 独立游戏过场：小团队低成本制作像素或卡通风格的游戏开场、剧情过渡动画。
• 广告营销素材：品牌方用产品照片生成动态广告，提高线上推广的视觉冲击力。