#AI开源项目推荐:AnimateDiff
这是一个高效框架,能进一步将生成的静态图像生成动画。
项目摘要
随着像 Stable Diffusion 这样的文本转图像模型及 LoRA 和 DreamBooth 等个性化技巧的发展,现在每个人都可以轻松地以实惠的价格把自己的想象力转化成高质量图片。随之而来的是,市场上对能将静态图像与动态元素相结合的图像动画技术的需求也日益增长。在这个项目中,我们推出了一个高效框架,能一次性为多数现有的个性化文本到图像模型加入动画效果,这样就无需为每个特定模型进行微调。
这个框架的核心思想是在已冻结的基础文本到图像模型中加入一个新初始化的动态建模模块,然后在视频片段上进行训练,以学习到合适的动态规律。一旦训练完成,只需简单地插入这个动态建模模块,所有基于同一基础模型派生出的个性化版本都能立即转换为由文本驱动,能产生多样且个性化动画图像的模型。
论文:https://t.co/gz5E3a44s1
项目首页:https://t.co/ECD7fukOeE
Repo:https://t.co/trvxjEQ2tg