Open Chat Video Editor:开源的短视频生成和编辑工具

26次阅读
没有评论

这是一个 GitHub 项目,名为 Open-Chat-Video-Editor,是一个基于  文本生成视频  的开源工具。

该项目的主要特点有:

  • 涵盖多种主流算法和模型 ,如 Chatgpt, Stable Diffusion, CLIP 等,可以根据用户输入的文本,自动生成视频内容。
  • 支持多种输入方式 ,如直接输入文本,或者输入一个网页链接,可以将网页内容转换为视频。
  • 提供多种安装方式 ,如使用 docker,或者直接安装依赖包,可以在不同的环境中运行该项目。
  • 仅用于交流学习 ,不得用于商业,以及其他会对社会带来危害的用途。

或者你对这些生涩的文字感到难以理解,下面上一个结构图你就大致明白了:

Open Chat Video Editor:开源的短视频生成和编辑工具

以上是它的整体技术框架,再来一组结果展示加强理解

1、短句转短视频(Text2Video)

界面如下:

Open Chat Video Editor:开源的短视频生成和编辑工具

 以输入文案:【小孩子养宠物】为例,利用文本模型(如:chatgpt 等),可以自动生成一个较长的短视频文案:

  1. ['小孩子养宠物', '可以更好地提升小孩子的责任感和独立感', '但也要慎重的选择合适的宠物', '因为只有经过一定的训练养成', '它们才能够成长起来', '一起玩耍和度过一段欢快的时光', '宠物不仅能够陪伴小孩子渡过寂寞时光', '还能培养小孩子处事冷静、自信以及情感交流和沟通能力', '在养宠物的过程中', '小孩子们可以唤醒和发掘他们被磨练出来的坚毅和耐力', '能够亲身体验到勤勉 和坚持的重要性']

根据不同的视频生成模式,可以生成不同的视频,各个模式如下:

1)图像检索

2)图像生成(stable diffusion)

3)先图像检索,再基于 stable diffusion 进行图像生成

4)视频检索

2、网页转短视频(Url2Video)

界面如下:

Open Chat Video Editor:开源的短视频生成和编辑工具

1)输入一个 url, 例如:https://zh.wikipedia.org/wiki/%E7%BE%8E%E5%9B%BD%E7%9F%AD%E6%AF%9B%E7%8C%AB 其内容是:美国短毛猫的维基百科

Open Chat Video Editor:开源的短视频生成和编辑工具

2)解析网页并自动摘要成短视频文案,结果如下:

  1. ['nn 美国短毛猫', '是一种神奇又魔幻的宠物猫品种', '它们优雅可爱', '活力无比', '能拥有多达 80 多种头毛色彩', '最出名的是银虎斑', ' 其银色毛发中透着浓厚的黑色斑
  2. 纹 ', ' 除此之外 ', ' 它们还非常温柔 ', ' 是非常适合家庭和人类相处的宠物 ', ' 并且平均寿命达 15-20 年 ', ' 这种可爱的猫
  3. 品种 ', ' 正在受到越来越多人的喜爱 ', ' 不妨试试你也来养一只吧 ']

3)自动合成短视频 例如图像生成模式

如何使用该项目进行视频编辑?

要使用该项目进行视频编辑,您需要先安装好相关的依赖环境,然后下载数据索引和 meta 信息,最后选择合适的配置文件,运行相应的脚本。具体的步骤如下:

  • 安装依赖环境
    • 安装 Pytorch,根据您的设备选择 GPU 或 CPU 版本,使用 pip 命令进行安装。
    • 安装其他依赖包,使用 pip 命令安装 requirements.txt 文件中的包。
    • 安装 CLIP,使用 pip 命令安装 OpenAI 的 CLIP 项目。
    • 安装 FAISS,使用 conda 命令安装 pytorch 的 faiss-cpu 包。
  • 下载数据索引和 meta 信息
    • 下载 data.tar 文件,解压到 data/index 目录下。
  • 选择配置文件
    • 根据您的输入数据和期望的输出效果,选择不同的配置文件,放在 configs 目录下。
    • 如果您要使用 ChatGPT 来生成文案,您需要在配置文件中,提前配置好 OpenAI 的 API Key 和 organization ID。
  • 运行脚本
    • 根据您的输入数据,选择不同的功能,运行 app/app.py 文件,指定 func 和 cfg 参数。
    • 例如,如果您要输入一句话,生成一个视频,您可以运行:
    • 然后,您可以在终端中输入您想要生成视频的文本,等待程序运行完成,您就可以在 output 目录下找到生成的视频文件。

项目地址:https://github.com/SCUTlihaoyu/open-chat-video-editor

正文完
 0
老马
版权声明:本站原创文章,由 老马 于2024-02-18发表,共计1606字。
转载说明:本站提供的一切软件、教程和内容信息仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络收集整理,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。敬请谅解!侵删请致信E-mail:tntwl@qq.com
评论(没有评论)