作者|袁博

来源|AI先锋官

先锋官有话说:

产品名称:MuseV

总体评价:★★★☆☆

易用性:★★★☆☆

功能性:★★☆☆☆

创新性:★★★☆☆

推荐功能:文生视频

话不多说,咱先看效果。

让图片中的小姐姐一边弹吉他一边演唱。

一位小哥正在有说有笑的弹奏着吉他。

或者一位动漫小姐姐在泳池中向你眨眼。

就连画中的诗圣杜甫也动了起来。

当然风景图那就更不在话下了。

动作捕捉也非常精准。

自sora爆火后,五花八门的AI视频应用层出不穷,腾讯更是来了一手先发代码再发论文,这个AI应用就是MuseV。在文末小编也为大家整理一些其他的AI视频应用。

现在就来说说MuseV,它是基于扩散的虚拟人类视频生成框架,支持文生视频、图生视频、视频生视频,能够保持角色的一致性,并且还不限视频长度。

项目地址:

GitHub:

https://github.com/TMElyralab/MuseV

MuseVDemo:

https://huggingface.co/spaces/AnchorFake/MuseVDemo

那么就跟随小编一起去MuseV的demo上体验一下吧!

首先,打开MuseV的demo,它一共有两种玩法。

第一种,用户需要上传一张图片,然后输入提示词即可生成视频,

第二种,用户需要上传一段参考视频和一张图片,它就可以让图片中的人物按照视频中的动作动起来。

不管是哪一种,在它的下方都会有参数设置,在这里用户可以设置视频的时长、帧数、视频尺寸等。

这里小编注意到,在输入参考视频后可以设置控制条件,Gradio代码现在只支持dwpose身体和手,但是用户可以使用命令可以支持多个pose,比如“摆身体、摆脸、摆手、线性动画等”

虽然说MuseV的画面一致性做的非常到位,但是还是会有崩坏的情况,比如这个弹吉他的小姑娘的眼睛会眨的非常怪异,面部表情也会失控。

包括这个金克斯,不知道是不是眼睛太大的原因,导致它不太好分辨。

开发团队表示,在后续还会发布MuseTalk来支持实时嘴型同步,可以与 MuseV 一起作为完整的虚拟人类生成解决方案。

在官方发布的示例中,展示了让蒙娜丽莎唱歌的视频。

现在小编就为大家汇总几款现在市面上已经出现的一些AI视频应用吧!

1、Runway

Runway是一款多功能的文生视频工具,可以辅助用户完成视频编辑、人物生成、场景设计等任务。

主要功能:AI视频生成与编辑、图像生成与处理、3D内容创作、音频处理、Workflow自动化、API与集成。

地址:https://runwayml.com/

2、pika

PIKA是一款可以根据文本或图像生成视频的AI工具。它可以让你用文字描述你想要的场景,或者上传你自己的图片,然后生成动态的视频。

主要功能:文本到视频、图像到视频、视频到视频、角色配音、延长视频长度。

地址:https://pika.art

3、Haiper

Haiper可以通过输入文本提示生成视频,但只可以生成最多四秒的的视频。

主要功能:文本转视频、图片动画、视频重绘和导演视角。

地址:https://haiper.ai/?ref=top.aibase.com

4、PixVerse

用户只需通过简洁的文字描述,即可轻松创作出高清、逼真的视频作品。无论是二次元的动漫风格、写实细腻的现实主义风格,还是立体生动的3D视觉效果PixVerse都能精准捕捉并实现用户提供的创意构思。

主要功能:文本提示生成视频、图片转换为动态视频、视频质量升级、

灵活的视频生成设置、支持指定角色生成视频。

地址:https://pixverse.ai/

5、Genmo

Genmo可以用来创作、编辑、改进你的图像和视频。也可以和Genmo进行对话,让它帮助你实现你的创意想法,生成和编辑电影、动画、海报、图标等创意内容。

主要功能:文字到视频转换、图片生成、3D模型生成、社区。

地址:https://www.genmo.ai/

6、Stable video diffusion

Stable video diffusion是由Stability AI开发的一种基于图像的转视频模型。它可以将任何静止图像转换为短视频,并具有可定制的帧率。

主要功能:动态化静止图像、影片制作与编辑、视觉特效制作

地址:https://stability.ai/news/stable-video-diffusion-open-ai-video-model

7、invideo AI

Invideo Al是一个在线文本转视频制作工具,它可以让你用文字输入来生成AI视频。你可以用文字提示来编辑你的视频,从1600万的素材库中选择合适的视频片段,并添加人声、字幕、过渡和背景音乐等。

主要功能:在线AI视频生成器、AI驱动的剧本、人声生成器、文字提示编辑器、海量模板、高质量素材。

地址:https://invideo.io/

8、Phenaki

Phenaki是Google研究团队开发的一款能够从文本生成视频的AI模型,它可以根据用户输入的一系列文本提示,合成出逼真的视频画面。

主要功能:从时间可变文本生成视频、生成逼真和多样化的视频、支持交互式和迭代式生成。

地址:https://phenaki.video/

9、MagicVideo-V2

MagicVideo-V2是由字节跳动推出的文本转视频应用,它将文本到图像模型、视频运动发生器、参考图像嵌入模块和帧插值模块集成到端到端视频生成管道中。这种结构使 MagicVideo-V2 能够制作高分辨率、美观的视频,并具有出色的保真度和流畅度。

主要功能:文本到图像、图像到视频、视频到视频和视频帧插值。

地址:https://magicvideov2.github.io/

10、Moonvalley

Moonvalley.ai 是一款AI文本转视频生成工具,让您可以从文本提示创建短视频。该工具目前在 Discord 上运行,您需要加入 Moonvalley 的 Discord 服务器才能创建自己的视频。

主要功能:文本输入:您只需要输入一段文本,就可以生成一段视频;多种视频风格:您可以选择不同的视频风格,来满足您的不同需求和喜好。

地址:https://moonvalley.ai/?utm_source=nettsz.com

11、Morph Studio

Morph Studio致力于打造文本生成视频技术与社区平台,通过SD+自研模型技术帮助用户实现短视频快速生成。

主要功能:纯文本到视频生成。

地址:https://app.morphstudio.com/

扫码邀请进群,我们带你一起来玩转ChatGPT、GPT-4、文心一言、通义千问、讯飞星火等AI大模型,顺便学一些AI搞钱技能。

往期文章回顾