作者|袁博
来源|AI先锋官
先锋官有话说:
产品名称:MuseV
总体评价:★★★☆☆
易用性:★★★☆☆
功能性:★★☆☆☆
创新性:★★★☆☆
推荐功能:文生视频
话不多说,咱先看效果。
让图片中的小姐姐一边弹吉他一边演唱。
一位小哥正在有说有笑的弹奏着吉他。
或者一位动漫小姐姐在泳池中向你眨眼。
就连画中的诗圣杜甫也动了起来。
当然风景图那就更不在话下了。
动作捕捉也非常精准。
自sora爆火后,五花八门的AI视频应用层出不穷,腾讯更是来了一手先发代码再发论文,这个AI应用就是MuseV。在文末小编也为大家整理一些其他的AI视频应用。
现在就来说说MuseV,它是基于扩散的虚拟人类视频生成框架,支持文生视频、图生视频、视频生视频,能够保持角色的一致性,并且还不限视频长度。
项目地址:
GitHub:
https://github.com/TMElyralab/MuseV
MuseVDemo:
https://huggingface.co/spaces/AnchorFake/MuseVDemo
那么就跟随小编一起去MuseV的demo上体验一下吧!
首先,打开MuseV的demo,它一共有两种玩法。
第一种,用户需要上传一张图片,然后输入提示词即可生成视频,
第二种,用户需要上传一段参考视频和一张图片,它就可以让图片中的人物按照视频中的动作动起来。
不管是哪一种,在它的下方都会有参数设置,在这里用户可以设置视频的时长、帧数、视频尺寸等。
这里小编注意到,在输入参考视频后可以设置控制条件,Gradio代码现在只支持dwpose身体和手,但是用户可以使用命令可以支持多个pose,比如“摆身体、摆脸、摆手、线性动画等”
虽然说MuseV的画面一致性做的非常到位,但是还是会有崩坏的情况,比如这个弹吉他的小姑娘的眼睛会眨的非常怪异,面部表情也会失控。
包括这个金克斯,不知道是不是眼睛太大的原因,导致它不太好分辨。
开发团队表示,在后续还会发布MuseTalk来支持实时嘴型同步,可以与 MuseV 一起作为完整的虚拟人类生成解决方案。
在官方发布的示例中,展示了让蒙娜丽莎唱歌的视频。
现在小编就为大家汇总几款现在市面上已经出现的一些AI视频应用吧!
1、Runway
Runway是一款多功能的文生视频工具,可以辅助用户完成视频编辑、人物生成、场景设计等任务。
主要功能:AI视频生成与编辑、图像生成与处理、3D内容创作、音频处理、Workflow自动化、API与集成。
地址:https://runwayml.com/
2、pika
PIKA是一款可以根据文本或图像生成视频的AI工具。它可以让你用文字描述你想要的场景,或者上传你自己的图片,然后生成动态的视频。
主要功能:文本到视频、图像到视频、视频到视频、角色配音、延长视频长度。
地址:https://pika.art
3、Haiper
Haiper可以通过输入文本提示生成视频,但只可以生成最多四秒的的视频。
主要功能:文本转视频、图片动画、视频重绘和导演视角。
地址:https://haiper.ai/?ref=top.aibase.com
4、PixVerse
用户只需通过简洁的文字描述,即可轻松创作出高清、逼真的视频作品。无论是二次元的动漫风格、写实细腻的现实主义风格,还是立体生动的3D视觉效果PixVerse都能精准捕捉并实现用户提供的创意构思。
主要功能:文本提示生成视频、图片转换为动态视频、视频质量升级、
灵活的视频生成设置、支持指定角色生成视频。
地址:https://pixverse.ai/
5、Genmo
Genmo可以用来创作、编辑、改进你的图像和视频。也可以和Genmo进行对话,让它帮助你实现你的创意想法,生成和编辑电影、动画、海报、图标等创意内容。
主要功能:文字到视频转换、图片生成、3D模型生成、社区。
地址:https://www.genmo.ai/
6、Stable video diffusion
Stable video diffusion是由Stability AI开发的一种基于图像的转视频模型。它可以将任何静止图像转换为短视频,并具有可定制的帧率。
主要功能:动态化静止图像、影片制作与编辑、视觉特效制作
地址:https://stability.ai/news/stable-video-diffusion-open-ai-video-model
7、invideo AI
Invideo Al是一个在线文本转视频制作工具,它可以让你用文字输入来生成AI视频。你可以用文字提示来编辑你的视频,从1600万的素材库中选择合适的视频片段,并添加人声、字幕、过渡和背景音乐等。
主要功能:在线AI视频生成器、AI驱动的剧本、人声生成器、文字提示编辑器、海量模板、高质量素材。
地址:https://invideo.io/
8、Phenaki
Phenaki是Google研究团队开发的一款能够从文本生成视频的AI模型,它可以根据用户输入的一系列文本提示,合成出逼真的视频画面。
主要功能:从时间可变文本生成视频、生成逼真和多样化的视频、支持交互式和迭代式生成。
地址:https://phenaki.video/
9、MagicVideo-V2
MagicVideo-V2是由字节跳动推出的文本转视频应用,它将文本到图像模型、视频运动发生器、参考图像嵌入模块和帧插值模块集成到端到端视频生成管道中。这种结构使 MagicVideo-V2 能够制作高分辨率、美观的视频,并具有出色的保真度和流畅度。
主要功能:文本到图像、图像到视频、视频到视频和视频帧插值。
地址:https://magicvideov2.github.io/
10、Moonvalley
Moonvalley.ai 是一款AI文本转视频生成工具,让您可以从文本提示创建短视频。该工具目前在 Discord 上运行,您需要加入 Moonvalley 的 Discord 服务器才能创建自己的视频。
主要功能:文本输入:您只需要输入一段文本,就可以生成一段视频;多种视频风格:您可以选择不同的视频风格,来满足您的不同需求和喜好。
地址:https://moonvalley.ai/?utm_source=nettsz.com
11、Morph Studio
Morph Studio致力于打造文本生成视频技术与社区平台,通过SD+自研模型技术帮助用户实现短视频快速生成。
主要功能:纯文本到视频生成。
地址:https://app.morphstudio.com/
扫码邀请进群,我们带你一起来玩转ChatGPT、GPT-4、文心一言、通义千问、讯飞星火等AI大模型,顺便学一些AI搞钱技能。
往期文章回顾