AI 视频天生,是迩来最热门的周围之一。各个高校测验室、互联网巨头 AI Lab、创业公司纷○=纷 参预了 AI 视 ★频天 生的赛○ △道。Pika、Gen-2、Show-1、VideoCrafter、ModelScope、SEINE、LaVie、Vide○ ○=oLD○ □○ □★△M… ○ 等视○频天生 模子△的揭 橥,更是让人刻下一亮。v⁽⁾。
为此,咱们推出了 VBench,一个 △所有的「○ 视频▽△天生模○子 =的评测框架」,来告诉你 「视频模子哪家强柔性LED显 …示屏,各家模子强正在哪」。
VBench 不但能所有、精密地评估视频天生的效率,况且还稀奇适宜人们的感官体验,能省下 ■=一大堆评估的○期间和精神
各家已开源的 AI 视频天生模子▽正在 VBench 上的浮现视频管理器。正在雷达图中,为了更明晰地可视化较量,咱们将每个维◁ 度 的评测结果归一化到了 0。3 与 0。8 之间。
V Bench 目前给出了 ★G★en-2 和 P▽ika 这两家创业公司▽模子的评测■ 结果。
Gen- 2 和 □Pika 正 在 VBench 上 的浮现。正在雷达图中柔○性LED=显示屏,为了更明晰地可视化较量,咱们▽参预了 VideoCra■ft★er-1。0 和 Show-1 动作参考,同时★将每个维度 的评测结果归一化到了 0。3 与 0。8 之间。
视 频天生模■ 子 VS ◁图◁= 片天生=★模子。个中 SD1。4 视频 管理 器 ,SD2。1 和 SDX○■L 是图片天 生模子。
目前,VBench 已所有开源,且扶助一键装配。接待公共来玩,测试一下感有趣的模子,一块胀动视频天生社区的成长。
咱△ 们也开源了◁一 ★○○系○列 P□ro mp○ t… Li st:,包罗正在 差别材干维◁○度上用于评测的★ Benchmark,以及正在差别○场景实质 ▽上的评测 Ben○chmark。
左边词云闪 现了咱们 Prompt Suites 的高频词漫衍,右图闪现 了差别维度和种别的 prompt 数目统计。
针对每个维度,咱们算计了 VBench 评测结▽果与人工评测结果之间的合系 度bsports必一体育网页版登录小间距LED显示屏柔性LEb体育登录入口appD,,进而验 证★咱们设施与人 类■观感的一律性。下图中,横轴代= 外差别○维 度的人 工评 ▽测结果,纵轴则闪现了 V○Bench 设施自愿评测的结果,能够看到咱们设 施正在各个维 度都与人□类感知高度对齐。
VBench 不但能够对现有模子实行评测,更紧张的是,还能够呈现差别 模子中或许存正在○的各○样…○题目,为将来 AI 视频=天生的成长供给有代价的 in sights。
咱们呈现时序连贯性(比方 Subject C onsistencybsport体育室内全彩LED显示屏、Backg◁r ound★ Consistency、Motion Smoothness)与视频中运动的幅度(D ynamic Degree)之间有必然的量度★合连。例如说,Sh ow-1 和 VideoCr○after○ -1。0 正在配景一律性和行为畅通▽度方面浮现很好,但正在动态水平方面得分较低;这或许是由于天生 「没有动起来」 的画面更容易显 得 「正在时序上很连贯」。另一方面,VideoCrafter-0。9 正○■ 在与时序一律性的◁维□ =度■ 上 弱少 许。
这证据,同时做好 「时序○连■贯性」 和 「较 高的动态水平△」 确实挺难的;将来◁不应只 合切个 中一方面的晋升,而该当同时晋升 「时序○连贯性」 以及 「视频的动态水平」 这两△方面,这才是故意义的。
有=些模子正在▽差别种别上 浮现出的职能存正在◁○较…▽大…分别,例如正在美学质料(Aesthetic Quality) 上必一体育app下载,CogV ideo 正在○ 「Food」 种别 上浮现不错,而正在 「○Li feStyle」 种别 得分较低。要是通过熬炼数据的调理,Co gVideo 正在 「LifeStyle△」 这些种别上的美学质 料是否能够晋升上。Bsports必一体育bsports必一体育柔性LED显示屏视频处理器