斯坦福大学推出的worldscore,是一个用于评估世界生成模型的统一基准。它将世界生成任务分解成一系列“下一个场景”生成任务,并采用清晰的基于相机轨迹的布局规范,从而实现对不同模型的公平比较。worldscore从可控性、质量和动态性三个维度评估生成世界的优劣。其精心设计的数据集包含3000个测试样本,涵盖了静态和动态、室内和室外、写实和风格化等多种类型的场景。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜WorldScore核心功能WorldScore的主要优势在于:
统一评估:
提供统一的评估框架,可对各种世界生成模型进行全面评估。
多维度评估:
从可控性、质量和动态性三个关键方面评估生成效果。
多场景生成支持:
独特地支持多场景生成,评估模型生成连续场景的能力。
模型兼容性强:
兼容3D、4D、图像到视频(I2V)和文本到视频(T2V)模型。
长序列处理:
支持生成包含多个场景的长序列,测试模型的长期一致性。
图像条件生成:
支持基于图像的条件生成,尤其适用于I2V任务。
风格多样化:
数据集包含多种视觉风格,评估模型在不同风格下的适应性。
相机轨迹控制:
评估模型对指定相机轨迹的遵循程度。
3D一致性检验:
确保生成的3D场景在不同视角下保持几何结构的一致性。
WorldScore技术原理概述WorldScore基于一个庞大的、多样化的数据集,包含动态和静态配置的多媒体数据,适用于图像到视频和图像到3D模型的生成任务。
数据集构成:
动态配置包含图片、运动、风格、运动类型、相机路径、物体和提示等信息;静态配置则包含图片、视觉风格、场景类型、类别、相机路径、内容和提示列表等。
数据集规模:
包含1000个动态配置样本和2000个静态配置样本,并划分了训练集和测试集。
相机轨迹规范:
利用清晰的基于相机轨迹的布局规范,确保评估的公平性和一致性。
多模态数据支持:
支持图像、视频和3D模型等多种模态数据,适用于各种多模态内容生成任务。
WorldScore资源链接
项目官网:
https://www.php.cn/link/33e9da7fc3825a8aeb66ff6fbb7f5dd4
Github仓库:
https://www.php.cn/link/204ce29c4941163c2843bed9d2bcf5d4
arXiv论文:
https://www.php.cn/link/e7d18deaa121d4b11ec7a342f3a697b1 HuggingFace数据集:https://www.php.cn/link/e10d9154a2265dfbe56646110c37192d WorldScore与其他基准的对比WorldScore在多个方面超越了现有的基准测试:Git程序猿必备版本控制工具下载基准测试示例数量多场景统一性长序列图像条件多风格相机控制3D一致性TC-Bench150否否否是否否否EvalCrafter700否否否否否否否FETV619否否否否否否否VBench800否否否否否否否T2V-CompBench700否否否否否否否Meng et al.160否否否否否否否Wang et al.423否否是否否否否ChronoMagic-Bench1649否否否否否否否WorldModelBench350否否否是否否否WorldScore3000是是是是是是是WorldScore的应用前景WorldScore的应用场景广泛,包括:
图像到视频/3D模型生成:
用于视频制作、动画设计、虚拟现实、增强现实和3D建模等领域。
数据集支持:
为研究人员提供标准化的测试平台,促进模型的优化和改进。
自动驾驶场景生成:
用于自动驾驶系统的训练和测试,提高安全性。
总而言之,WorldScore为世界生成模型的评估提供了一个全面、统一且强大的基准,推动了该领域的研究和发展。
