泰坦失足 发表于 2024-8-29 07:19

对游戏超分的一点疑惑,为什么DLSS1.0的每个游戏单独模型走不通?

本帖最后由 泰坦失足 于 2024-8-29 07:29 编辑

从机器学习角度来看,按理来说不该是1.0那样的准确率更高吗。比如第一方游戏,我能想到的方案就是超级大厂如微软索尼那种不差钱的主在PC上渲染一大堆超高分辨率版和对应的主机版低分辨率版,基于“低分->高分”的数据来微调模型,然后每个游戏附带一个微调过的超分模型。比如FF7里稍微远点的低分辨率渲染的蒂法,模型在经过足够的“低分的蒂法->高分的蒂法”后得到相关知识。甚至一个模型经过足够的微调充分认识如何将主角同行的全部NPC高清化。

朋友 发表于 2024-8-29 07:33

降低门槛吧,NV会自己收集新的游戏来继续训练模型。

mimighost 发表于 2024-8-29 07:54

想法很好,但是操作起来很困难

首先训练这个步骤谁来做,nv?还是厂家自己?训练出来的模型,nv自己负不负责测试?训练拐了咋办?游戏要是更新了咋办,以前的适配能用么?

实际上dlss是nv的牌子,所以它要自己来维护,不能让路人甲把自己的牌子砸了。自己训练一个统一的模型,开发用起来爽,它自己做品控也简单,分发更是简单的一笔。

泰坦失足 发表于 2024-8-29 08:30

mimighost 发表于 2024-8-29 07:54
想法很好,但是操作起来很困难

首先训练这个步骤谁来做,nv?还是厂家自己?训练出来的模型,nv自己负不负 ...

所以这应该是索尼/微软来做的,开发机提供相应接口。比如开发机或者PC上的SDK本身就能渲染原生4k版,然后同时导出同帧画面下的主机版渲染的低分版。第一方游戏各个有专门的逐游戏优化,开发成本较低第三方的才使用通用的。

a8610853 发表于 2024-8-29 09:28

DLSS1的一个游戏一个模型就是一个无奈之举而已,纯平面图像识别的超分质量很差伪影很多,所以只能想办法针对性训练来提高质量。
DLSS2引入时域之后采集深度信息就很准确,很通用了,自然就不需要一个游戏一个模型。

WGTCorp 发表于 2024-8-29 09:30

泰坦失足 发表于 2024-8-29 08:30
所以这应该是索尼/微软来做的,开发机提供相应接口。比如开发机或者PC上的SDK本身就能渲染原生4k版,然后 ...

PS和XBOX都是AMD的芯片,不支持DLSS。主机没法用,那微软索尼肯定不会去做,第三方厂商也不会费那个功夫专门为了PC去调模型。

npk7k_1 发表于 2024-8-29 09:33

本帖最后由 npk7k_1 于 2024-8-29 09:36 编辑

因为图像信息密度低,任务简单,继续微调带来的提升有限,考虑到付出的代价综合性价比不高

Masked Autoencoders Are Scalable Vision Learners

朋友 发表于 2024-8-29 09:36

泰坦失足 发表于 2024-8-29 08:30
所以这应该是索尼/微软来做的,开发机提供相应接口。比如开发机或者PC上的SDK本身就能渲染原生4k版,然后 ...

PC上NV自己就有维护,主机没NV啥事
页: [1]
查看完整版本: 对游戏超分的一点疑惑,为什么DLSS1.0的每个游戏单独模型走不通?