以后的PC会不会像手机一样装上NPU这类的AI芯片？

Sza

出于纯外行的好奇心
刚刚用CPU跑waifu2x时想起来跑这类模型的速度似乎是NPU＞GPU＞CPU（好像NPU对内存容量的需求也大于GPU），同时之前思元270的新闻让我了解到已经有了PCI-E接口的AI芯片板卡产品。

既然手机上的NPU已经可以用来处理照片、录像和语音识别，所以会不会以后有单独的板卡或者是CPU或者显卡上带有集成核心来处理PC的图片、视频后期或者是3D程序抗锯齿？说起来AI抗锯齿已经有老黄用Tensor Core跑的DLSS，听说效果一言难尽。

处男鉴黄师

不会。厂商会让你付费云计算再把结果传回来给你。

creymorgan

NV GPU里面的Tensor单元就是类似NPU的硬逻辑，不是可编程管线跑AI软件了

Sza

处男鉴黄师 发表于 2019-6-24 18:23
不会。厂商会让你付费云计算再把结果传回来给你。

感觉手机上那么大的SoC都能塞进去，牙膏厂yes厂塞个NPU进去也不算奇怪吧？台式机且不论，至少苏菲之类的平板也用得上。

lwa190212

现在手机上是处理单元+算法打包卖
至于你说的集成核心来处理PC的图片、视频后期或者是3D程序抗锯齿，老黄不是都有在搞吗你看rtx有个应用不就是搞8k视频的

Liza

敢情炼丹师炼丹不是用PC炼的

Sza

madbird302 发表于 2019-6-24 18:45
如果你买的是这两年的N卡，已经有Tensor core了呀

主楼写到最后一句的时候才意识到的确已经有了，但不清楚PC端上有没有使用张量核心的“真香”应用，比如说DLSS吗……

Sza

Liza 发表于 2019-6-24 18:49
敢情炼丹师炼丹不是用PC炼的

主要还是好奇面向普通用户的产品。。毕竟手机AI拍照已经傻瓜式的便捷了

Sza

madbird302 发表于 2019-6-24 19:29
单独的应用应该还没有，游戏也是刚开始有内部调用GPU这方面机能的使用，这东西在MiD上的推广比PC端要容易 ...

好像的确是如此，移动设备上比较好实现

画月亮NB！(小声逼逼

Sza

obiy 发表于 2019-6-24 20:12
10代的intel cpu有提到通过深度学习来调节频率，应该是cpu自己实现的逻辑。
你说的ai应用都是适合独立gpu计 ...

其实刚才我也想起来牙膏的10nm产品，重温了一遍白嫖王的COMPUTEX2019报道：
https://www.bilibili.com/video/av54651344
最后一分钟的确提到了新U的“AI应用”，应该如你所说没有加入单独的推理单元（是这么称呼的吧？）。

唔，原以为也会像手机SoC那样有个NPU来着，我还是洗洗睡吧……
补充：对于你最后一句，我查了一下光追用的是RT Core，不是Tensor Core，光追似乎和AI没关系？
参考：https://www.zhihu.com/question/290167656

dkswxd

有没有炼丹dalao帮我看看我的问题

求助，关于anaconda3/pkgs/cudatoolkit-*和nvidia-cuda-toolkit的区别
需要用实验室的电脑训练模型，学长说cuda、pytorch这些环境都已经配好了
actiavte环境，照着github上安装步骤setup.py，没有出问题，运行train.py出错，我感觉最关键的错误提示是‘Not compiled with GPU support (nms)’
回头检查发现setup.py时CUDA_HOME=NONE，由于没有CUDA的环境变量所以没有编译GPU支持
那我就加上环境变量呗，结果/usr/local/cuda不存在，真的有cuda吗？试了一下nvcc -V，不存在，请安装nvidia-cuda-toolkit
拉来学长，学长说cuda有啊，打开anaconda3/pkgs/cudatoolkit-*，真的有cuda，而且torch.cuda.is_available() = ture，但是一看才500MB，nvidia官网上下下来要2.5GB
所以想问问anaconda3/pkgs/cudatoolkit-*和nvidia-cuda-toolkit一样吗？
anaconda3/pkgs/cudatoolkit-*也是cuda吗？但为什么没有nvcc和环境变量？

Sza

伊可费斯 发表于 2019-6-24 20:37
问题不是压根没有配合使用的应用么

就是这个问题嘛

Sza

dkswxd 发表于 2019-6-24 20:32
有没有炼丹dalao帮我看看我的问题

求助，关于anaconda3/pkgs/cudatoolkit-*和nvidia-cuda-toolkit的区别

等学ML的大佬帮你吧，没人回的话单开贴好了，我小白围观

芜湖挨宰

一看发帖时间五年前。
恍如昨日

whzfjd

问题是pc插gpu没限制啊，办公本塞个npu有多大意义

Sza

whzfjd 发表于 2024-6-11 01:13
问题是pc插gpu没限制啊，办公本塞个npu有多大意义

我看了下极客湾最近几期台北展的报道，各家芯片厂给笔记本soc加npu主要是为了低功耗跑ai应用，省电。

chaos7

看了一下,微软对Ai PC的NPU算力要求是40tops,大概是什么型号N卡的水平?能不能用来搞大语言模型?

Sza

chaos7 发表于 2024-6-11 03:28
看了一下,微软对Ai PC的NPU算力要求是40tops,大概是什么型号N卡的水平?能不能用来搞大语言模型? ...

第一个问题：按https://www.nvidia.cn/geforce/graphics-cards/40-series/的说法，台式机显卡最低的是rtx2060的“第 2 代 52 AI TOPS”。
第二个问题：我没跑过大语言模型不知道这样的算力怎么样。按https://benchlife.info/nvidia-geforce-rtx-gpu-is-high-performance-and-low-latency-the-best-choice-for-ai-pc/报道的说法

在個人電腦領域，現在廣泛談論配備 NPU 處理器的必要性，已知產品（無論正式推出與否）的運算能力在 10～45 TOPS 之間。NVIDIA 認為，這只夠用來處理很基本的 AI 運算，例如 Windows Studio 視訊特效處理，特別是為考量電池續航力因素的筆電，NPU 可扮演 AI 運算輔助角色。

反觀在內容創作、生產力、開發，或說本地 LLM、Chat 等 AI 應用，搭載 GeForce RTX 獨立顯示卡的桌機環境，可提供 100～1,300+ TOPS 不等運算能力，相對而言更快速、更有效率可言，同時能獲得更好的品質或能夠使用進階功能，NVIDIA 自然是推崇使用 NVIDIA RTX 獨立顯示卡。

配图是这俩张

mimighost

on device的npu，emmm，我觉得有戏，但是更有可能是被cpu给涵盖了，要一个单独的芯片有啥意义