摩尔线程大模型智算加速卡 MTT S4000 发布，配备 48GB 显存
https://www.ithome.com/0/740/281.htm
摩尔线程大模型智算加速卡 MTT S4000，采用第三代 MUSA 内核，单卡支持 48GB 显存和 768GB/s的显存带宽。基于摩尔线程自研 MTLink1.0 技术，MTT S4000 可以支持多卡互联，助力千亿大模型的分布式计算加速。同时，MTT S4000 提供先进的图形渲染能力、视频编解码能力和超高清 8K HDR 显示能力，助力 AI 计算、图形渲染、多媒体等综合应用场景的落地。尤为重要的是，借助摩尔线程自研 MUSIFY 开发工具，MTT S4000 计算卡可以充分利用现有 CUDA 软件生态，实现 CUDA 代码零成本迁移到 MUSA 平台。
官方表示，摩尔线程 KUAE 智算中心解决方案以全功能 GPU 为底座，是软硬一体化的全栈解决方案，包括以 KUAE 计算集群为核心的基础设施、KUAE Platform 集群管理平台以及 KUAE ModelStudio 模型服务，旨在以一体化交付的方式解决大规模 GPU 算力的建设和运营管理问题。该方案可实现开箱即用，大/大降低传统算力建设、应用开发和运维运营平台搭建的时间成本，实现快速投放市场开展商业化运营。
摩尔线程 KUAE 支持包括 DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale 在内的业界主流分布式框架，并融合了多种并行算法策略，包括数据并行、张量并行、流水线并行和 ZeRO，且针对高效通信计算并行和 Flash Attention 做了额外优化。目前，摩尔线程支持包括 LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各类主流大模型的训练和微调。基于摩尔线程 KUAE 千卡集群，70B 到 130B 参数的大模型训练，线性加速比均可达到 91%，算力利用率基本保持不变。以 2000 亿训练数据量为例，智源研究院 700 亿参数 Aquila2 可在 33 天完成训练；1300 亿参数规模的模型可在 56 天完成训练。此外，摩尔线程 KUAE 千卡集群支持长时间连续稳定运行，支持断点续训，异步 Checkpoint 少于 2 分钟。
支持cuda，不知道价格多少，便宜的话可以搞个来炼丹？
不是，还有存货吗？ 按照之前惯例，应该有个同核心的游戏版S90吧，这次不发布了？ 这个6，不知道售价如何 支持是支持，但和A卡一样目前仅限Linux 多少钱？ 0WHan0 发表于 2023-12-19 21:49
支持是支持，但和A卡一样目前仅限Linux
A卡Linuⅹ可用cuda？ KissMoon 发表于 2023-12-19 22:01
A卡Linuⅹ可用cuda？
ROCm啊，绝大部分都兼容 MTT啥时候给家用级支持SR-IOV啊？现在三个厂都欺负老百姓，就Intel买CPU送GPU虚拟化 不要叫水狗做主人 发表于 2023-12-19 23:38
MTT啥时候给家用级支持SR-IOV啊？现在三个厂都欺负老百姓，就Intel买CPU送GPU虚拟化 ...
老黄已经给消费卡解除限制了
https://nvidia.custhelp.com/app/answers/detail/a_id/5173 6 绝赞等一个 Midnight.Coup 发表于 2023-12-20 00:23
老黄已经给消费卡解除限制了
https://nvidia.custhelp.com/app/answers/detail/a_id/5173
你是不是发错链接了……？这个链接不是说专业卡才提供虚拟化吗……？而且老黄还十分抠门的连A4000这个档次都不提供虚拟化 本帖最后由 Midnight.Coup 于 2023-12-20 00:48 编辑
鸳鸳相抱 发表于 2023-12-20 00:35
你是不是发错链接了……？这个链接不是说专业卡才提供虚拟化吗……？而且老黄还十分抠门的连A4000 ...
GeForce GPU 直通支持 1 个虚拟机， GeForce 不支持 SR-IOV
GeForce 怎么会是专业卡，直通给虚拟机也是一种虚拟化，在 Windows Sandbox 里其实可以算成一卡两用了，以下是全文
GeForce GPU Passthrough for Windows Virtual Machine (Beta)
Updated 09/29/2021 01:16 PM
NVIDIA has enabled GPU passthrough beta support for a Windows virtual machine on GeForce GPUs. What does this mean?
With virtualization enabled, GeForce customers on a Linux host PC can now enable GeForce GPU passthrough on a virtual Windows guest OS. There are a few GeForce use cases where this functionality is beneficial such as:
[*]GeForce customers wanting to run a Linux host and be able to launch a Windows virtual machine (VM) to play games
[*]Game developers wanting to test code in both Windows and Linux on one machine
What class of virtualization is supported on GeForce GPUs?
GeForce GPU passthrough supports 1 virtual machine. SR-IOV is not supported on GeForce. If you want to enable multiple virtual machines to have direct access to a single GPU or want the GPU to be able to assign virtual functions to multiple virtual machines, you will need to use NVIDIA Tesla, Quadro, or RTX enterprise GPUs.
Which driver is GeForce virtualization (beta) supported on?
GeForce virtualization (beta) is supported on R465 or higher drivers.
Which GeForce GPUs and Windows OSes support virtualization?
The feature is enabled on all GeForce/TITAN GPUs supported in the R465 driver (Kepler and later for Desktop; Maxwell and later for Notebook) for Windows 10.
Do you need to have more than one GPU installed or can you leverage the same GPU being used by the host OS for virtualization?
One GPU is required for the Linux host OS and one GPU is required for the Windows virtual machine.
Midnight.Coup 发表于 2023-12-20 00:41
GeForce 怎么会是专业卡，直通给虚拟机也是一种虚拟化，在 Windows Sandbox 里其实可以算成一卡两用了， ...
我们说的虚拟化一般是指可以把一个硬件资源同时拆分给多个进程去调用，他说的SR- IOV就是这个意思，而不是说虚拟机可以调用某个硬件进行使用。 oskneo 发表于 2023-12-20 00:49
通常说的vgpu，虚拟化gpu是说的半虚拟化吧。
是能多台虚拟机共享的。直通到一个虚拟机是很早就可
直通也是 2021 年才解除的之前尝试开启就是著名的 “Code 43” Midnight.Coup 发表于 2023-12-20 00:41
GeForce 怎么会是专业卡，直通给虚拟机也是一种虚拟化，在 Windows Sandbox 里其实可以算成一卡两用了， ...
要的是SR-IOV啊，直通开放前的错误想绕过又不难 0WHan0 发表于 2023-12-20 01:09
要的是SR-IOV啊，直通开放前的错误想绕过又不难
那目前就只能用 virtio 驱动了 Midnight.Coup 发表于 2023-12-20 00:54
直通也是 2021 年才解除的之前尝试开启就是著名的 “Code 43”
之前ESXi和基于QEMU的都可以把CPU的虚拟化标志屏蔽来绕过
SR-IOV 3090的时候有小道消息说会支持，当然肯定是不可能的。 性能好像不如910B啊，又是台积电工艺。怎么和华子竞争啊，就靠cuda兼容吗
—— 来自 Xiaomi 23049RAD8C, Android 13上的 S1Next-鹅版 v2.5.2-play overflowal 发表于 2023-12-20 08:49
性能好像不如910B啊，又是台积电工艺。怎么和华子竞争啊，就靠cuda兼容吗
—— 来自 Xiaomi 23049RAD8C, A ...
靠和民用显卡同die的理论上的大规模低成本吧 插眼等价格
—— 来自 Xiaomi 22041211AC, Android 14上的 S1Next-鹅版 v2.5.4 overflowal 发表于 2023-12-20 08:49
性能好像不如910B啊，又是台积电工艺。怎么和华子竞争啊，就靠cuda兼容吗
—— 来自 Xiaomi 23049RAD8C, A ...
中芯国际也有14nm制程，如果舍不得用N+2的话 做计算卡挺好做游戏卡是没有前途的 qratosones1337 发表于 2023-12-20 11:03
中芯国际也有14nm制程，如果舍不得用N+2的话
切换工艺估计一两年时间了，现在拿出来的这货也不知道是存活还是马甲公司下单
页:
[1]