有没有玩Infiniband的？可以讨论讨论！

vertusd · 发表于 2016-12-28 19:28

本帖最后由 vertusd 于 2016-12-28 22:23 编辑

最近无聊又整自己的NAS，希望玩一下虚拟化（ESXI）以及INFINIBAND，还有无盘，分为下面几个部分

准备：1.买了块LSI 的阵列卡，准备组RAID0+1，并且使用双SSD RAID0 做阵列卡CACHE（阵列卡自带1G内存缓存）
2.买了两块INFINIBAND CONNECT-X2的卡，还没到货，另外买了一根15M的线QSFP+（作用后面说），一个2M的线。

计划:
1.希望是PC机完全放弃硬盘，做成无盘主机，存储放在NAS上，NAS则安装ESXI，虚拟出一台WINDOWS2012（或者LINUX），配上磁盘直通，PC机和NAS用INFINIBAND通讯，。

2.ESXI上面想玩一个虚拟路由，例如pfSense 或者OPENWRT。安装苹果的那个三天线无线网卡（之前买的闲置了），这样就不用买新路由器了（其实是之前的R6300挂了）
另外NAS有四口千兆卡，可以连现有千兆网络做端口聚合，虽然我在NAS的房间只布了两根网线。INFINIBAND的网络和现有千兆网络做桥接。

3.上面都完成了之后，还有一个需求，我的HTCVIVE基站放在卧室，离书房太远，每次玩不想搬主机，于是我想能不能利用INFINIBAND的高带宽，低延时做REMOTE PLAY?

另外一个思路是 HDMI OVER IP，但这个性能就不太好了，用现成硬件1080p只有10多帧，更不用说延时问题了。

更新：
刚刚发现ME官方其实也已经涉足VR这个领域了:
https://www.hpcwire.com/off-the- ... bs-infiniband-sc16/
By leveraging the high throughput and the low latency of Mellanox 100Gb/s ConnectX-4 InfiniBand, Scalable Graphics VR-Link Expander provides a near-zero latency streaming solution for bringing an optimal Virtual Reality experience even over long distances.
他们这个场景跟我的情况有点像，但他们的距离更远，由于使用X-4的卡，带宽更高。

在卧室放一台瘦客户机，运算都放在书房，然后用那个QSFP+15M的光纤连接，不知道现在有没有什么技术可以实现？

SSF · 发表于 2016-12-28 19:49

ib……个人nas玩那么大实在太壕了

----发自我的iPhone via Saralin 1.8.0
来自: iPhone客户端

vertusd · 发表于 2016-12-28 19:50

SSF 发表于 2016-12-28 19:49
ib……个人nas玩那么大实在太壕了

----发自我的iPhone via Saralin 1.8.0

还好吧，网卡就150左右。网线2M也才几十元

Prolun · 发表于 2016-12-28 20:53

QNAP官方40GB的IB扩展卡要价595美元，简直就是抢钱。
可以去CHH看看，那边玩这个的比较多。

vertusd · 发表于 2016-12-28 20:56

Prolun 发表于 2016-12-28 20:53
QNAP官方40GB的IB扩展卡要价595美元，简直就是抢钱。
可以去CHH看看，那边玩这个的比较多。 ...

CHH我号老要激活，烦心

vertusd · 发表于 2016-12-28 21:35

本帖最后由 vertusd 于 2016-12-28 21:37 编辑

找到一个好东西了，英伟达在Infiniband的 RMDA基础上实现了GPUDirect，可以远程访问GPU

GPUDirect support for RDMA is available now in the latest CUDA Toolkit version 6 or later. You may also need to contact your InfiniBand or iWARP vendor and/or install updated drivers for adaptors using GPUDirect. Please use the links below or contact your InfiniBand or iWARP vendor directly:

For the OFED Driver Image for Mellanox InfiniBand adapters, contact hpc@mellanox.com
For the OFED Driver Image for Chelsio iWARP adapters, contact support@chelsio.com

另外一个思路是 HDMI OVER IP，但这个性能就不太好了，用现成硬件1080p只有10多帧，更不用说延时问题了。

yuxiao · 发表于 2016-12-28 21:36

PC机内置一块高性能SSD就这么不能忍受嘛。。。
为啥要花这么大代价就为了少装一块内置SSD。。。

vertusd · 发表于 2016-12-28 21:38

yuxiao 发表于 2016-12-28 21:36
PC机内置一块高性能SSD就这么不能忍受嘛。。。
为啥要花这么大代价就为了少装一块内置SSD。。。 ...

其实就是折腾啊，确实很浪费

yuxiao · 发表于 2016-12-28 21:42

vertusd 发表于 2016-12-28 21:38
其实就是折腾啊，确实很浪费

除非你干脆不要PC，平时娱乐都靠平板和手机，用infiniband搭一个X86架构高性能NAS出来
不然我觉得这么做得不偿失。。。。

treexper · 发表于 2016-12-28 21:46

GPUDirect带宽够latency也不够，用来做deep learning的offline training的，实时图像渲染估计不行。

vertusd · 发表于 2016-12-28 21:47

本帖最后由 vertusd 于 2016-12-28 21:49 编辑

yuxiao 发表于 2016-12-28 21:42
除非你干脆不要PC，平时娱乐都靠平板和手机，用infiniband搭一个X86架构高性能NAS出来
不然我觉得这么做 ...

不过还好了，两张卡300元，网线80，就可以享受10G+的网络速度，虽然存储即使是SSD RAID0也上不了这个极限，就是看看在RMDA上面可以玩出什么花样，毕竟相比10G的TCP网络，这个IB的延时只有纳秒级的。
我现在甚至想自己写steamer 程序，来实现HDMI OVER IB，这样就可以远程打HTCVIVE了（其实完全可以用一根长HDMI线

）

yuxiao · 发表于 2016-12-28 21:48

vertusd 发表于 2016-12-28 21:47
不过还好了，两张卡300元，网线80，就可以享受10G+的网络速度，虽然存储即使是SSD RAID0也上不了这个极限 ...

可是瓶颈还是在磁盘。。。。最终的IO性能不可能超过PC内置SSD。。。。。

spieler · 发表于 2016-12-28 21:52

目前support的产品内部交换机好像就是ib，明天看看文档去

vertusd · 发表于 2016-12-28 21:52

yuxiao 发表于 2016-12-28 21:48
可是瓶颈还是在磁盘。。。。最终的IO性能不可能超过PC内置SSD。。。。。

但存储统一管理还是有点好处的，所有的PC设备都做成无盘，数据存放在ESXI上，就是把PC和存储间的网速从100M/S提升到存储极限。

vertusd · 发表于 2016-12-28 21:54

treexper 发表于 2016-12-28 21:46
GPUDirect带宽够latency也不够，用来做deep learning的offline training的，实时图像渲染估计不行。 ...

IB的延时不知道在高流量下理论值能跑到多少,HTCVIVE对于延时要求太高，估计渲染延时20MS以上就够呛。

zatsuza · 发表于 2016-12-28 21:58

上个HDMI放大器就行了吧……另外无盘系统好像很多限制的并不能随意安装版本和更新补丁

vertusd · 发表于 2016-12-28 22:00

zatsuza 发表于 2016-12-28 21:58
上个HDMI放大器就行了吧……另外无盘系统好像很多限制的并不能随意安装版本和更新补丁 ...

hdmi 延长器看看视频啥可以，但HTCVIVE不行，对延时和帧数要求太高

yuxiao · 发表于 2016-12-28 22:05

vertusd 发表于 2016-12-28 21:52
但存储统一管理还是有点好处的，所有的PC设备都做成无盘，数据存放在ESXI上，就是把PC和存储间的网速从10 ...

所以你家有好多台PC？

vertusd · 发表于 2016-12-28 22:05

另外主力机这里我同时也想上ESXI了，就是不知道能不能显卡直通

vertusd · 发表于 2016-12-28 22:11

yuxiao 发表于 2016-12-28 22:05
所以你家有好多台PC？

还好就三台

vertusd · 发表于 2016-12-28 22:12

本帖最后由 vertusd 于 2016-12-28 22:13 编辑

yuxiao 发表于 2016-12-28 22:05
所以你家有好多台PC？

但有统一存储的话，其他设备也可以使用存储啊，小米盒子，游戏机啥的，只不过就享受不了IB的速度。

yuxiao · 发表于 2016-12-28 22:18

vertusd 发表于 2016-12-28 22:12
但有统一存储的话，其他设备也可以使用存储啊，小米盒子，游戏机啥的，只不过就享受不了IB的速度。[s:1539 ...

我觉得还是PC机内置SSD作为启动盘，其它数据放在NAS最靠谱，话说NAS不是可以双千兆网卡绑定的，这样多设备访问也不会有瓶颈

zatsuza · 发表于 2016-12-28 22:21

vertusd 发表于 2016-12-28 22:00
hdmi 延长器看看视频啥可以，但HTCVIVE不行，对延时和帧数要求太高

我说的不是延长器，是普通的信号放大器

vertusd · 发表于 2016-12-28 22:26

本帖最后由 vertusd 于 2016-12-28 22:27 编辑

yuxiao 发表于 2016-12-28 22:18
我觉得还是PC机内置SSD作为启动盘，其它数据放在NAS最靠谱，话说NAS不是可以双千兆网卡绑定的，这样多设 ...

但是我买的阵列卡就是为了SSD缓存（分层存储啊），放在PC端就组不了SSD RAID了,这样的单SSD缓存速度也不会太快。

yuxiao · 发表于 2016-12-28 22:26

vertusd 发表于 2016-12-28 22:26
但是我买的阵列卡就是为了SSD缓存（分层存储啊），放在PC端就组不了SSD RAID了 ...

家用NAS还搞分层

vertusd · 发表于 2016-12-28 22:27

yuxiao 发表于 2016-12-28 22:18
我觉得还是PC机内置SSD作为启动盘，其它数据放在NAS最靠谱，话说NAS不是可以双千兆网卡绑定的，这样多设 ...

是想做端口聚合的，但做了聚合单台设备最高速也只有100MB/S，所以我才决心上IB

yuxiao · 发表于 2016-12-28 22:28

vertusd 发表于 2016-12-28 22:27
是想做端口聚合的，但做了聚合单台设备最高速也只有100MB/S，所以我才决心上IB ...

我不觉得你的PC机会用到超过200MB/s的性能。。。。。

vertusd · 发表于 2016-12-28 22:30

yuxiao 发表于 2016-12-28 22:28
我不觉得你的PC机会用到超过200MB/s的性能。。。。。

是啊，现在确实用不到

，不过以后是不是还是有机会用到？在学机器学习，以后说不定会抓一大把数据到存储上面。

vertusd · 发表于 2016-12-28 22:34

zatsuza 发表于 2016-12-28 22:21
我说的不是延长器，是普通的信号放大器

这个确实是最简单有效的方法了，比起折腾这个IB来说，不过玩电脑不就是折腾的有趣嘛，玩洋垃圾的坏习惯改不了。

yuxiao · 发表于 2016-12-28 22:34

vertusd 发表于 2016-12-28 22:30
是啊，现在确实用不到，不过以后是不是还是有机会用到？在学机器学习，以后说不定会抓一大把数据 ...

那时候你就会觉得NAS性能不行了，直接大容量NVMe SSD了

董卓 · 发表于 2016-12-28 22:44

spieler 发表于 2016-12-28 21:52
目前support的产品内部交换机好像就是ib，明天看看文档去

咦，为啥居然想说一样的
并不是用的你们家的产品啊

vertusd · 发表于 2017-1-8 02:27

已经成功连接上两台设备了，理论带宽有16Gbps，但因为我主板pcie占用，只能跑再pciex4带宽导致速度只有5Gbps,坑爹啊。只能管主板了。什么rmda，win10,smb over rmda都给搞定了，下一步配置esxi

vertusd · 发表于 2017-1-8 02:27

本帖最后由 vertusd 于 2017-1-8 08:34 编辑

没达到1GB每秒的速度，感觉这方案就少了意义，完全无法支撑ssd raid0的速度啊

ambivalence · 发表于 2017-1-8 11:38

个人nas上IB
壕

		自动登录	找回密码
密码			立即注册

[硬件] 有没有玩Infiniband的？可以讨论讨论！

本帖子中包含更多资源