有没有玩Infiniband的？可以讨论讨论！
本帖最后由 vertusd 于 2016-12-28 22:23 编辑最近无聊又整自己的NAS，希望玩一下虚拟化（ESXI）以及INFINIBAND，还有无盘，分为下面几个部分
准备：1.买了块LSI 的阵列卡，准备组RAID0+1，并且使用双SSD RAID0 做阵列卡CACHE（阵列卡自带1G内存缓存）
2.买了两块INFINIBAND CONNECT-X2的卡，还没到货，另外买了一根15M的线QSFP+（作用后面说），一个2M的线。
计划:
1.希望是PC机完全放弃硬盘，做成无盘主机，存储放在NAS上，NAS则安装ESXI，虚拟出一台WINDOWS2012（或者LINUX），配上磁盘直通，PC机和NAS用INFINIBAND通讯，。
2.ESXI上面想玩一个虚拟路由，例如pfSense 或者OPENWRT。安装苹果的那个三天线无线网卡（之前买的闲置了），这样就不用买新路由器了（其实是之前的R6300挂了）
另外NAS有四口千兆卡，可以连现有千兆网络做端口聚合，虽然我在NAS的房间只布了两根网线。INFINIBAND的网络和现有千兆网络做桥接。
3.上面都完成了之后，还有一个需求，我的HTCVIVE基站放在卧室，离书房太远，每次玩不想搬主机，于是我想能不能利用INFINIBAND的高带宽，低延时做REMOTE PLAY?
另外一个思路是 HDMI OVER IP，但这个性能就不太好了，用现成硬件1080p只有10多帧，更不用说延时问题了。
更新：
刚刚发现ME官方其实也已经涉足VR这个领域了:
https://www.hpcwire.com/off-the- ... bs-infiniband-sc16/
By leveraging the high throughput and the low latency of Mellanox 100Gb/s ConnectX-4 InfiniBand, Scalable Graphics VR-Link Expander provides a near-zero latency streaming solution for bringing an optimal Virtual Reality experience even over long distances.
他们这个场景跟我的情况有点像，但他们的距离更远，由于使用X-4的卡，带宽更高。
在卧室放一台瘦客户机，运算都放在书房，然后用那个QSFP+15M的光纤连接，不知道现在有没有什么技术可以实现？
ib……个人nas玩那么大实在太壕了
----发自我的iPhone via Saralin 1.8.0
SSF 发表于 2016-12-28 19:49
ib……个人nas玩那么大实在太壕了
----发自我的iPhone via Saralin 1.8.0
还好吧，网卡就150左右。网线2M也才几十元 QNAP官方40GB的IB扩展卡要价595美元，简直就是抢钱。
可以去CHH看看，那边玩这个的比较多。 Prolun 发表于 2016-12-28 20:53
QNAP官方40GB的IB扩展卡要价595美元，简直就是抢钱。
可以去CHH看看，那边玩这个的比较多。 ...
CHH我号老要激活，烦心 本帖最后由 vertusd 于 2016-12-28 21:37 编辑
找到一个好东西了，英伟达在Infiniband的 RMDA基础上实现了GPUDirect，可以远程访问GPU
GPUDirect support for RDMA is available now in the latest CUDA Toolkit version 6 or later. You may also need to contact your InfiniBand or iWARP vendor and/or install updated drivers for adaptors using GPUDirect. Please use the links below or contact your InfiniBand or iWARP vendor directly:
For the OFED Driver Image for Mellanox InfiniBand adapters, contact hpc@mellanox.com
For the OFED Driver Image for Chelsio iWARP adapters, contact support@chelsio.com
另外一个思路是 HDMI OVER IP，但这个性能就不太好了，用现成硬件1080p只有10多帧，更不用说延时问题了。
PC机内置一块高性能SSD就这么不能忍受嘛。。。
为啥要花这么大代价就为了少装一块内置SSD。。。 yuxiao 发表于 2016-12-28 21:36
PC机内置一块高性能SSD就这么不能忍受嘛。。。
为啥要花这么大代价就为了少装一块内置SSD。。。 ...
其实就是折腾啊，确实很浪费 vertusd 发表于 2016-12-28 21:38
其实就是折腾啊，确实很浪费
除非你干脆不要PC，平时娱乐都靠平板和手机，用infiniband搭一个X86架构高性能NAS出来
不然我觉得这么做得不偿失。。。。 GPUDirect带宽够latency也不够，用来做deep learning的offline training的，实时图像渲染估计不行。 本帖最后由 vertusd 于 2016-12-28 21:49 编辑
yuxiao 发表于 2016-12-28 21:42
除非你干脆不要PC，平时娱乐都靠平板和手机，用infiniband搭一个X86架构高性能NAS出来
不然我觉得这么做 ...
不过还好了，两张卡300元，网线80，就可以享受10G+的网络速度，虽然存储即使是SSD RAID0也上不了这个极限，就是看看在RMDA上面可以玩出什么花样，毕竟相比10G的TCP网络，这个IB的延时只有纳秒级的。
我现在甚至想自己写steamer 程序，来实现HDMI OVER IB，这样就可以远程打HTCVIVE了（其实完全可以用一根长HDMI线）
vertusd 发表于 2016-12-28 21:47
不过还好了，两张卡300元，网线80，就可以享受10G+的网络速度，虽然存储即使是SSD RAID0也上不了这个极限 ...
可是瓶颈还是在磁盘。。。。最终的IO性能不可能超过PC内置SSD。。。。。 目前support的产品内部交换机好像就是ib，明天看看文档去 yuxiao 发表于 2016-12-28 21:48
可是瓶颈还是在磁盘。。。。最终的IO性能不可能超过PC内置SSD。。。。。
但存储统一管理还是有点好处的，所有的PC设备都做成无盘，数据存放在ESXI上，就是把PC和存储间的网速从100M/S提升到存储极限。 treexper 发表于 2016-12-28 21:46
GPUDirect带宽够latency也不够，用来做deep learning的offline training的，实时图像渲染估计不行。 ...
IB的延时不知道在高流量下理论值能跑到多少,HTCVIVE对于延时要求太高，估计渲染延时20MS以上就够呛。 上个HDMI放大器就行了吧……另外无盘系统好像很多限制的并不能随意安装版本和更新补丁 zatsuza 发表于 2016-12-28 21:58
上个HDMI放大器就行了吧……另外无盘系统好像很多限制的并不能随意安装版本和更新补丁 ...
hdmi 延长器看看视频啥可以，但HTCVIVE不行，对延时和帧数要求太高 vertusd 发表于 2016-12-28 21:52
但存储统一管理还是有点好处的，所有的PC设备都做成无盘，数据存放在ESXI上，就是把PC和存储间的网速从10 ...
所以你家有好多台PC？ 另外主力机这里我同时也想上ESXI了，就是不知道能不能显卡直通 yuxiao 发表于 2016-12-28 22:05
所以你家有好多台PC？
还好就三台 本帖最后由 vertusd 于 2016-12-28 22:13 编辑
yuxiao 发表于 2016-12-28 22:05
所以你家有好多台PC？
但有统一存储的话，其他设备也可以使用存储啊，小米盒子，游戏机啥的，只不过就享受不了IB的速度。 vertusd 发表于 2016-12-28 22:12
但有统一存储的话，其他设备也可以使用存储啊，小米盒子，游戏机啥的，只不过就享受不了IB的速度。
我觉得还是PC机内置SSD作为启动盘，其它数据放在NAS最靠谱，话说NAS不是可以双千兆网卡绑定的，这样多设备访问也不会有瓶颈 vertusd 发表于 2016-12-28 22:00
hdmi 延长器看看视频啥可以，但HTCVIVE不行，对延时和帧数要求太高
我说的不是延长器，是普通的信号放大器 本帖最后由 vertusd 于 2016-12-28 22:27 编辑
yuxiao 发表于 2016-12-28 22:18
我觉得还是PC机内置SSD作为启动盘，其它数据放在NAS最靠谱，话说NAS不是可以双千兆网卡绑定的，这样多设 ...
但是我买的阵列卡就是为了SSD缓存（分层存储啊），放在PC端就组不了SSD RAID了,这样的单SSD缓存速度也不会太快。 vertusd 发表于 2016-12-28 22:26
但是我买的阵列卡就是为了SSD缓存（分层存储啊），放在PC端就组不了SSD RAID了 ...
家用NAS还搞分层
yuxiao 发表于 2016-12-28 22:18
我觉得还是PC机内置SSD作为启动盘，其它数据放在NAS最靠谱，话说NAS不是可以双千兆网卡绑定的，这样多设 ...
是想做端口聚合的，但做了聚合单台设备最高速也只有100MB/S，所以我才决心上IB vertusd 发表于 2016-12-28 22:27
是想做端口聚合的，但做了聚合单台设备最高速也只有100MB/S，所以我才决心上IB ...
我不觉得你的PC机会用到超过200MB/s的性能。。。。。 yuxiao 发表于 2016-12-28 22:28
我不觉得你的PC机会用到超过200MB/s的性能。。。。。
是啊，现在确实用不到，不过以后是不是还是有机会用到？在学机器学习，以后说不定会抓一大把数据到存储上面。 zatsuza 发表于 2016-12-28 22:21
我说的不是延长器，是普通的信号放大器
这个确实是最简单有效的方法了，比起折腾这个IB来说，不过玩电脑不就是折腾的有趣嘛，玩洋垃圾的坏习惯改不了。 vertusd 发表于 2016-12-28 22:30
是啊，现在确实用不到，不过以后是不是还是有机会用到？在学机器学习，以后说不定会抓一大把数据 ...
那时候你就会觉得NAS性能不行了，直接大容量NVMe SSD了 spieler 发表于 2016-12-28 21:52
目前support的产品内部交换机好像就是ib，明天看看文档去
咦，为啥居然想说一样的
并不是用的你们家的产品啊 已经成功连接上两台设备了，理论带宽有16Gbps，但因为我主板pcie占用，只能跑再pciex4带宽导致速度只有5Gbps,坑爹啊。只能管主板了。什么rmda，win10,smb over rmda都给搞定了，下一步配置esxi 本帖最后由 vertusd 于 2017-1-8 08:34 编辑
没达到1GB每秒的速度，感觉这方案就少了意义，完全无法支撑ssd raid0的速度啊 个人nas上IB
壕
页:
[1]