国庆期间自组NAS遇到过的坑

fat · 发表于 2020-10-13 23:17

本帖最后由 fat 于 2020-10-13 23:19 编辑

国庆时在二手区收了个HPE gen10服务器，继而又眼馋换了gen10 plus。
期间遇到过无数的坑，还好最后都解决了。

分享共勉，欢迎交流

坑1：群晖系统的虚拟机VMM套件启动失败
是群晖VMM套件不支持AMD CPU的虚拟化的锅。
虽然官方文档提及VMM套件2.5.2-9711增加AMD支持，但实测gen10 的x3612cpu仍然无法用。

坑2：ESXi系统装黑群晖时，搜索不到群晖主机
看了n多教程，实验了n次后，基本肯定关键有3个：
1）虚拟机的网卡类型一定要选E1000e
2）ESXi的虚拟网络里，交换机要选择“混合模式”（当然，直通网卡除外）
3）引导文件的虚拟硬盘要在SATA控制器0，而实际用的硬盘要在SATA控制器1

坑3：西数500G m2盘用PCIE转接卡，在Gen10 plus上无法使用
另外一个帖子有提过，弄了好久。
最终发现换个西数1T盘就能用了……
不知道是Gen10 的锅还是西数的锅。

坑4：黑群晖在ESXi里弄了硬盘直通后，认不出硬盘
原因推测是，此情况下黑群晖有了3个SATA控制器（引导盘0，虚拟系统盘1，直通盘2）
此时需要修改黑群晖的引导盘设置，告诉系统各个SATA控制器的相应接口数量。
我参考了这位大佬：https://blog.ggrarea.cn/archives/36289.html
把SataPortMap改为224
把DiskIdxMap改为000204就好了。

目前形态是ESXi做宿主系统，
跑黑群晖nas、LEDE软路由，win10跑脚本和下载。
硬盘直通给群晖、网卡直通软路由。可以跑满500Mbps，非常畅快

长末 · 发表于 2020-10-13 23:40

本帖最后由长末于 2020-10-13 23:42 编辑

看起来好多坑。不想太费心的还是nas，htpc，路由器分开用吧。
话说，50m宽带是不是跟讲究性能的软路由没啥关系了，自己有科学渠道硬路由。传说中的广告控制到底好用不

—— 来自 Realme RMX1901, Android 10上的 S1Next-鹅版 v2.4.3

Buke · 发表于 2020-10-13 23:46

esxi虚拟机的虚拟硬盘io巨慢，搜了文档Google一圈把方法都试了也没解决遂放弃esxi

str007 · 发表于 2020-10-14 00:42

提示: 作者被禁止或删除内容自动屏蔽

长末 · 发表于 2020-10-14 01:24

str007 发表于 2020-10-14 00:42
他这是自己折腾自己，非要在虚拟机里面装群晖，实际上非常简单

之前我也研究过，无论是unraid还是exsi，虚拟群晖为了性能和必要都得直通硬盘过去，没享受到对应的阵列效果。唯一的好处就是allinone集成，对应起来对我来说的槽点还挺多的。
1、集成其他nas。多个nas同一实体机，除了体验下多个系统外，不是按照功耗和性能天然分类，到达平衡状态；也不是异地分离保存数据。
2、集成软路由。真用软路由这个倒挺好，除了一人犯错全家断网这个缺点。
3、集成htpc。现在有多少人用htpc是一回事，把硕大的机器摆在客厅电视位，感观和噪音上不提，配套的万兆光纤对应线缆和交换机是个巨大负担。不上万兆？千兆都满足不了hdd的速度，更何况加了缓存or上ssd的nas。不谈网速，直通显卡网卡阵列卡带来的pcie通道与ssd撞车也是个问题。
4、各类服务器。最有用技能，但家用环境（没公共ip，上传带宽小，外网暴露个网站端口都有可能警察上门的环境）用的上的少。
最后，如果有钱，上面的都不是问题。上面的很多问题产生于没钱上正经装备，用各种旧货淘汰货凑合上。

—— 来自 Realme RMX1901, Android 10上的 S1Next-鹅版 v2.4.3

refo2613 · 发表于 2020-10-14 08:13

提示: 作者被禁止或删除内容自动屏蔽

好多大象啊 · 发表于 2020-10-14 10:25

自组nas 建议还是 intel，虚拟化支持更好，而且待机功耗比较低
网卡这些也是intel比较方便，当然有一些cisco之类的网卡支持更多的私有虚拟化特性也不错，不过价格起飞

laotoutou · 发表于 2020-10-14 11:13

提示: 作者被禁止或删除内容自动屏蔽

fat · 发表于 2020-10-14 20:30

长末发表于 2020-10-14 01:24
之前我也研究过，无论是unraid还是exsi，虚拟群晖为了性能和必要都得直通硬盘过去，没享受到对应的阵列效 ...

嗨呀，我要是有钱，我直接买顶级白群晖，一切就太平了。

fat · 发表于 2020-10-14 20:32

本帖最后由 fat 于 2020-10-14 20:34 编辑

refo2613 发表于 2020-10-14 08:13
家里丢台服务器？

给大佬跪了

不是大型服务器，体积比一般自组HTPC都要小。HPE微型服务器gen10 ，淘宝两千多。
现在升级了gen10 plus，顶配就5800。比电脑还是便宜得多的。

不过做工是比星际蜗牛等矿渣要好，有至强CPU、ECC内存。稳定性没毛病。

fat · 发表于 2020-10-14 20:33

好多大象啊发表于 2020-10-14 10:25
自组nas 建议还是 intel，虚拟化支持更好，而且待机功耗比较低
网卡这些也是intel比较方便，当然有一些cis ...

虚拟化真是牙膏好。所以我最后还是把gen10出了升级plus了……

好多大象啊 · 发表于 2020-10-14 20:42

fat 发表于 2020-10-14 20:33
虚拟化真是牙膏好。所以我最后还是把gen10出了升级plus了……

服务器市场企业自身水平不行的还是得买牙膏，而且往往这些企业还有 ibm的ppc以及小型机中型机在用。
水平足够好的，自研或者定制 arm，价格便宜量又多
amd出货量少bug就修的少，驱动什么的也经常不全，特别是主板和网卡 raid卡之类的驱动问题，vtd都有问题

百猪夜行 · 发表于 2020-10-14 20:42

几年前也折腾过allinone，用的是gen8。现在已经放弃了，鲁棒性较弱，一崩全崩，恢复起来麻烦，现在gen8就装了个黑群。

—— 来自 Xiaomi Mi 10, Android 10上的 S1Next-鹅版 v2.4.3

fat · 发表于 2020-10-15 00:57

百猪夜行发表于 2020-10-14 20:42
几年前也折腾过allinone，用的是gen8。现在已经放弃了，鲁棒性较弱，一崩全崩，恢复起来麻烦，现在gen8就装 ...

容易崩的是哪个部分？硬盘？

我也未雨绸缪一下。。。

luguozmy · 发表于 2020-10-15 04:10

之前是用freenas做底层系统, 再在上面跑虚拟机和docker
用了一年发现在拓展和增量方面只能说差强人意, 最近打算跳车到OMV了
一直没想过装群辉, 动手的过程感觉可以学到不少东西不是么

黄金时代 · 发表于 2020-10-15 07:18

看了半天感觉LZ就是被主板给坑了，不知道GEN10用的什么板子，不过ESXI对超微系支持比较好一点。另外超微系部分带板载SAS接口的向下兼容SATA，在ESXI上可以作为独立硬盘使用，既可以独立做直通，也可以作为存储空间使用

话说默认虚拟网卡不就是E1000么

fat · 发表于 2020-10-15 21:08

黄金时代发表于 2020-10-15 07:18
看了半天感觉LZ就是被主板给坑了，不知道GEN10用的什么板子，不过ESXI对超微系支持比较好一点。另外超微系 ...

没错，默认的E1000不行，必须是E1000e

不知道是什么玄学。

对了，现在是直通硬盘给了群晖。群晖里能看到SMART信息。
但是点群晖里的“调校”，就是测试硬盘性能的，不知道为什么没有反应。

duperbigd · 发表于 2020-10-15 21:46

折腾是科技第一推动力！

葱花鱼 · 发表于 2020-10-16 00:42

我看现在STH论坛上不少老外转向PVE了，貌似后者性能好点

mingminlun · 发表于 2020-10-16 15:09

luguozmy 发表于 2020-10-15 04:10
之前是用freenas做底层系统, 再在上面跑虚拟机和docker
用了一年发现在拓展和增量方面只能说差强人意, 最近 ...

omv就是套了个壳的debian，用起来非常顺手

—— 来自 Xiaomi Mi 10, Android 11上的 S1Next-鹅版 v2.4.3

kiddolck · 发表于 2020-10-29 11:55

搭车求个磁盘减震的心得…

机箱是蜗牛 B 款，只装了 2 块 1T 的旧盘（7200RPM），系统 OMV 装 msata

电源用的 Zumax，风扇自己换的，不接 HDD 的时候还好，装上 HDD 起飞…我家不临街很安静，放客厅噪音都很明显…

我买了两个服务器的硬盘托架，买了个装修汽车用的那种绒面不干胶的贴纸，再上个带垫圈的螺丝，能做到感觉到头了（都还在路上），效果 chiphell 有人说有用，不知道实际效果如何。

机箱下面用的超市买的家具用的脚垫…

不知道还有什么可以做的…除了换盘

tyx776 · 发表于 2020-10-29 12:27

没搞过虚拟机。可否nas只有一个网口搞虚拟机软路由，本机用群晖（懒得重新弄了）？感觉j3455只跑个群晖有点浪费

fmonion · 发表于 2020-10-29 12:39

HPE的小服务器噪音水平怎么样呀。前两年手贱搞了个1u Proliant g8，那风扇噪音叫一个酸爽

尼特geek · 发表于 2020-10-29 16:37

tyx776 发表于 2020-10-29 12:27
没搞过虚拟机。可否nas只有一个网口搞虚拟机软路由，本机用群晖（懒得重新弄了）？感觉j3455只跑个群晖有点 ...

一个网口你不是要用网管交换机配vlan吗？

—— 来自 OnePlus HD1900, Android 10上的 S1Next-鹅版 v2.4.3

tyx776 · 发表于 2020-10-29 17:32

尼特geek 发表于 2020-10-29 16:37
一个网口你不是要用网管交换机配vlan吗？

—— 来自 OnePlus HD1900, Android 10上的 S1Next-鹅版 v2.4. ...

你是说网口接交换机吧？只有一个网口当然只能这么接啊。所以我问是否能群晖加上虚拟机的软共用这一个网口？

—— 来自 Xiaomi M2006J10C, Android 10上的 S1Next-鹅版 v2.4.3

KnightHart · 发表于 2020-10-29 18:35

放弃群晖这个坑货可破
群晖不支持virtio，需要特别打进去驱动。
omv不香吗。

—— 来自 Xiaomi MIX 2S, Android 10上的 S1Next-鹅版 v2.4.3

ffggty · 发表于 2020-10-29 18:42

每次看讨论nas都弄不懂群晖系统究竟哪里那么好，都自组硬件了还装它

kiddolck · 发表于 2020-10-29 19:06

ffggty 发表于 2020-10-29 18:42
每次看讨论nas都弄不懂群晖系统究竟哪里那么好，都自组硬件了还装它

简单啊，鼠标点点点就行，其他的多少要用用 CLI

尼特geek · 发表于 2020-10-29 19:29

omv确实可以，4.0插件更多点，5.0的话很多都要用docker
家用的话freenas不是很方便

—— 来自 OnePlus HD1900, Android 10上的 S1Next-鹅版 v2.4.3

fat · 发表于 2020-10-29 20:00

tyx776 发表于 2020-10-29 17:32
你是说网口接交换机吧？只有一个网口当然只能这么接啊。所以我问是否能群晖加上虚拟机的软共用这一个网口 ...

自然是可以的。
我现在就是esxi系统，里面塞了2个虚拟机：win10+群晖。都是共用一个网口的。

fat · 发表于 2020-10-29 20:02

fmonion 发表于 2020-10-29 12:39
HPE的小服务器噪音水平怎么样呀。前两年手贱搞了个1u Proliant g8，那风扇噪音叫一个酸爽 ...

目前我用还好。
低速下声音比硬盘小得多。
全速声音比较大，但很少会满负荷吧。

sccs · 发表于 2020-10-29 20:09

家用虚拟化只推荐esxi unraid PVE，其他真不方便

—— 来自 Xiaomi M2006J10C, Android 10上的 S1Next-鹅版 v2.4.3

sccs · 发表于 2020-10-29 20:09

家用虚拟化只推荐esxi unraid PVE，其他真不方便

—— 来自 Xiaomi M2006J10C, Android 10上的 S1Next-鹅版 v2.4.3

尼特geek · 发表于 2020-10-29 20:49

tyx776 发表于 2020-10-29 17:32
你是说网口接交换机吧？只有一个网口当然只能这么接啊。所以我问是否能群晖加上虚拟机的软共用这一个网口 ...

应该是可以的，我的机子同一个lan口就有三个地址，一个是pve的管理ip，一个是openwrt的虚拟网卡，一个是omv的虚拟网卡。

—— 来自 OnePlus HD1900, Android 10上的 S1Next-鹅版 v2.4.3

tyx776 · 发表于 2020-10-29 23:11

fat 发表于 2020-10-29 20:00
自然是可以的。
我现在就是esxi系统，里面塞了2个虚拟机：win10+群晖。都是共用一个网口的。 ...

哦哦，有相关教程吗？

—— 来自 Xiaomi M2006J10C, Android 10上的 S1Next-鹅版 v2.4.3

fat · 发表于 2020-10-29 23:58

tyx776 发表于 2020-10-29 23:11
哦哦，有相关教程吗？

—— 来自 Xiaomi M2006J10C, Android 10上的 S1Next-鹅版 v2.4.3 ...

我基本是跟着这个教程走的：
https://www.bilibili.com/video/B ... 3309490215725970010

有个坑是，esxi的管理网口和群晖网口共用的话，
要打开网口的“混淆模式”，否则群晖安装时候引导不了。
这个点我弄了好久才知道……

KnightHart · 发表于 2020-10-30 07:57

放弃群晖这个垃圾可以解决大部分问题

—— 来自 Xiaomi MIX 2S, Android 10上的 S1Next-鹅版 v2.4.3

qieyifonger · 发表于 2020-10-30 14:01

其实Win2016+HyperV用起来挺方便的，就是存储池性能太拉胯了…

—— 来自 Xiaomi Redmi K20 Pro Premium Edition, Android 10上的 S1Next-鹅版 v2.4.3

mingminlun · 发表于 2020-10-30 14:16

自组nas可以买那些静音机箱，市面上一大堆，还不贵，基本没什么声音

—— 来自 Xiaomi Mi 10, Android 11上的 S1Next-鹅版 v2.4.3

kiddolck · 发表于 2020-10-30 14:39

mingminlun 发表于 2020-10-30 14:16
自组nas可以买那些静音机箱，市面上一大堆，还不贵，基本没什么声音

—— 来自 Xiaomi Mi 10, Android 11 ...

静音机箱同时能有 4 个以上 3.5 HDD 位的恐怕不多也不便宜吧？

		自动登录	找回密码
密码			立即注册

[硬件] 国庆期间自组NAS遇到过的坑

评分

浏览过的版块

str007 str007 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2010-4-9 头像被屏蔽	发表于 2020-10-14 00:42 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

refo2613 refo2613 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2010-1-23 头像被屏蔽	发表于 2020-10-14 08:13 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

laotoutou laotoutou 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2016-11-9 头像被屏蔽	发表于 2020-10-14 11:13 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报