JimmyZ 发表于 2014-10-30 14:46
看到这种帖子就忍不住想显摆
=== df ===
这是3T*11+2T*8的节奏？话说19块硬盘是用啥样的东西带起来的……有图更好了
软raid曾经想搞来着，后来觉得只不过是些影片没了大不了重下所以就放弃了。重要数据多盘保存rsync定期同步
liwangli1983 发表于 2014-10-30 15:16
这是3T*11+2T*8的节奏？话说19块硬盘是用啥样的东西带起来的……有图更好了
软raid曾经想搞来着，后来觉 ...
关键字: 4U 24盘位
liwangli1983 发表于 2014-10-30 12:56
我是放在厅里的，有时要睡人所以不能太吵。
esxi啥的我有装过试过，不过感觉我不需要这种应用所以就算了 ...
我是觉得服务器是不应该放在厅里的~~~~
话说回来，4块硬盘和9块硬盘，噪音差不多啦，半斤八两的事~~~
我3块硬盘的时候就已经被吵得睡不着了，果断扔出去了~~~
JimmyZ 发表于 2014-10-30 14:46
看到这种帖子就忍不住想显摆
=== df ===
这图有点怪啊，11块3T做raid6应该是27T，而8块2T做raid6应该是12T
都少了点的样子~~~~
本帖最后由 liwangli1983 于 2014-10-30 15:40 编辑
adrftgyh 发表于 2014-10-30 15:31
这图有点怪啊，11块3T做raid6应该是27T，而8块2T做raid6应该是12T
都少了点的样子~~~~ ...
不是因为计算方式导致的容量差异么？号称2T（1000为进位）实际按1024算下来是1.81T，6块就是10.86T这里就简略显示成11T了；3T的同样是2.72T*9是24.48T简略显示成25T了
liwangli1983 发表于 2014-10-30 15:35
不是因为计算方式导致的容量差异么？
算上计算方式差异，27T应该换算成24.5T，还是不对啊，没理由第一位四舍五入，后面又带上小数点了吧~~~
而且你看，已用20T，可用3.3T，这加起来才23.3T.....
本帖最后由 JimmyZ 于 2014-10-30 15:41 编辑
adrftgyh 发表于 2014-10-30 15:38
算上计算方式差异，27T应该换算成24.5T，还是不对啊，没理由第一位四舍五入，后面又带上小数点了吧~~~
而 ...
ext4就是这么屌, 显示总容量按整盘算, 实际可用空间没这么多, 你要是有很多文件的ext4, df -h一下都会有这现象
JimmyZ 发表于 2014-10-30 15:39
ext4就是这么屌, 显示总容量按整盘算, 实际可用空间没这么多
这种被坑了容量的感觉，到你这个数量级，一下就是被坑了上T的空间~~~~
adrftgyh 发表于 2014-10-30 15:25
我是觉得服务器是不应该放在厅里的~~~~
话说回来，4块硬盘和9块硬盘，噪音差不多啦，半斤八两的事~~~
因为这不是服务器而是htpc嘛，htpc自然要放到厅里电视柜上了。
使用hdparm设定休眠规则后，除了系统兼下载盘外，其它两块大部分时间没有访问的情况下2小时后就自动停转休眠了，所以基本噪音只有cpu风扇和一块硬盘，完全不会影响睡觉
本帖最后由 JimmyZ 于 2014-10-30 15:51 编辑
adrftgyh 发表于 2014-10-30 15:41
这种被坑了容量的感觉，到你这个数量级，一下就是被坑了上T的空间~~~~
当你考虑一个ashift=12的RAID-Z3的时候...
小数点一会儿有一会儿没有我猜df -h的策略可能是两位有效数字
我想知道LZ的N2800还要不~~不要的话丢给我吧-v-
warrior 发表于 2014-10-30 16:47
我想知道LZ的N2800还要不~~不要的话丢给我吧-v-
还有用啊，软件路由啥的，这个完全静音+有一定性能的好板，很有折腾余地
osk666 发表于 2014-10-30 11:17
不是说esxi放硬盘看不到硬盘健康度不太安全吗？
谁造的谣
# smartctl -A /dev/disk/by-id/scsi-1ATA_WDC_WD5000AAKX-xxxxxxxxxxxxxxxxxxx
smartctl 5.40 2010-07-12 r3124 (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net
=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATEDWHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-failAlways - 0
3 Spin_Up_Time 0x0027 143 141 021 Pre-failAlways - 3841
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 243
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-failAlways - 0
7 Seek_Error_Rate 0x002e 200 200 000 Old_age Always - 0
9 Power_On_Hours 0x0032 077 077 000 Old_age Always - 17089
10 Spin_Retry_Count 0x0032 100 100 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 100 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 161
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 38
193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always - 204
194 Temperature_Celsius 0x0022 102 084 000 Old_age Always - 41
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector0x0032 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 200 200 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 200 200 000 Old_age Offline - 0
osk666 发表于 2014-10-31 16:02
是说客系统看不到吧
这就是客系统
JimmyZ 发表于 2014-10-31 15:54
谁造的谣
# smartctl -A /dev/disk/by-id/scsi-1ATA_WDC_WD5000AAKX-xxxxxxxxxxxxxxxxxxx
guest系统竟然也能看到……后面xxxxxxxxx是那若干块硬盘的序列号么？
liwangli1983 发表于 2014-10-31 16:50
guest系统竟然也能看到……后面xxxxxxxxx是那若干块硬盘的序列号么？
对，能
本帖最后由 JimmyZ 于 2014-11-1 19:20 编辑
osk666 发表于 2014-10-31 19:01
就以偶以前看的帖子的说法，
支持这种的是要企业级的主板
不懂瞎说呗，这就是块便宜B75，当然了能支持IOMMU(VT-d/Pacifica)的话确实更方便些，但这并不一定需要“企业级主板”
以前ZFS for Linux还没稳定的时候，ESXi + FreeBSD + xxx的文件服方案是很流行的，现在是不是还流行我不是很确定
JimmyZ 发表于 2014-11-1 19:17
不懂瞎说呗，这就是块便宜B75，当然了能支持IOMMU(VT-d/Pacifica)的话确实更方便些，但这并不一定需要“企 ...
我的esxi还上的q57的板子和志强U，支持vt-d的，但是我黑群晖里看不到smart啊........
不清楚出了什么问题~~~
敢问具体配置，是不是上了HBA卡，以及esxi的版本~~
本帖最后由 JimmyZ 于 2014-11-1 21:13 编辑
adrftgyh 发表于 2014-11-1 21:00
我的esxi还上的q57的板子和志强U，支持vt-d的，但是我黑群晖里看不到smart啊........
不清楚出了什么问 ...
IOMMU是为了把磁盘控制器（比如HBA卡）PCI Passthrough给Guest OS，得确保ESXi所在盘不在那个磁盘控制器上
你的软硬件配置是怎样的说一下，特别是怎么把盘分配给虚拟机的，比如你直接在那上面开storage pool然后在里面开大文件虚拟盘，那是必然看不见SMART的。。。
Q57国内没卖的，你是海淘的还是怎样，淘宝卖的很多是工程板，q57不支持ECC配个i5就好了，何必用至强
JimmyZ 发表于 2014-11-1 21:09
IOMMU是为了把磁盘控制器（比如HBA卡）PCI Passthrough给Guest OS，得确保ESXi所在盘不在那个磁盘控制器上 ...
我就是一块华硕的q57直接硬盘接在上面了，没买hba卡~~
这块主板有8个sata口，暂时够用了~~~
cpu是xeon L3406，i3 530的志强马甲，好处是支持vt-d和30w的tdp
其实很便宜，我买才280块吧~~
软件方面我是esxi 5.1，不清楚为什么我的这套主机装不上5.5，可能是因为主板没有efi的bios吧~~
硬盘我是RDM裸盘映射挂载到客户机上的~~
刚才我进到黑群晖的后台看了下，貌似直接用smartctl可以看到smart信息，就是黑群晖看不到，可能是这玩意破解不完整吧~~~
adrftgyh 发表于 2014-11-1 21:47
我就是一块华硕的q57直接硬盘接在上面了，没买hba卡~~
这块主板有8个sata口，暂时够用了~~~
结果你看这不是能么。。。
有人是把ESXi装在U盘上，这样主板的SATA控制器就可以Passthrough了。而你这8个口，有两个是单独芯片的吧，那就可以把系统盘放这儿，主板的6个Passthrough给Guest
osk666 发表于 2014-11-1 22:28
https://forums.freenas.org/index.php?threads/please-do-not-run-freenas-in-production-as-a-virtual- ...
看你楼上，验证了SMART是可看的
不过话又说回来，我用了几年ESXi，也不咋爱，考虑换成Linux + ZFS for Linux，有其它系统需求就直接上KVM好了，但是黑点跟这文的不同，我觉得ESXi的主要问题是：它是个纯商业闭源产品，就必然有些恶心痛点，比如，免费版升级非常麻烦，你要比较自动化的升级，那么你得上收费的管理端，然后每代升级都会扔掉一些老硬件支持，还有ESXi起码免费版不支持UPS，得把UPS的串口Pass给一个Guest，然后在Guest里写脚本去关Host，太恶心了有没有
esxi在vm官网注册后下过，我手头有台老dell 780，q45+e8400，支持vt-d，在这上面试了esxi，只试了下网卡。不过也就玩了下，这东西管理大量虚拟机是方便，但我的nas和htpc来说都不需要……
nas存储的话，我在不做raid的情况下倾向于最保守的存储方案，而不是动态磁盘或者是esxi这种存储池的方案，太不安全了。当然有ups+raid5/6就另说了，最关键是也没有必要。有时需要跑点虚拟机，一般qemu或者xen就够我用了
iscsi这东西……家用有smb+ftp一般就够了吧，需要么？
osk666 发表于 2014-11-2 16:38
本身这种储存池不就是跟raid5，raid6差不多吗？只是没电池而已。
而又电池的raid卡也跟有ups的差不多吧？ ...
噢，我说那种类似lvm的东西，那种没有raid的基础的话就太危险了，有一个盘挂了就全完了。
原来还要装游戏和程序啊，那确实不能指望smb，iscsi确实是首选。不过我在主机上除了ssd外还挂了2T硬盘所以就不需要了。
本帖最后由 JimmyZ 于 2014-11-3 13:11 编辑
osk666 发表于 2014-11-2 06:31
看看那里的第二页，那里说pci passthrough的确可以看到smart，但普通主板玩这个就是玩火。
嘛，对于偶来说 ...
你楼上没用PCI Passthrough
ZFS只在开启dedup时候内存消耗能称得上高
你把程序装在iSCSI上这也太扭曲了, 在家用桌面机不就行了, 出门你装在iSCSI上的程序一样不能用
本帖最后由 JimmyZ 于 2014-11-3 14:28 编辑
osk666 发表于 2014-11-3 13:53
但以他的结果来说也是不完美啊，可以确定windows server或freenas能清楚看到smart吗？
当初考虑zfs也是想 ...
既然一个smartctl能看到, 那说明ESXi并没有造成阻碍, 多半GUI有问题, 类似的老版HDTune就看不到USB盒子里的硬盘SMART, 新点的就行
老实说家庭用NAS不就是片吗, dedup根本不会起作用
你盘多又不用PCI Passthrough的话一块块手动映射搞死你, 我上面贴的的8/11盘RAID6不是ESXi上的, ESXi上那个是另一个机器上的只有两盘的RAID1
加一层ESXi会造成怎样的影响我也不知道, 我用的那个ESXi没掉过盘也没出过坏道, 我也不知道出了会怎样, 但是就算一掉盘ESXi直接崩掉, ZFS是COW的, 能保证文件系统不损坏, 最多是丢失了正在进行的写入, 而mdadm + ext4不能保证. 当然了, 前提是你用物理磁盘映射或者PCI Passthrough, 如果你用虚拟盘多了一级ESXi的(可能存在的)写缓存的话就不好说了
ZFS RAID-Z2我自己实测性能远超mdadm RAID6 + ext4, 但是相应的CPU和内存占用要高不少, mdadm很大方面吃亏在它是单线程的利用率上不去
当时用fs_mark测试, 64线程建立文件
每个文件1KiB时RAID-Z2的速度是9030/s, RAID6+ext4是729/s
每个文件1MiB时RAID-Z2的速度是393/s, RAID6+ext4耗时太长我取消了
持续的话是1.8GB/s vs 670MB/s
WS2012没用过但是20M/s这肯定哪里有问题
我不喜欢这种专用系统, 扩展性太差, 黑群晖和FreeNAS都没用过所以不置评, LLNL给国防部搞的ZFS on Linux现在很成熟了, 对我来说FreeBSD的唯一一个优点也就没有了
独显据说用PCI Passthrough不错, 不过我是不赞成HTPC跟NAS装在一个机器里
另外能躺床上玩的游戏, 你还是换个大点的SSD吧, 这明明比QNAP的双盘NAS便宜又方便多了好吗
osk666 发表于 2014-11-3 15:15
偶这不是htpc啊，是大机箱的正式pc。
这样啊，所以偶还是弄个二手带电池带nvram的raid卡更好？
不过iscsi ...
我哪一点说带电池的RAID卡好了...
osk666 发表于 2014-11-3 17:30
@JimmyZ
毕竟要上zfs的话只能上esxi双系统，主系统和nas系统一起运行。
我是绝不会用Windows做存储的, 底下的RAID再强, 上面也是Windows的NTFS, 你还是分两台吧
osk666 发表于 2014-11-3 17:43
ntfs跟raid没关系吧，esxi跟windows和linux都装ssd上，别的大机械盘全由linux掌控。 ...
你不是说不用ESXi吗, 意思不就是Windows + 硬RAID卡吗?