nas升级两套方案，我该选哪个？（更新使用体验）

liwangli1983

JimmyZ 发表于 2014-10-30 14:46
看到这种帖子就忍不住想显摆

=== df ===

这是3T*11+2T*8的节奏？话说19块硬盘是用啥样的东西带起来的……有图更好了

软raid曾经想搞来着，后来觉得只不过是些影片没了大不了重下所以就放弃了。重要数据多盘保存rsync定期同步

JimmyZ

liwangli1983 发表于 2014-10-30 15:16
这是3T*11+2T*8的节奏？话说19块硬盘是用啥样的东西带起来的……有图更好了

软raid曾经想搞来着，后来觉 ...

关键字: 4U 24盘位

adrftgyh

liwangli1983 发表于 2014-10-30 12:56
我是放在厅里的，有时要睡人所以不能太吵。

esxi啥的我有装过试过，不过感觉我不需要这种应用所以就算了 ...

我是觉得服务器是不应该放在厅里的~~~~

话说回来，4块硬盘和9块硬盘，噪音差不多啦，半斤八两的事~~~

我3块硬盘的时候就已经被吵得睡不着了，果断扔出去了~~~

adrftgyh

JimmyZ 发表于 2014-10-30 14:46
看到这种帖子就忍不住想显摆

=== df ===

这图有点怪啊，11块3T做raid6应该是27T，而8块2T做raid6应该是12T

都少了点的样子~~~~

liwangli1983

adrftgyh 发表于 2014-10-30 15:31
这图有点怪啊，11块3T做raid6应该是27T，而8块2T做raid6应该是12T

都少了点的样子~~~~ ...

不是因为计算方式导致的容量差异么？号称2T（1000为进位）实际按1024算下来是1.81T，6块就是10.86T这里就简略显示成11T了；3T的同样是2.72T*9是24.48T简略显示成25T了

adrftgyh

liwangli1983 发表于 2014-10-30 15:35
不是因为计算方式导致的容量差异么？

算上计算方式差异，27T应该换算成24.5T，还是不对啊，没理由第一位四舍五入，后面又带上小数点了吧~~~
而且你看，已用20T，可用3.3T，这加起来才23.3T.....

JimmyZ

adrftgyh 发表于 2014-10-30 15:38
算上计算方式差异，27T应该换算成24.5T，还是不对啊，没理由第一位四舍五入，后面又带上小数点了吧~~~
而 ...

ext4就是这么屌, 显示总容量按整盘算, 实际可用空间没这么多, 你要是有很多文件的ext4, df -h一下都会有这现象

adrftgyh

JimmyZ 发表于 2014-10-30 15:39
ext4就是这么屌, 显示总容量按整盘算, 实际可用空间没这么多

这种被坑了容量的感觉，到你这个数量级，一下就是被坑了上T的空间~~~~

liwangli1983

adrftgyh 发表于 2014-10-30 15:25
我是觉得服务器是不应该放在厅里的~~~~

话说回来，4块硬盘和9块硬盘，噪音差不多啦，半斤八两的事~~~

因为这不是服务器而是htpc嘛，htpc自然要放到厅里电视柜上了。

使用hdparm设定休眠规则后，除了系统兼下载盘外，其它两块大部分时间没有访问的情况下2小时后就自动停转休眠了，所以基本噪音只有cpu风扇和一块硬盘，完全不会影响睡觉

JimmyZ

adrftgyh 发表于 2014-10-30 15:41
这种被坑了容量的感觉，到你这个数量级，一下就是被坑了上T的空间~~~~

当你考虑一个ashift=12的RAID-Z3的时候...
小数点一会儿有一会儿没有我猜df -h的策略可能是两位有效数字

warrior

我想知道LZ的N2800还要不~~不要的话丢给我吧-v-

liwangli1983

warrior 发表于 2014-10-30 16:47
我想知道LZ的N2800还要不~~不要的话丢给我吧-v-

还有用啊，软件路由啥的，这个完全静音+有一定性能的好板，很有折腾余地

JimmyZ

osk666 发表于 2014-10-30 11:17
不是说esxi放硬盘看不到硬盘健康度不太安全吗？

谁造的谣

# smartctl -A /dev/disk/by-id/scsi-1ATA_WDC_WD5000AAKX-xxxxxxxxxxxxxxxxxxx
smartctl 5.40 2010-07-12 r3124 [x86_64-unknown-linux-gnu] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   143   141   021    Pre-fail  Always       -       3841
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       243
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   077   077   000    Old_age   Always       -       17089
10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       161
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       38
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       204
194 Temperature_Celsius     0x0022   102   084   000    Old_age   Always       -       41
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

JimmyZ

osk666 发表于 2014-10-31 16:02
是说客系统看不到吧

这就是客系统

liwangli1983

JimmyZ 发表于 2014-10-31 15:54
谁造的谣

# smartctl -A /dev/disk/by-id/scsi-1ATA_WDC_WD5000AAKX-xxxxxxxxxxxxxxxxxxx

guest系统竟然也能看到……后面xxxxxxxxx是那若干块硬盘的序列号么？

JimmyZ

liwangli1983 发表于 2014-10-31 16:50
guest系统竟然也能看到……后面xxxxxxxxx是那若干块硬盘的序列号么？

对，能

JimmyZ

osk666 发表于 2014-10-31 19:01
就以偶以前看的帖子的说法，

支持这种的是要企业级的主板

不懂瞎说呗，这就是块便宜B75，当然了能支持IOMMU(VT-d/Pacifica)的话确实更方便些，但这并不一定需要“企业级主板”
以前ZFS for Linux还没稳定的时候，ESXi + FreeBSD + xxx的文件服方案是很流行的，现在是不是还流行我不是很确定

adrftgyh

JimmyZ 发表于 2014-11-1 19:17
不懂瞎说呗，这就是块便宜B75，当然了能支持IOMMU(VT-d/Pacifica)的话确实更方便些，但这并不一定需要“企 ...

我的esxi还上的q57的板子和志强U，支持vt-d的，但是我黑群晖里看不到smart啊........

不清楚出了什么问题~~~

敢问具体配置，是不是上了HBA卡，以及esxi的版本~~

JimmyZ

adrftgyh 发表于 2014-11-1 21:00
我的esxi还上的q57的板子和志强U，支持vt-d的，但是我黑群晖里看不到smart啊........

不清楚出了什么问 ...

IOMMU是为了把磁盘控制器（比如HBA卡）PCI Passthrough给Guest OS，得确保ESXi所在盘不在那个磁盘控制器上

你的软硬件配置是怎样的说一下，特别是怎么把盘分配给虚拟机的，比如你直接在那上面开storage pool然后在里面开大文件虚拟盘，那是必然看不见SMART的。。。

Q57国内没卖的，你是海淘的还是怎样，淘宝卖的很多是工程板，q57不支持ECC配个i5就好了，何必用至强

adrftgyh

JimmyZ 发表于 2014-11-1 21:09
IOMMU是为了把磁盘控制器（比如HBA卡）PCI Passthrough给Guest OS，得确保ESXi所在盘不在那个磁盘控制器上 ...

我就是一块华硕的q57直接硬盘接在上面了，没买hba卡~~
这块主板有8个sata口，暂时够用了~~~

cpu是xeon L3406，i3 530的志强马甲，好处是支持vt-d和30w的tdp
其实很便宜，我买才280块吧~~

软件方面我是esxi 5.1，不清楚为什么我的这套主机装不上5.5，可能是因为主板没有efi的bios吧~~

硬盘我是RDM裸盘映射挂载到客户机上的~~

刚才我进到黑群晖的后台看了下，貌似直接用smartctl可以看到smart信息，就是黑群晖看不到，可能是这玩意破解不完整吧~~~

JimmyZ

adrftgyh 发表于 2014-11-1 21:47
我就是一块华硕的q57直接硬盘接在上面了，没买hba卡~~
这块主板有8个sata口，暂时够用了~~~

结果你看这不是能么。。。

有人是把ESXi装在U盘上，这样主板的SATA控制器就可以Passthrough了。而你这8个口，有两个是单独芯片的吧，那就可以把系统盘放这儿，主板的6个Passthrough给Guest

JimmyZ

osk666 发表于 2014-11-1 22:28
https://forums.freenas.org/index.php?threads/please-do-not-run-freenas-in-production-as-a-virtual- ...

看你楼上，验证了SMART是可看的

不过话又说回来，我用了几年ESXi，也不咋爱，考虑换成Linux + ZFS for Linux，有其它系统需求就直接上KVM好了，但是黑点跟这文的不同，我觉得ESXi的主要问题是：它是个纯商业闭源产品，就必然有些恶心痛点，比如，免费版升级非常麻烦，你要比较自动化的升级，那么你得上收费的管理端，然后每代升级都会扔掉一些老硬件支持，还有ESXi起码免费版不支持UPS，得把UPS的串口Pass给一个Guest，然后在Guest里写脚本去关Host，太恶心了有没有

liwangli1983

esxi在vm官网注册后下过，我手头有台老dell 780，q45+e8400，支持vt-d，在这上面试了esxi，只试了下网卡。不过也就玩了下，这东西管理大量虚拟机是方便，但我的nas和htpc来说都不需要……

nas存储的话，我在不做raid的情况下倾向于最保守的存储方案，而不是动态磁盘或者是esxi这种存储池的方案，太不安全了。当然有ups+raid5/6就另说了，最关键是也没有必要。有时需要跑点虚拟机，一般qemu或者xen就够我用了

iscsi这东西……家用有smb+ftp一般就够了吧，需要么？

liwangli1983

osk666 发表于 2014-11-2 16:38
本身这种储存池不就是跟raid5，raid6差不多吗？只是没电池而已。
而又电池的raid卡也跟有ups的差不多吧？ ...

噢，我说那种类似lvm的东西，那种没有raid的基础的话就太危险了，有一个盘挂了就全完了。

原来还要装游戏和程序啊，那确实不能指望smb，iscsi确实是首选。不过我在主机上除了ssd外还挂了2T硬盘所以就不需要了。

JimmyZ

osk666 发表于 2014-11-2 06:31
看看那里的第二页，那里说pci passthrough的确可以看到smart，但普通主板玩这个就是玩火。
嘛，对于偶来说 ...

你楼上没用PCI Passthrough

ZFS只在开启dedup时候内存消耗能称得上高

你把程序装在iSCSI上这也太扭曲了, 在家用桌面机不就行了, 出门你装在iSCSI上的程序一样不能用

JimmyZ

osk666 发表于 2014-11-3 13:53
但以他的结果来说也是不完美啊，可以确定windows server或freenas能清楚看到smart吗？
当初考虑zfs也是想 ...

既然一个smartctl能看到, 那说明ESXi并没有造成阻碍, 多半GUI有问题, 类似的老版HDTune就看不到USB盒子里的硬盘SMART, 新点的就行

老实说家庭用NAS不就是片吗, dedup根本不会起作用

你盘多又不用PCI Passthrough的话一块块手动映射搞死你, 我上面贴的的8/11盘RAID6不是ESXi上的, ESXi上那个是另一个机器上的只有两盘的RAID1

加一层ESXi会造成怎样的影响我也不知道, 我用的那个ESXi没掉过盘也没出过坏道, 我也不知道出了会怎样, 但是就算一掉盘ESXi直接崩掉, ZFS是COW的, 能保证文件系统不损坏, 最多是丢失了正在进行的写入, 而mdadm + ext4不能保证. 当然了, 前提是你用物理磁盘映射或者PCI Passthrough, 如果你用虚拟盘多了一级ESXi的(可能存在的)写缓存的话就不好说了

ZFS RAID-Z2我自己实测性能远超mdadm RAID6 + ext4, 但是相应的CPU和内存占用要高不少, mdadm很大方面吃亏在它是单线程的利用率上不去
当时用fs_mark测试, 64线程建立文件
每个文件1KiB时RAID-Z2的速度是9030/s, RAID6+ext4是729/s
每个文件1MiB时RAID-Z2的速度是393/s, RAID6+ext4耗时太长我取消了
持续的话是1.8GB/s vs 670MB/s

WS2012没用过但是20M/s这肯定哪里有问题

我不喜欢这种专用系统, 扩展性太差, 黑群晖和FreeNAS都没用过所以不置评, LLNL给国防部搞的ZFS on Linux现在很成熟了, 对我来说FreeBSD的唯一一个优点也就没有了

独显据说用PCI Passthrough不错, 不过我是不赞成HTPC跟NAS装在一个机器里

JimmyZ

另外能躺床上玩的游戏, 你还是换个大点的SSD吧, 这明明比QNAP的双盘NAS便宜又方便多了好吗

JimmyZ

osk666 发表于 2014-11-3 15:15
偶这不是htpc啊，是大机箱的正式pc。
这样啊，所以偶还是弄个二手带电池带nvram的raid卡更好？
不过iscsi ...

我哪一点说带电池的RAID卡好了...

JimmyZ

osk666 发表于 2014-11-3 17:30
@JimmyZ
毕竟要上zfs的话只能上esxi双系统，主系统和nas系统一起运行。

我是绝不会用Windows做存储的, 底下的RAID再强, 上面也是Windows的NTFS, 你还是分两台吧

JimmyZ

osk666 发表于 2014-11-3 17:43
ntfs跟raid没关系吧，esxi跟windows和linux都装ssd上，别的大机械盘全由linux掌控。 ...

你不是说不用ESXi吗, 意思不就是Windows + 硬RAID卡吗?