没有白忙一场，折腾32盘位黑群晖完工
本帖最后由 enrich 于 2020-1-6 14:27 编辑搞群晖好多年了，从黑的到白的，在硬盘慢慢增加的过程中，盘位是越来越稀缺的资源了。
两年前用华硕的P9D-MH和万由的810A组了一台8盘位黑裙，底层用的是ESXI，把主板上的阵列卡直通了，运行了很长时间，可以参考一下下面的帖子。
http://www.u-share.cn/forum.php?mod=viewthread&tid=191463&extra=
无奈数据越来越多，8盘位很快就满了，还是把缓存ssd移除后才勉强够用，重新组一台多盘位黑裙就提到了日程中来。
目标如下：
1.至少12盘位以上，如果只有12盘位，缓存盘必须不占用热插拔槽位。
2.由于黑裙对于nvme的支持很少，然后支持pcie通道拆分的主板又不是玩nas可以接受的，至少两个ssd组raid1做读写缓存也会占用掉宝贵的两个pcie槽位，所以，多盘sata的ssd组raid5做缓存也是目标之一。
3.完全移植原机硬件，使用双热电保障服务器安全。
折腾之路由此开始，顺便说一下，我已经在家里的储藏间上了个2米的全深度机柜，所以在万能宝上找到了合适的2U机箱。
用了网图，打码了联系方式，省的说做广告。
在移植的过程中有个小插曲，直接耗费了三天时间，差点丢光数据，现在想想还是一阵后怕,前年丢过一次8T数据，已经奔溃过了，所以现在想想，NAS这东西一定要有远见，一次性折腾好。
说明一下出的问题：这个机箱的背板是三个mini sas，我用了两根逆向线，把主板上原来的sata口接入了背板，然后用了一张dell的H310接了另外一个背板接口。硬件组装完成后启动都很顺利，进入群晖系统后，发现第四盘位硬盘报错，无法访问系统分区。由于组了raid5，所以还不担心数据丢失。
点修复一直不成功，想区分是逆向线的问题还是背板问题，于是作死的交换了主板上sata线的顺序，再次启动提示损毁！连续三天通过各种方法恢复，期间还找卖家换了一根逆向线，最后发现问题居然出在主板的sata口，不知道是坏了还是兼容性问题，不论背板的哪个槽位接sata4口，硬盘都会出现系统分区无法访问的情况。
最后，利用HBA卡上还空余一组mini sas口接了背板，替换了主板的sata，终于一切搞定了。期间各种痛苦暂且不表，反正差不多丢了半条命！
12盘位只是满足的暂时的硬盘扩容需求，对于SSD缓存来说，原本考虑了两个方案：
1.把主板上空余的四个sata口利用起来，用pci槽位硬盘架安装4个ssd做缓存。优点是成本低，缺点是还需要改供电线路，以及故障处理时无法热插拔。
2.乐扩有一款转接卡，pcie2x接口，转4条ngff，买4个ngff接口的ssd做缓存。优点是不需要接线，机箱内很干净，缺点是成本高，占用掉最后一根能用的pci槽位，以及同样的故障处理时无法热插拔。
折腾万能宝的时候，发现了一个好东西!
H3C的DE1116，16位盘柜，应该是支持SAS Expander,还可以支持级联，关键是价格美丽，虽然不确定群晖是否能够支持，还是想就做一回小白鼠吧。
折腾的事情又来了，居然找了两家店，都说卖完了{:7_188:}，推荐的dell的和rackable的盘柜就不是能做小白鼠的价了，后来找了一家，卖家发货后第二天告诉我说库房里找不到了………………
于是又只能退款，开始考虑方案1还是2了。
闲着没事的时候逛了下咸鱼，想到也许有人不标注型号，于是换了搜索的关键词，居然找到一个卖这个盘柜的，联系上之后，把HBA卡，连接线，还有盘柜一起打包了，连运费一起都不满1K……
第二天就到货了，箱子很重，但是还没有之前的12盘位主机重，别问我怎么知道的，折腾死了！
连接好所有的线路，启动主机后发现不自检，说明一下：p9d这块主板，pcie1是3.0x4，pcie2是2.0x4，hba卡都是x8接口，所以又可能有些卡会有兼容性问题，比如说hp的NC523SFP，接任何一个口都不认，人家就要x8。考虑到还有一种需要屏蔽5，6脚的可能，于是在试了几种方法之后，交换了两张HBA卡的pcie槽位，主机顺利启动。
接下来就是见证奇迹的时刻了，在盘柜的第一槽位，安装了一块4T sas硬盘，然后分别在下方第10和第16槽位上，安装了两块500G sata硬盘。
群晖顺利认出！读取SMART信息没有任何问题！
跑了一下硬盘调试，结果如下：
基本上就是硬盘本身的标准数据了……
至此，该折腾的就已经折腾完了，哪天上8个SSD做raid6开缓存{:7_206:}
总结一下此台设备的各个情况：
28个热插拔3.5存盘位，4个机箱内预留2.5寸盘位，主机双万兆，双电源，盘柜双电源。
盘柜空余一个支持级联的sas口，主机空余一个外置sas口，可以再接盘柜或者硬盘笼子，考虑到群晖是基于linux，从原理上说应该还可以增加盘位，等盘柜快满的时候再做一次小白鼠吧。
理论上说，能插外置SAS HBA卡的黑裙，都可以用盘柜进行盘位的扩展……万能宝上的盘柜要涨价了……
这个可以，发烧不一般，动手能力杠杠的！ 豪，你这是想干嘛啊，，家里会不会很吵啊 LZ是有说“家里的储藏间”。反正是需要我仰望的土豪。 为什么 你可以支持这么多盘位正常12盘位 用root权限修改参数 我也只能支持20盘位 多了就识别不出来大神能不能说一下你是怎么做的 可惜手上没有能插pcie卡的白群晖，不然可以试试白裙扩展盘柜，原理上应该是没有问题的，一个白裙的DX1215才12盘位，价格是10倍都不止了。 学习一下 壕家里有矿 家里有矿。仰望技术大佬 说家里有矿的来算一下帐：
主板是华硕P9D-MH/SAS/10G-DUAL,当时买的便宜，不到1k。其实板载的SAS可以通过HBA卡解决，所以现在可以买到P9D-MH/10G-DUA，价格也不贵。
cpu是e3 1265l v3，低电压，当时买的贵，现在也就500-600。
然后32G DDR3 ECC，算500多吧。
连机箱一起，不含硬盘的12盘位主机总价不超过2500。
再加一个16盘扩展柜，全套下来3.5K以内。
功耗方面，目前带了6块sata 4T，1块sas 4T，2块sata 8T，2块sata ssd，一共11块硬盘，待机功耗56w,7盘重建raid5时的功耗68w，盘柜空载的时候10w。
一整套换不来一台白裙918+ 膜拜大佬 ~~~~~~~~~~~~~~~~ 请教楼主，H3C的DE1116最大支持多大的硬盘 abox123 发表于 2020-1-9 10:36
请教楼主，H3C的DE1116最大支持多大的硬盘
4T的没有问题，再大还没机会测试，预计8T的问题不大，这个应该跟HBA卡能支持的最大硬盘有关吧 dxfzgsy 发表于 2020-1-9 10:11
膜拜大佬 ~~~~~~~~~~~~~~~~
不用膜拜，全套不含硬盘总价不超过3.5K…… 這東西很強大,但用電也大體積發熱也大! enrich 发表于 2020-1-9 11:37
4T的没有问题，再大还没机会测试，预计8T的问题不大，这个应该跟HBA卡能支持的最大硬盘有关吧 ...
对32盘位非常有兴趣，但感觉放这么多块硬盘，能耗估计也小不了 starain 发表于 2020-1-9 12:41
這東西很強大,但用電也大體積發熱也大!
功耗非常低，12盘位主机，空载功率54w，7盘重组raid5的时候68w，DE1116盘柜空载10w不到，剩下的就是硬盘功率了……
白瞎了两组730w热插拔电源！
至于噪音问题，肯定是不能放家里的，但也不是飞机起飞那种. enrich 发表于 2020-1-9 13:02
功耗非常低，12盘位主机，空载功率54w，7盘重组raid5的时候68w，DE1116盘柜空载10w不到，剩下的就是硬盘 ...
那壕大佬用的什么万兆网卡 用光纤交换机？想请教大佬的通信方案 yetu922 发表于 2020-1-9 18:29
那壕大佬用的什么万兆网卡 用光纤交换机？想请教大佬的通信方案
这台主机用的是板载的双口万兆网卡，等于不花钱。
然后还有一台主机现在用的是最便宜的HP NC523SFP，搞定了ESXI下的驱动，花销也就不到100，应该是能买到的最便宜的双口万兆网卡了吧。
交换机上万能宝，从400-1000随便挑，都是网吧淘汰下来的，就看要几口万兆了。
连接线如果在机柜上的话建议用直连，省两个光模块，不过华为的1.4KM的万兆光模块也就20一个……