来玩光纤吗？升级万兆黑裙方案经验分享
本帖最后由 gasment 于 2023-10-27 10:10 编辑之前帖子探讨了下2.5G内网的踩坑经验，这次按不主手，花了十几张加设备组了1G/2.5G/10G的混合内网
属实是玩得有点魔怔了，其中有不少值得说道的，和大家分享下~
先上下目前的拓补图
目前状态：
1、外网千兆跑满余量，约1300M
2、内网10G设备访问2.5G设备，跑满2.5G；内网2.5G设备访问10G设备，跑满2.5G。
3、内网10G设备互访，吞吐量跑满10G，smb不稳定约7G
4、1G设备访问2.5/10G设备,跑满1G
这里有一个点，偶然看到一个说法：光口兼容1G/10G，电口兼容1G/2.5G，10G光口与2.5G电口通讯只能跑共同支持的1G。
其实不然，关键是要有一个同时可插2.5G电和10G光的交换机，2.5G网卡和10G网卡都能与该交换机协商至最高速率，并通过内部转发流量整形到2.5G（10G转到2.5貌似会有堵塞的问题？）
1G/2.5G想升级到10G，有光口和电口两种方案：
（没人回复就沉帖了，无奈搞个隐藏）
**** Hidden Message *****
叨叨完硬件，再聊下软件：
1、黑裙因为arpl引导的强大，网卡驱动已经不是什么难题了，基本是即插即用，白裙好似挺麻烦的，尽量挑和官方同方案的说不定有戏；
2、跑满万兆，固态阵列少不了，好在现在m2固态价格好看，组个2T raid1也不是难事，主板没有多余m2接口，可以考虑转接：
主板支持拆分的，买不带拆分芯片的转接卡，几十块，主板不支持拆分就需要PLX拆分卡，400多一张哦（哭）
3、来实际跑跑速度吧
iperf3打流，多线程跑接近10G没问题了;
跑SMB3看看：
从群晖m2 raid1读取30G大文件，平均能有个七八百
写入30G测试，刚开始一段能跑到1G，后面就降速到700左右（铠侠RC20的SLC缓存有24G左右，按理不应该这么早就到缓外700M）
换个系统试下，跑truenas的smb看看，跑个300G的多文件写入：（这里truenas是两个raidz1组的条带，都是机械盘）
稳定得一批，把阵列性能跑干了，顺带一提，都是用默认1500mtu跑的，chh老哥都说万兆开不开巨帧都差不多，开了巨帧我这联网都困难（交换机也开了9000mtu）
总结：群晖阵列性能一言难尽，我这里的固态阵列是用来存小文件的要求随机读写性能好，也不怎么存大文件，上个万兆属于是锦上添花；
跑满万兆读写感觉truenas这种大内存缓存+zfs上限会更高些，这次折腾也是主要为了truenas提上限。
搞完收工，一阵哆嗦，索然无味......本次升级花费1500+......
这台all in one ，扩展性算是玩到头了。。。。。目前还剩一个m2,看看还能转出来什么名堂。。。。。
2023.10.27更新：
H3C 4口万兆交换机已上架，与华为单模光模块兼容，各位可参考~
谢谢楼主分享！！ 玩的这么嗨吗
必须支持，加油加油 没人回复就沉帖了，无奈搞个隐藏 @@@@@@@@@@@@@@ 这么快的速度是干嘛用的？ 已经到了疯狂的地步看照片看电影和千兆效果一样 ............................. 当爱已成往事 发表于 2023-10-25 23:44
这么快的速度是干嘛用的？
90%的时间都用不上，折腾下图一乐罢了 xcgf 发表于 2023-10-25 23:59
已经到了疯狂的地步看照片看电影和千兆效果一样
就像90%时间闲置的千兆宽带一样，有种养兵千日用在一时的感觉 谢谢楼主分享！！ 不错，但是感觉设备多了 关键是要有一个同时可插2.5G电和10G光的交换机，2.5G网卡和10G网卡都能与该交换机协商至最高速率，并通过内部转发流量整形到2.5G（10G转到2.5貌似会有堵塞的问题？）
10G和2.5G，通过交换机就能跑满网卡的最高速率，这个说法有依据吗？还是经过了实际验证？？如果是真的，为什么网卡还要兼容那么多不同的速度标准（协议）呢？ Bond007 发表于 2023-10-26 16:44
关键是要有一个同时可插2.5G电和10G光的交换机，2.5G网卡和10G网卡都能与该交换机协商至最高速率，并通过内 ...
我目前就是正常使用，PC的10G光口与nas的2.5G电口经过交换机背板转发，跑满2.5G极限没有问题；因为光模块只支持1G/10G,如果直接与2.5G通讯，就只能协商到1G。
这个ssd扩展卡有驱动兼容啊？非常好。 兔巴士 发表于 2023-10-27 11:42
这个ssd扩展卡有驱动兼容啊？非常好。
这种PLX卡不需要驱动的，系统也读不到，只会读到上面插着的固态，可以直接直通固态，跟插在主板上没区别 楼主发贴辛苦了，谢谢楼主分享！ 看看怎么样，可以借鉴吗 真心不建议all in one