[讨论/分享] 来玩光纤吗？升级万兆黑裙方案经验分享

本帖最后由 gasment 于 2023-10-27 10:10 编辑

之前帖子探讨了下2.5G内网的踩坑经验，这次按不主手，花了十几张加设备组了1G/2.5G/10G的混合内网
属实是玩得有点魔怔了，其中有不少值得说道的，和大家分享下~
先上下目前的拓补图

目前状态：
1、外网千兆跑满余量，约1300M
2、内网10G设备访问2.5G设备，跑满2.5G；内网2.5G设备访问10G设备，跑满2.5G。
3、内网10G设备互访，吞吐量跑满10G，smb不稳定约7G
4、1G设备访问2.5/10G设备,跑满1G

这里有一个点，偶然看到一个说法：光口兼容1G/10G，电口兼容1G/2.5G，10G光口与2.5G电口通讯只能跑共同支持的1G。
其实不然，关键是要有一个同时可插2.5G电和10G光的交换机，2.5G网卡和10G网卡都能与该交换机协商至最高速率，并通过内部转发流量整形到2.5G（10G转到2.5貌似会有堵塞的问题？）

1G/2.5G想升级到10G，有光口和电口两种方案：
（没人回复就沉帖了，无奈搞个隐藏）

叨叨完硬件，再聊下软件：

1、黑裙因为arpl引导的强大，网卡驱动已经不是什么难题了，基本是即插即用，白裙好似挺麻烦的，尽量挑和官方同方案的说不定有戏；
2、跑满万兆，固态阵列少不了，好在现在m2固态价格好看，组个2T raid1也不是难事，主板没有多余m2接口，可以考虑转接：
      主板支持拆分的，买不带拆分芯片的转接卡，几十块，主板不支持拆分就需要PLX拆分卡，400多一张哦（哭）
      
3、来实际跑跑速度吧
     iperf3打流，多线程跑接近10G没问题了;
     
     跑SMB3看看：
     从群晖m2 raid1读取30G大文件，平均能有个七八百
     
    写入30G测试，刚开始一段能跑到1G，后面就降速到700左右（铠侠RC20的SLC缓存有24G左右，按理不应该这么早就到缓外700M）
     
  
    换个系统试下，跑truenas的smb看看，跑个300G的多文件写入：（这里truenas是两个raidz1组的条带，都是机械盘）
   
    稳定得一批，把阵列性能跑干了，顺带一提，都是用默认1500mtu跑的，chh老哥都说万兆开不开巨帧都差不多，开了巨帧我这联网都困难（交换机也开了9000mtu）
   
    总结：群晖阵列性能一言难尽，我这里的固态阵列是用来存小文件的要求随机读写性能好，也不怎么存大文件，上个万兆属于是锦上添花；
               跑满万兆读写感觉truenas这种大内存缓存+zfs上限会更高些，这次折腾也是主要为了truenas提上限。
               
               搞完收工，一阵哆嗦，索然无味......本次升级花费1500+......
              这台all in one ，扩展性算是玩到头了。。。。。目前还剩一个m2,看看还能转出来什么名堂。。。。。
                    
              
2023.10.27更新：
H3C 4口万兆交换机已上架，与华为单模光模块兼容，各位可参考~