扫描二维码关注官方公众号
12345下一页
返回列表 发布新帖

[讨论/分享] 来玩光纤吗?升级万兆黑裙方案经验分享

 
12573 85
发表于 2023-10-25 16:04:26 | 查看全部 阅读模式

来吧兄弟,一起玩一起讨论!

您需要 登录 才可以下载或查看,没有账号?注册

×
本帖最后由 gasment 于 2023-10-27 10:10 编辑

之前帖子探讨了下2.5G内网的踩坑经验,这次按不主手,花了十几张加设备组了1G/2.5G/10G的混合内网
属实是玩得有点魔怔了,其中有不少值得说道的,和大家分享下~
先上下目前的拓补图

10G混合网拓扑.png
目前状态:
1、外网千兆跑满余量,约1300M
2、内网10G设备访问2.5G设备,跑满2.5G;内网2.5G设备访问10G设备,跑满2.5G。
3、内网10G设备互访,吞吐量跑满10G,smb不稳定约7G
4、1G设备访问2.5/10G设备,跑满1G

这里有一个点,偶然看到一个说法:光口兼容1G/10G,电口兼容1G/2.5G,10G光口与2.5G电口通讯只能跑共同支持的1G。
其实不然,关键是要有一个同时可插2.5G电和10G光的交换机,2.5G网卡和10G网卡都能与该交换机协商至最高速率,并通过内部转发流量整形到2.5G(10G转到2.5貌似会有堵塞的问题?)

1G/2.5G想升级到10G,有光口和电口两种方案:
(没人回复就沉帖了,无奈搞个隐藏)
游客,如果您要查看本帖隐藏内容请回复

叨叨完硬件,再聊下软件:

1、黑裙因为arpl引导的强大,网卡驱动已经不是什么难题了,基本是即插即用,白裙好似挺麻烦的,尽量挑和官方同方案的说不定有戏;
2、跑满万兆,固态阵列少不了,好在现在m2固态价格好看,组个2T raid1也不是难事,主板没有多余m2接口,可以考虑转接:
      主板支持拆分的,买不带拆分芯片的转接卡,几十块,主板不支持拆分就需要PLX拆分卡,400多一张哦(哭)
       1.png
3、来实际跑跑速度吧
     iperf3打流,多线程跑接近10G没问题了;
      多线程iperf3.png
     跑SMB3看看:
     从群晖m2 raid1读取30G大文件,平均能有个七八百
      DSM读取30G.png
    写入30G测试,刚开始一段能跑到1G,后面就降速到700左右(铠侠RC20的SLC缓存有24G左右,按理不应该这么早就到缓外700M)
      dsm写入降速.png
  
    换个系统试下,跑truenas的smb看看,跑个300G的多文件写入:(这里truenas是两个raidz1组的条带,都是机械盘)
    truenas_300G写入.png
    稳定得一批,把阵列性能跑干了,顺带一提,都是用默认1500mtu跑的,chh老哥都说万兆开不开巨帧都差不多,开了巨帧我这联网都困难(交换机也开了9000mtu)
   
    总结:群晖阵列性能一言难尽,我这里的固态阵列是用来存小文件的要求随机读写性能好,也不怎么存大文件,上个万兆属于是锦上添花;
               跑满万兆读写感觉truenas这种大内存缓存+zfs上限会更高些,这次折腾也是主要为了truenas提上限。
               
               搞完收工,一阵哆嗦,索然无味......本次升级花费1500+......
              这台all in one ,扩展性算是玩到头了。。。。。目前还剩一个m2,看看还能转出来什么名堂。。。。。
               aio1.jpg       aio2.png
              
2023.10.27更新:
H3C 4口万兆交换机已上架,与华为单模光模块兼容,各位可参考~
36e4475126b26c1a8a67170f74b98d9.jpg
     


评论85

8902044Lv.5 发表于 2023-10-25 16:50:50 | 查看全部
谢谢楼主分享!!
回复 点赞

使用道具 举报

xzal520Lv.3 发表于 2023-10-25 18:44:47 | 查看全部
玩的这么嗨吗
回复 点赞

使用道具 举报

iderLv.5 发表于 2023-10-25 19:12:15 | 查看全部
必须支持,加油加油
回复 点赞

使用道具 举报

夜空星语Lv.3 发表于 2023-10-25 19:43:39 | 查看全部
没人回复就沉帖了,无奈搞个隐藏
回复 点赞

使用道具 举报

25786682Lv.2 发表于 2023-10-25 20:33:45 | 查看全部
@@@@@@@@@@@@@@
回复 点赞

使用道具 举报

当爱已成往事Lv.4 发表于 2023-10-25 23:44:44 | 查看全部
这么快的速度是干嘛用的?
回复 点赞

使用道具 举报

xcgfLv.4 发表于 2023-10-25 23:59:27 | 查看全部
已经到了疯狂的地步  看照片看电影和千兆效果一样
回复 点赞

使用道具 举报

lubcLv.4 发表于 2023-10-26 02:25:34 | 查看全部
.............................
回复 点赞

使用道具 举报

gasment楼主Lv.7 发表于 2023-10-26 10:31:45 | 查看全部
当爱已成往事 发表于 2023-10-25 23:44
这么快的速度是干嘛用的?

90%的时间都用不上,折腾下图一乐罢了
回复 点赞

使用道具 举报

gasment楼主Lv.7 发表于 2023-10-26 10:36:28 | 查看全部
xcgf 发表于 2023-10-25 23:59
已经到了疯狂的地步  看照片看电影和千兆效果一样

就像90%时间闲置的千兆宽带一样,有种养兵千日用在一时的感觉
回复 点赞

使用道具 举报

pio9999Lv.10 发表于 2023-10-26 10:50:17 | 查看全部
谢谢楼主分享!!
回复 点赞

使用道具 举报

hp1307VIPLv.6 发表于 2023-10-26 16:22:23 | 查看全部
不错,但是感觉设备多了
回复 点赞

使用道具 举报

Bond007Lv.8 发表于 2023-10-26 16:44:28 | 查看全部
关键是要有一个同时可插2.5G电和10G光的交换机,2.5G网卡和10G网卡都能与该交换机协商至最高速率,并通过内部转发流量整形到2.5G(10G转到2.5貌似会有堵塞的问题?)


10G和2.5G,通过交换机就能跑满网卡的最高速率,这个说法有依据吗?还是经过了实际验证??如果是真的,为什么网卡还要兼容那么多不同的速度标准(协议)呢?
回复 点赞

使用道具 举报

gasment楼主Lv.7 发表于 2023-10-27 10:02:21 | 查看全部
Bond007 发表于 2023-10-26 16:44
关键是要有一个同时可插2.5G电和10G光的交换机,2.5G网卡和10G网卡都能与该交换机协商至最高速率,并通过内 ...

我目前就是正常使用,PC的10G光口与nas的2.5G电口经过交换机背板转发,跑满2.5G极限没有问题;因为光模块只支持1G/10G,如果直接与2.5G通讯,就只能协商到1G。
回复 点赞

使用道具 举报

兔巴士Lv.2 发表于 2023-10-27 11:42:36 | 查看全部
这个ssd扩展卡有驱动兼容啊?非常好。
回复 点赞

使用道具 举报

gasment楼主Lv.7 发表于 2023-10-27 12:04:18 | 查看全部
兔巴士 发表于 2023-10-27 11:42
这个ssd扩展卡有驱动兼容啊?非常好。

这种PLX卡不需要驱动的,系统也读不到,只会读到上面插着的固态,可以直接直通固态,跟插在主板上没区别
回复 点赞

使用道具 举报

Alvin2019VIPLv.1 发表于 2023-10-28 23:30:58 | 查看全部
楼主发贴辛苦了,谢谢楼主分享!
回复 点赞

使用道具 举报

hyjustinLv.10 发表于 2023-10-29 08:15:04 | 查看全部
看看怎么样,可以借鉴吗
回复 点赞

使用道具 举报

donxuLv.10 发表于 2023-10-29 10:56:29 | 查看全部
真心不建议all in one
回复 点赞

使用道具 举报

回复

懒得打字嘛,点击右侧快捷回复 【本站酷狼4T,750元】
您需要登录后才可以回帖 登录 | 注册

本版积分规则

淘宝小店

邀请码

VIP会员

微信客服

公众号

微信群

投诉/建议联系

support@gebi1.cn

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2024 隔壁网 版权所有 All Rights Reserved. 粤ICP备14056481号-1
关灯 在本版发帖
扫一扫添加微信客服
返回顶部
快速回复 返回顶部 返回列表