隔壁网»学院 › NAS讨论 › 黑白群晖 › ESXi 6.7 万兆 2.5G 软路由 NAS 影音中心

12 3 4 5 6 7 8 9 10 ... 36 / 36 页下一页

[玩法/技巧] ESXi 6.7 万兆 2.5G 软路由 NAS 影音中心

荐火...

98036 701

发表于 2020-1-10 22:55:32 | 查看全部阅读模式

本帖最后由 worimeimei123 于 2020-7-4 22:09 编辑

ESXi 6.7 万兆 2.5G 软路由 NAS 影音中心

分享下这几年玩软路由和nas的一些经验

帖子太长了，分了3楼

exsi 6.7 up3 集成网卡 sata usb驱动

和备份的模板分享

游客，如果您要查看本帖隐藏内容请回复

一：关于exsi硬件的建议

1.硬件看自己的需求，

建议CPU最好i3以上，支持直通，内存最少4G，越大越好。

网口至少2以上，加上交换机和AP，所有网线网络设备接在交换机上，无线设备连AP。

最好多网口，软路由直通网口，NAS直通网口，然后全部接交换机上，减轻主机的负担。

单网口主板的最好加网卡，千兆螃蟹网卡才十几元，USB网卡也是可以的,

家用尽量不要单网卡玩单臂，VLAN之类的，麻烦，出了问题不在家时家人根本搞不定。

usb网卡的芯片基本都是RTL8153芯片,AX88179芯片，

usb-2.5G网卡-R8156，

usb-5G网卡，威联通的那款，

EXSI，openwrt，群晖都有驱动。

AX88179安卓可以直接识别，手机平板电视都能直接识别。

小米投影这2种usb千兆网卡都能识别。

2.主硬盘最好买牌子货的SSD，

SSD读取速度都差不多够用了，主要是写入速度的差别，现在SSD都带模拟SLC缓存，如果大量文件写入爆了缓存后写入速度掉很多，

品牌的还有几百兆的速度，杂牌的则惨不忍睹，写入速度只剩下50MB/秒左右了，和U盘差不多了。

在极端状态下，如果有的虚拟机在写入很多数据时间太长，就会影响别的虚拟机了。

比如我的一台电脑上的SM961和PM981的区别，一个MLC,一个TLC，都是256G。

测速PM891好过SM961，平常实际使用效果一样的。

但是我复制一个18G的电影，

SM961写入速度从头到尾一直1.4GB/秒，

PM981-256G刚开始写入速度1.5GB/秒，坚持不到10秒不到爆缓存后只有300MB/秒了。

512G的好点，爆缓存后有700MB/秒。

3.机械硬盘也要注意是不是SMR叠瓦式的，

仓库盘很少写入无所谓，

当常用盘就要注意了。

它在有数据的情况下重新写入速度会变得很慢很慢，

有一块15年的希捷5T，那时候没注意，

到数据的时候，发现写入速度越来越慢，只有20MB/秒左右，我先以为硬盘出来问题，结果smart看没问题，百度一搜型号发现是SMR硬盘。

百度很多介绍这个的，现在容量小也有叠瓦式硬盘了。

容量大的PMR硬盘也有，比如：my book 拆出来10t的氦气盘就是。

到数据时写入1T左右的电影，全程100MB/秒以上。

二：关于普通电脑运行EXSi的稳定性

大概90天的时候截的图。

三：达到的效果:千兆和万兆

1.设备：

软路由比普通路由器的性能好太多了，不要只看测速，虽然测速看起来速度差不多。

但是实际使用中，多人看视频，迅雷下载，bt，多线程耗资源，

特别是开了-去-广-告，和在大带宽的情况下，差距更加明显，

路由器性能差了就带不动，

很多人在开了-去-广-告，测速下降了一大截就是这个原因，

或者大带宽下迅雷下载达不到最高速度，用了软路由后就不再想换普通路由了。

1号exsi主机：小马v5

i3 5005U

16G内存

4个千兆网口

1块120G的SSD装ESXi,

1块960G的SSD直通群晖

1块usb3.0的希捷5T笔记本硬盘，

最低功耗14W，最高功耗22W，

一天大概0.28度电，小米插座测的。

交换机：水星16口千兆，最高功耗7W，设备少的时候4W。

交换机：铁壳8口千兆，功耗2W-3W。

交换机：NETGEAR MS510TX，功耗平常待机10W，工作时10-30w。

AP:3个k2p刷的高恪，支持802.11r快速漫游。

3W-9W之间，802.11r漫游有点问题，没有LEDE的好，三星的漫游不掉包，苹果小米的掉包掉线。

后来又买了3个mg1200ac试了下，支持802.11k，r，v，漫游，

小米MIX2S基本不掉包，不过没有功放，信号不怎么样。

2号exsi：万兆

准备上万兆的话就不要考虑功耗了，单独的万兆网卡功耗基本都达到10W了。

而且对处理器也有要求，加起来功耗就上去了。

工控机就不要想万兆了，cpu带不动，速度跑不起来，功耗高，

最主要的是pcie的带宽不够，1x的速度实际上跑350MB/秒左右。

还不如2.5g网卡，省电待机1W，单网卡280MB/秒的速度够用了。

比如：双口万兆网卡x540-t2在待机状态不插网线6W，插上网线后12W，工作时功耗更高，

单独的双口网卡就抵得上小马v5的全套功耗了。

万兆网卡建议买大散热片的，那个小风扇好吵的，后来买的大散热片的没有风扇温度也能接受。

R8125;

2.5G网卡待机1W

AQC107；华硕技嘉群晖的单口5速网卡都是这个芯片，

1G-2.5G-5G-10G网卡 5速，待机2-3W

机箱：蜗牛星际B

主板：B250itx魔改bios

Cpu：8700t

网卡：x540-t2万兆双口，

自带的千兆网卡

还有1个m2的wifi口可以用延长线扩展。

不带网卡：21W

加上X540-T2后：33W

1盘38-44W

2盘43-51W

3盘48-57W

4盘53-68W

硬盘未休眠

交换机建议NETGEAR MS510TX，

有1个10G光口，1个10G电口5速

2个5G电口，2个2.5G电口，

4个千兆电口。

功耗平常待机10W，工作时10-30w

cpu主板看自己需求，建议用大板扩展方便，itx主板扩展pcie太少了，
itx的华硕B250i，b360i，微星b360i正反面共有m2接口，1个wifi的key-E接口，
用了nvme盘后还可以用m2延长线多出1个pcie x4接口。

m2转pcie线，转出的是pcie3.0 x4的信号，
m2转pcie线 key-e，主板上的wifi网卡接口转出pcie3.0 x1的信号，注意有的是cnvi不能转。
pcie延长线，usb3.0的线有损耗转出的是pcie 2.0 x1的信号。

2.宽带速度

高恪联通200m双拨，测速500m，电脑迅雷下载60MB/秒，手机下载50MB/秒。

3.网线速度无线速度

群晖开启smb3.0，

2网卡速度合计200MB/秒。

3网卡速度合计300MB/秒。

手机和NAS之间复制文件:

ES浏览器SMB模式只有20MB/秒，建议用FTP模式或者webDAV模式，速度可以到70MB/秒。

X-plore支持smb2，速度可以到50MB/秒，FTP可以到70MB/秒。

电脑无线网卡速度

电脑网线连路由器，路由器5G无线中继上级路由

都能跑满千兆。

由于无线干扰的原因，

如果电脑5G连路由器，路由器5G无线中继上级路由，

速度只有40MB/秒的速度，

不论是4天线1733M的路由还是2天线866M的路由结果都是一样。

斐讯E1百兆网口，5G到5G扩展wifi一样能跑出30MB/秒的速度。

4.万兆软路由

普通机制网线，

不开巨帧的速度：

开启巨帧的速度：

5.现在新出的2.5G网卡速度

四：家庭影影音中心

网上教程多的是,只上几张截图吧。

威动影音：小白级的，没有用户之分所有的设备都是一个播放记录，几年没更新了，手机版的用起来很方便。

Windows 群晖都有服务端，服务端支持调用GPU硬解转码。

jellyfin：emby的分支，免费。Emby，plex是收费的。

每个用户都有自己的播放记录，喜好等等。

都有服务端和客户端，服务端支持调用GPU硬解转码。

群晖的视频做的也挺好的，电视版，手机版的也不错，

手机版需要调用外部播放器,mxplayer。

Kodi 客户端自带媒体库。

未完

本帖被以下淘专辑推荐:

收藏|主题: 4, 订阅: 1

使用道具举报

电梯直达
评论701

worimeimei123楼主Lv.7 发表于 2020-1-10 22:57:43 | 查看全部

本帖最后由 worimeimei123 于 2020-7-14 14:59 编辑

五：下面是EXSi的一些经验分享

官方ISO很多家用的驱动都没有，需要打包网卡SATA的驱动进去，封装的过程很简单，

在官方下载iso包，然后把网上大神编译的vib驱动打包到一起就行了，百度很多教程。

自己封装的exsi6.7 up3 的ISO，链接在最上面，

ESXi-6.7.0-20200403001-net-sahci-usb-1

用UltraISO写入u盘引导电脑安装就行了。

集成了网卡和sata等以下几个驱动。

集成了5速万兆网卡aqc107万兆网卡，

aqc-108-5g网卡

集成了r8125-r8125b驱动

集成了usb千兆网卡：RTL8153芯片,AX88179芯片，的驱动，

usb-2.5g网卡-r8156，比如绿联的那个type-c转2.5g网卡。

默认不启用，可以分配给虚拟机。

想要当成exsi能使用的网卡，需要命令行启动:

开启USB自动网卡识别成本地网卡：

Exsi开启SSH，

用SecureCRT链接，

输入：

esxcli system module set -m=vmkusb -e=FALSE

回车

reboot

重启exsi

开机后USB网卡会直接识别成本地网卡，虚拟机就无法通过添加USB设备添加了。

关闭USB网卡识别：

Exsi开启SSH，

用SecureCRT链接，

输入：

esxcli system module set -m=vmkusb -e=TRUE

回车

reboot

重启exsi

开机后USB网卡可以分配给虚拟机。

1.安装EXSi

1.安装过程网上教程很多，在网上下载大神们集成好网卡和SATA驱动的安装包，按照步骤来就行了。

2.安装位置可以在U盘和硬盘都行，支持NVme ssd。

3.建议用nvme安装，那样就可以把主板SATA控制器直通给虚拟机使用。

Nvme上虚拟ssd的速度

EXSi对NVme和U2接口的SSD支持的很好，直接驱动。

服务器万兆网卡都是可以直接识别的，比如intel的X520,X540,X550。

X550是现在的5速网卡，支持1G，2.5G，5G，10G。

如果想直通主板SATA控制器，系统盘是不能接在主板SATA上的。

只能安装在NVme或者U盘上，或者加pcie转sata卡。

U盘不长时间工作不怎么稳定，建议用m2-sata的硬盘盒性能好点。

安装在U盘后剩余空间是不能直接作为存储空间使用的，

网上的都是6.0的教程，

6.7的安装过程如下：

我的U盘32G，

Exsi开启SSH，

用SecureCRT链接，

输入：

cd /vmfs/devices/disks

回车

输入：

回车

得到回复：

t10.Netac___OnlyDisk________

t10.Netac___OnlyDisk________:1

t10.Netac___OnlyDisk________:2

t10.Netac___OnlyDisk________:3

t10.Netac___OnlyDisk________:5

t10.Netac___OnlyDisk________:6

t10.Netac___OnlyDisk________:7

t10.Netac___OnlyDisk________:8

t10.Netac___OnlyDisk________:9

vml.0100000000454444354331344338393344423243345465636c6173

vml.0100000000454444354331344338393344423243345465636c6173:1

vml.0100000000454444354331344338393344423243345465636c6173:2

vml.0100000000454444354331344338393344423243345465636c6173:3

vml.0100000000454444354331344338393344423243345465636c6173:5

vml.0100000000454444354331344338393344423243345465636c6173:6

vml.0100000000454444354331344338393344423243345465636c6173:7

vml.0100000000454444354331344338393344423243345465636c6173:8

vml.0100000000454444354331344338393344423243345465636c6173:9

t10.Netac___OnlyDisk________

就是硬盘标识了

输入：

partedUtil getptbl t10.Netac___OnlyDisk________

回车

得到回复：

gpt

3824 255 63 61440000

1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B systemPartition 128

5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0

6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0

7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 vmkDiagnostic 0

8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0

9 1843200 7086079 9D27538040AD11DBBF97000C2911D1B8 vmk

U盘大小不一样，这个数字就不一样

61440000-34=61439966

输入：

partedUtil setptbl t10.Netac___OnlyDisk________ gpt \

"1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B 128" \

"5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 0" \

"6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 0" \

"7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 0" \

"8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 0" \

"9 1843200 7086079 9D27538040AD11DBBF97000C2911D1B8 0" \

"2 7086080 15472639 EBD0A0A2B9E5443387C068B6B72699C7 0" \

"3 15472640 61439966 AA31E02A400F11DB9590000C2911D1B8 0"

回车

输入:

vmkfstools -C vmfs5 -b 1m -S UsbDatastore t10.Netac___OnlyDisk________:3

回车

格式化分区3

等待时间看U盘大小，一直要等到格式化完成才行。

U盘存储出来了，

2.ESXi直通主板SATA

6.0和6.5可以直通，

6.7有bug不能直通，

6.7up1，up2，up3可以直通。

有些主板默认是关闭的，需要在bios设置里打开VT-D

主板SATA默认都是灰色无法直通的，需要修改配置文件。

usb控制器修改方法一样

EXSi开启SSH

用winSCP修改配置文件/etc/vmware/passthru.map

最底下加入，保存。

# Union Point-H AHCI Controller

8086 a282 d3d0 default

重启主机。

8086是设备商ID

a282在硬件ID

在EXSi pci硬件-设备里可以看到，有AHCI的就是SATA控制器。

用命令行也可以看到，下面直通小马软路由时sata有写。

但是小马V5的直通主板SATA坑了我不少时间，

原因是买了个乐扩minipie转2口SATA，芯片是ASM1061，但是在EXSi里显示的是ASM1062，可以直通但是无法启动虚拟机。

在小马V5上面可以直通，但是虚拟机无法启动，错误信息：无法注册pci，6.0，6.5，6.7都试过一样失败。

台式机直通又没有问题。

应该是兼容问题了。

后来就想直通主板SATA。

这个主板SATA控制器很奇怪，不插硬盘直接不显示，插了硬盘才会显示出来。

后来把1块ssd接乐扩转的SATA上装系统，

主板sata接硬盘(必须要接硬盘，不然直通列表里不显示)，直通主板SATA成功，修改配置文件。

可以直接修改配置文件，

用winSCP修改配置文件/etc/vmware/passthru.map

也可以用命令行修改

命令行修改方式：

ESXi开启ssh，

ssh链接ESXI

输入

lspci -v | grep "Class 0106" -B 1

查看SATA控制器

我的主板是:

Intel Corporation AHCI Controller

class 0106：8086:9c83

记下数值8086 9c83

修改配置文件，可以用vi命令修改

vi /etc/vmware/passthru.map

i键插入，最下面加入2行

#Intel Corporation Lynx Point AHCI Controller

8086 9c83 d3d0 fasle

Esc键退出编辑

输入:wq 保存文件并退出vi

注：8086 9c83是我的主板SATA数值。

也可以用winSCP修改配置文件/etc/vmware/passthru.map

最底下加入，保存。

#Intel Corporation Lynx Point AHCI Controller

8086 9c83 d3d0 fasle

注：8086 9c83是我的主板SATA数值。

直通到windows虚拟机下可以看见硬盘信息，可以休眠。

直通到群晖虚拟机可以看见硬盘smart信息，不休眠，

主要原因是有些硬件功能黑裙没有，

会把错误日志写入硬盘造成无法休眠，

修改脚本把log写入内存，

不写入硬盘，硬盘就能休眠了。

3.直通核显

6代以上的cpu支持

8代核显在exsi里面显示的不是HD630，

显示的是：

8th Gen Core Processor Gaussian Mixture Model

设置为活动，重启。

核显分配给群晖918+，可以被jellyfin，emby，plex调用硬解。

核显分配给win10，安装驱动后无法工作，显示错误43。

需要修改虚拟机配置添加：

hypervisor.cpuid.v0 = FALSE

也可以用WinSCP修改配置文件。

保存后重启。

4.我试验过的直通设备

Pcie转SATA口

转接转出来的几个口都是共享pcie 2.0带宽，比不上主板自带sata的速度。

2口的 ASM1061

4口的Marvell 9215

exsi，Win，群晖，op都可以支持的设备

Pcie转USB3.0

NEC UPD720202

exsi，Win，群晖，op都可以支持的设备

无线网卡：

BCM943602CS

5G-1300M 3天线

Win，op cc都可以支持

有线网卡:

千兆一般都支持

万兆:X540-t2

万兆:X550-t2

exsi，Win，群晖，op都可以支持

2.5G网卡r8125

exsi，Win，openwrt，爱快3.4群晖3617和918添加了增强驱动包后可以支持

Aqc107，1-2.5-5-10G五速网卡，市面上的5速基本都是这个芯片

exsi，Win，群晖3617和918添加了增强驱动包后可以支持

USB网卡

RTL8153

AX88179

Win，群晖，op都可以支持，

ax88179支持安卓手机平板电视

R8156

新出的2.5g网卡，usb接口的r8156，

exsi，windows，openwrt，黑群晖3617和918加上驱动补丁包后都支持，

我的电脑type-c接口是gen2的10g接口，可能是exsi的驱动或者兼容问题。
淘宝的typec-usb2.5g网卡在exsi中分配给虚拟机后，
协商速率只有千兆，加上带芯片的转接线后才能正确协商2.5g，

usb口的没问题

直通NVME

1x的速度只有350MB/秒左右

直通万兆网卡

1x的速度只有350MB/秒左右

回复点赞

使用道具举报

worimeimei123楼主Lv.7 发表于 2020-1-10 23:02:50 | 查看全部

本帖最后由 worimeimei123 于 2020-7-17 12:38 编辑

3.网络设置

我用的是192.168.10网段，最好不要用192.168.1的网段，很多网络设备都是这个网段，容易ip冲突出现奇怪的问题。

ESXi内部网络要先建立虚拟交换机，再建立端口组绑定虚拟交换机才能有网络接口给虚拟机使用。

简单点说，

虚拟交换机连接物理网卡，（只供内部虚拟机连接的可以不绑定物理网卡），

端口组是虚拟机交换机的网口，内部虚拟机连接用的。

准备当管理端口的网口插上网线，

显示connected就是插网线的网口。

X表示选中，空格键选择。

默认有一个虚拟交换机
vSwitch0

管理端口组就链接在上面

如果只有2个网口的机器，1个网口做WAN，

1个网口做LAN和管理网口共用。

端口组lan绑定到虚拟交换机vswitch0上。

安全都选接受，不然有的设备可能无法获取ip地址。

建立WAN交换机

添加标准虚拟交换机

wan绑定的vmnic2网卡，

（如果不绑定网卡，就是建立ESXi内部交换机，内部虚拟机互联）。

虚拟交换机

混杂模式-接受

选中，不选的话，

有些情况下会有奇怪的问题，比如:

无法获取ip地址之类的问题

建立wan端口组

绑定wan交换机，保存。

以后vmnic2网卡就是WAN口了。

剩下网口的类似。

网络:

软路由第1个是LAN，第2个是WAN。

win，群晖都是LAN，看自己的网络情况。

4.部署虚拟机模板:

可以到我分享的百度网盘下载模板直接部署，

群晖仅供体验。

群晖的5.2，未洗白，图库有缩略图。

群晖的6.0，6.1，6.2，未洗白，图库没有缩略图。

VMware vSphere Client可以导出exsi6.0的ovf。

VMware Workstation Pro也可以登录EXSi后下载虚拟机后导出ovf，支持exsi6.7。

5.爱快或者高恪+openwrt，

利用openwrt支持2.5G网卡

LEDE旁路-去-广-告-等等别的功能。

注意：

EXSi建立软路由虚拟机：
客户机操作系统名称：其他 3.x Linux (64 位)
网卡只建立一个，

（一般虚拟机的第1个网卡在软路由中是LAN，第2个是WAN，同时建立2个网卡可能会造成混乱,可能在虚拟机里第1块网卡是WAN，第2块网卡变成LAN）
虚拟机创建完成后，编辑虚拟机再建立第二个网卡。

2个虚拟机的LAN都连接端口组LAN

Openwrt不勾选wan的连接。

设置主路由：

我现在因为k2p刷的高恪做AP，所以主路由用高恪了，和爱快的功能差不多。

开启高恪虚拟机：

高恪在ESXi中虚拟网卡下无法多拨，直通网卡才能多拨，LEDE和爱快在虚拟网卡下多拨没问题。

爱快虚拟机部署后需要先在控制台设置LAN和WAN绑定网卡。

浏览器输入：

地址:192.168.1.1

密码:admin

设置：

设置好外网使路由能上网，我的支持多拨，设置的多拨。

内网ip：192.168.10.1

保存&应用，自动重启。

有时候电脑换网络后不会自动重新获取ip，

电脑网卡禁用，再开启。

浏览器输入：

地址:192.168.10.1

密码:admin

DHCP设置：

网关ip：192.168.10.2

DNS服务器;192.168.10.2

保存

设置openwrt

先设置防火墙，全部改为接受，保存

不关防火墙也行，可能会些网络应用会出问题。

不设置WAN，

设置LAN:

协议：静态地址

IPv4 地址：192.168.10.2

IPv4 子网掩码：255.255.255.0

IPv4 网关：192.168.10.1

使用自定义的 DNS 服务器：192.168.10.1

最下面

DHCP 服务器

忽略此接口：勾选

保存

ipv6不用的可以关掉

6.黑群晖

群晖有vmtool套件，安装后exsi主机关机时虚拟机群晖会正常关机，不会直接断电，但启用后会影响群晖硬盘休眠。

在虚拟机中群晖，

RDM直通硬盘是不会休眠的，而且看不到硬盘smart信息，感觉不安全。

3617xs

虚拟机

第1个硬盘为引导盘，位置在SATA控制器0，SATA0.0

第2个硬盘为数据盘，位置在SATA控制器1，SATA1.0

剩下的硬盘在直通SATA控制器上，

虚拟硬盘控制器不要用scsi，直通主板的SATA会排在SCSI控制器的前面，

就不好设置ESATA硬盘模式了，ESATA模式下硬盘格式可以为NTFS格式，

ESATA不要超过2个，群晖硬盘会无法休眠。

需要修改引导文件才好设置硬盘位置编号，不然硬盘顺序会错乱，不好安排。

修改引导盘上的grub.cfg文件，

"SataPortMap=1"

默认表示1个SATA控制器，

我要直通主板SATA控制器，所以要修改这个，不修改也能用，硬盘顺序会错乱。

但是EXSi的虚拟SATA控制器有30个接口，实际直通后实体硬盘的位置会在31号位置，硬盘会无法休眠。

我自己的小马V5上的设置：

"SataPortMap=154"

1表示SATA控制器0，只有一个sata口，连接的引导盘

5表示SATA控制器1，我只打算接一个虚拟数据盘，预留4个，设置的5，也可以设置成别的数字。

4表示直通的SATA控制器接口个数，小马V5实际有4个SATA口，我设置的4，主板SATA上的硬盘在群晖中会从硬盘7开始。

盘位1：引导盘隐藏

盘位2：系统盘

usb网卡自动开启
群晖的USB网卡默认是不启动动的，设置开机脚本可以启动。插上usb网卡。
控制面板--任务计划--新增--触发的任务--用户自定义脚本-任务名称随意--事件:开机--勾选已启动

任务设置--
用户自定义的脚本
sleep 10
ifconfig eth3 up
9-03 USB网卡up.png