4盘位黑群晖迁移到基于ESXi的8盘位组装系统
本帖最后由 yaleyu 于 2017-8-11 15:38 编辑1、前言这只是一个记录，可以让自己将来再次迁移做些参考，毕竟好记性不如烂笔头，也可以给有类似需求的朋友指明一些坑，少走点弯路。
2、背景前几年家里宽带升级到100M之后，就上了NAS系统，当时是用4盘位的U-NAS成品机，装了黑群晖，里面装了optware, aria2, vlmcsd, xware等等，考虑到万一DSM挂了，数据要挂其他机子上修复，没有用群晖的SHR，而是用了RAID5，4个4T盘可用空间在11T左右。期间也从5.0升级到5.1再到5.2再到6.1，没出过问题。
最近磁盘使用空间超过80%，该考虑扩容了，目标指向8盘位，白群晖价格高高在上，并且灵活性不高，网上搜一圈，参考了无数多帖子，衡量了家里空间，最后决定参考tramp202哥们的帖子：https://tieba.baidu.com/p/4949131952，全虚拟化，配置做了一定的改变。
3、硬件清单CPU：Intel Xeon E3-1235L v5 （淘宝）主板：MSI C236M（淘宝）内存：Kingston HyperX DDR4 2400 8g * 2（主板店家）系统盘：WDC WDS240G1G0A 240G SSD（天猫）数据盘：WDC WD40EFRX * 1 （原U-NAS用）（京东）数据盘：Seagate ST4000VN000 * 3（原U-NAS用）（美亚）数据盘：Seagate ST4000VN008 * 2 （先扩容两块）（京东）网卡：Dell Broadcom 5720（天猫）阵列卡：LSI SAS 9207-8i 6Gb PCI-E3.0 HBA（天猫）数据线：AMPHENOL 36p to 7p minisas SFF 8087 to SATA 56-82cm * 2（天猫）电源：XFX XTR650（京东）机箱：Node 804（天猫）散热器：采融 变形金刚（淘宝）
小插曲1：本来是要用ECC内存的，查了主板资料，只支持unbuffered ECC，于是买了三星UDIMM 16G一条，直接主板点不亮，EZ Debug灯报DRAM错误，和卖家交流没反应，还好主板卖家就在附近城市，淘宝上交流了很久最后决定直接带CPU主板内存过去测，最后确定是内存问题，换了两条8G神条，一切OK，赞有责任心有耐心的主板卖家一个。估计三星内存有问题，淘宝申请了退货，目前还在等待退货状态。
小插曲2：去测主板时候，主板卖家对这个CPU散热器赞不绝口，风扇几乎没声，用到现在各种折腾，散热器鳍片只是有点温而已。
小插曲3：本来是不想买网卡的，觉得用主板自带的就行了，在等配件期间查ESXi的资料，几乎都提到ESXi不支持这块主板自带的Realtek RTL8111H网卡，也找不到ESXi的驱动，Intel的原装网卡太贵，寨卡网评都是稳定性很差，于是就买了基于BCM5720的Dell网卡，和卖家确认ESXi直接支持。
小插曲4：主板自带6个SATA口，因为系统盘要接到主板SATA口上，数据盘要直通给群晖，直通只能基于设备不能基于某个口，只能用HBA接数据盘了。
经验：不想太折腾硬件的话，还是带着配置去电脑城找一家靠谱的店，让他们配比较好，虽然比自己淘会贵，但是淘宝到货期不一样，全到了才能测，某个配件出问题还得等。
本帖最后由 yaleyu 于 2017-8-11 15:02 编辑
4、硬件组装就不多说了，反正很业余，多年没接触硬件了，打开CPU盖板知道要拉档杆，但是怎么拉都要问主板店家。理线水平也很差，比起网上晒的一些理线图，汗颜。
5、系统安装BIOS设置BIOS里面打开VT-D，才能直通设备，这里有个小坑，新版BIOS中VT-D开启在OC里面，其实说明书上已经说到了，我想我又不超频 ，没注意到，在SETTINGS里面找了很久。
ESXi安装配置这个前前后后折腾了很多次，最早装了6.5U1，觉得Web Client比较慢，装了vSphere Client又连不上，老是说要从服务器0.0.0.0下载更新，不明觉厉，为了能用vSphere Client，又改成了6.0U3，但是里面的虚拟机鼠标发飘。几次取舍，还是装回了6.5U1。
没在BIOS打开VT-D之前，ESXi主机设备管理里面，HBA设备显示不支持直通，还以为ESXi不支持9207-8i的直通，查了很多资料，确认支持的，才反应过来是BIOS里面没打开。
切换直通前esxcli hardware pci list能看到这张卡esxcli storage core device list也能看到这张卡上插的硬盘
切换直通后，后一条命令就看不到硬盘了，说明直通起作用了。
虚拟机规划：
[*]虚拟机1，DSM，2C/4G/16G厚置备，估计2G内存，1G硬盘也够，毕竟之前的U-NAS就是2G内存，硬盘就是装个loader而已
[*]虚拟机2，Windows，2C/4G/100G精简置备
[*]虚拟机3，Ubuntu, 2C/4G/80G精简置备
· 本帖最后由 yaleyu 于 2017-8-12 00:12 编辑
6、黑群晖安装黑群辉安装就不多说了，网上很多，反正基本就是下载Jun’sloader，然后挂载synoboot.img，改grub.cfg里面的MAC和SN，然后把synoboot.img写到硬盘，这里就是虚拟机1的本地硬盘。
这里有两个坑：坑1，换了无数多的PE，启动进去都发现键盘鼠标不能用，就无法把synoboot.img写到虚拟机硬盘上，不知道是ESXi的问题还是PE的问题，弄了很久一发狠，挂上U-NAS里面拿出来的盘， U盘启动，能看到所有硬盘，然后把ESXi铲掉，直接把synoboot.img写到SSD，主机就一个DSM系统，启动进去发现一个待迁移的系统，说明群晖是支持这张HBA的，上面也说了，ESXi也支持这张HBA，那么坑2，只能以为是群晖不支持这张HBA在ESXi直通，安装完成之前又没办法登录进DSM查看，都打算用DRM了，可惜DRM要破坏现有的数据，又是找了很多资料才把坑填掉。
填坑1上传改好MAC和SN的synoboot.img到ESXi的存储空间，比如ISO子目录下，把Ubuntu Desktop的ISO挂载为CDROM，设置下次启动进BIOS，然后启动虚拟机1，直接进BIOS，选从CDROM启动，这本来就是一个LiveCD，进去之后选试用，就出来一个完整的Ubuntu系统，然后打开终端，运行下面命令查看虚拟机硬盘编号sudo fdisk -lu
我的是/dev/sda，那么再运行下面命令就可以吧synoboot.img写到虚拟机硬盘
scp root@esxi:/vmfs/volumes/datastore1/ISO/synoboot.img /tmp
sudo dd if=/tmp/synoboot.img of=/dev/sda
填坑2LSI 9207-8i直通不是缺省的这个设置
而是要添加PCI设备，然后选这个
之后挂上原来的4块盘启动虚拟机1，就能发现一个待迁移的系统，点一下迁移很快就完成，黑群就在虚拟机上装好了，数据配置都在。
这里有个问题，直通了PCI设备后，要求虚拟机预留内存，我设了预留8G，以后在主机监控界面，这个虚拟机内存占用一直都是4G以上，黑群需要这么大内存吗？还是说如果设成2G预留4G，内存占就是2G左右了？ 本帖最后由 yaleyu 于 2017-8-11 15:26 编辑
7、数据迁移数据迁移参考了群晖官方文档：https://www.synology.com/zh-cn/knowledgebase/DSM/tutorial/General/How_to_migrate_between_Synology_NAS_DSM_6_0_and_later因为都是用DS3517XS的Loader，相当于是同机型的数据迁移，按照“2.1在两台型号相同的Synology NAS 之间迁移”就行了，把一块新的盘当做临时盘。
全部安装完成进到DSM，存储管理器里面发现问题，其实就是新加的两块硬盘没有初始化，点修复，一会就初始化好了，然后到存储空间里面添加这两块硬盘，因为是RAID5，条带数据要从原来的4块盘扩张到6块盘，估计要几天时间。 本帖最后由 yaleyu 于 2017-8-12 00:42 编辑
请教几个问题
我是在MacBook上用Firefox打开ESXi的Web Client，然后在Windows虚拟机里面的键盘映射有点不习惯，比如Command键被映射成Windows键，而Control键已经被macOS完全接管，不管在什么位置Control+空格都是打开Spotlight搜索，在macOS的虚拟软件Parallels Desktop的方案是把Command键映射成Ctrl键，这样拷贝粘贴中英文输入切换等都能实现。
问题1：如何在macOS上设置ESXi虚拟机的键盘映射，起码找到最常用的Ctrl键吧？
ESXi才是精华部分，一直想搞都不敢下手，感觉有些难！ 3个虚拟机，这个配置有点过剩了。 dgiuobin 发表于 2017-8-12 13:18
3个虚拟机，这个配置有点过剩了。
开始三个，将来看情况应该会起更多虚拟机。
基于ESXi的好处体现出来了，目前经过几十小时RAID5扩容完成了，应该是稳定运行状态，在群晖里面看CPU占用不到2%，ESXi看主机CPU占用也是不到2%，群晖里面看内存占用20%，但是ESXi里面看内存占用5G以上，我觉得是因为直通给群晖预留了内存的原因，考虑减少群晖为2G内存预留4G。 这款机箱不错~ yaleyu 发表于 2017-8-12 19:18
开始三个，将来看情况应该会起更多虚拟机。
基于ESXi的好处体现出来了，目前经过几十小时RAID5扩容完成 ...
我也有两部ESXI，刚开始也是ALL IN ONE，什么都往里面装，运行也很稳定，速度跟裸机没什么区别。但一出现问题要停机停机维护时，所有服务都要暂停了。
我现在的方案是把储存分开，NAS+ESXI（虚拟一部备份的NAS）。这样就算无网络或其中一部NAS断线，也能访问资料。 All in One强帖，感谢分享。 两层楼编辑之后要审核，貌似被吃掉了，都3天了 yaleyu 发表于 2017-8-14 10:22
两层楼编辑之后要审核，貌似被吃掉了，都3天了
我想请教一下关于ESXi的问题，我也安装了6.5u1，但是没有vSphere client啊，找不到在哪下载，是不是必须得安装vcenter才有的啊？那个vcenter太吃资源了，必须得至少10G内存才行。你的这个vSphere client是不是就是官网上说的那个c#编写的基于Windows的客户端啊？ 本帖最后由 yaleyu 于 2017-8-14 14:02 编辑
meerkat 发表于 2017-8-14 13:44
我想请教一下关于ESXi的问题，我也安装了6.5u1，但是没有vSphere client啊，找不到在哪下载，是不是必须 ...
vsphere client只到6.0，后面不更新了，反正我测了6.0连不上6.5U1的主机，老报错。6.0的Client下载很多的 http://www.prolved.com/vsphere-client-downloads/ 这个网页里面都是指向VMWare官网链接的，放心下。一个主机的话没必要上vcenter，那是同一个界面管理多个主机用的，一般公司里面会用。 dgiuobin 发表于 2017-8-13 19:32
我也有两部ESXI，刚开始也是ALL IN ONE，什么都往里面装，运行也很稳定，速度跟裸机没什么区别。但一出现 ...
4KB大神看来投票结果出来了，还是分开了NAS和虚拟化。 yaleyu 发表于 2017-8-14 13:57
vsphere client只到6.0，后面不更新了，反正我测了6.0连不上6.5U1的主机，老报错。6.0的Client下载很多的...
6.0的Client可以连接6.5的EXSI，我就是这么用的 moyawang 发表于 2017-8-14 15:09
6.0的Client可以连接6.5的EXSI，我就是这么用的
我的报要从服务器0.0.0.0下载更新，然后点更新就报错说连不上，能连上0.0.0.0到怪了，不懂它要干嘛。 下一步打算在Ubuntu里面装个Plex，和群晖的套件比比看。 woshiwaxiu 发表于 2017-8-14 15:05
4KB大神看来投票结果出来了，还是分开了NAS和虚拟化。
是的，最后用的比较顺手的是。。NAS主机+ESXI主机。 dgiuobin 发表于 2017-8-14 16:15
是的，最后用的比较顺手的是。。NAS主机+ESXI主机。
看到你的投票贴了，我因为是HBA直通给群晖的，并且设的RAID5，而没有用群晖的SHR，比较方便，群晖关机再直通HBA给Ubuntu，就能直接访问硬盘，方便群晖出问题时候拯救数据。
两个都开机时候就在Ubuntu上NFS挂载群晖的数据。
群晖里基于optware的应用也逐步迁移到Ubuntu上，毕竟Ubuntu上更新比optware及时多了。
两个物理机的话还是分开比较好。
页:
[1]
2