HP Gen8 ESXi 6.5 or 6.0U3 黑群晖6.1 绕坑指南
本帖最后由 三月鸟 于 2017-3-6 14:58 编辑上图镇楼,本文较长慢慢写,以防保存失败慢慢会更新上来。已经更新到黑群晖6.1。
由于之前用黑群5.2,采用Windows 2012R2 + Hyper-V 架构,稳定且相安无事。不过实在忍受不了系统提示版本太低的提示和邮件于是着手升级,鉴于新版本的黑群晖暂时还不支持Hyper-V只有实体机和ESXI可选,故只能弃坑windows改投ESXi。
本文大概会有如下的内容。
ESXi版本选择
ESXi部署
黑群晖部署
灾难恢复
为什么会说是绕坑指南,那是因为在这几天的研究中发现ESXI真是大坑,各种问题再加上gen8让我浪费了很多时间。我看了很多帖子,很多细节在帖子里面都没有详细说明,可能一句话的事情就要浪费很多时间。所以我打算把这几天的坑都写下来,以防大家踩坑。
机器配置
先说一下我机器的具体配置,德淘Gen8+16G内存+4*4T红盘+120GSSD。因为改ESXI新添4GTF卡。
无新添raid卡,故4块硬盘合理的选择只有raid 10 或者raid 1*2。两个方案差不多raid10性能更好,raid1*2出问题更方便。请根据你的需求选择。我的选择是raid10。
ESXi版本选择
HP Gen8需要下载HP的客制版本的ESXi。现在版本可选6.0U3和6.5两个版本,推荐6.0U3几乎常见的6.5的更新6.0U3都有,比如windows2016的支持和新版的web UI。
**** Hidden Message *****
ESXi已经更名VMware vSphere,在VMware网站可以免费获取授权,免费版功能有所限制,不过功能基本够用了。
ESXi部署
坑网上很多教程都是说建议通过iLO去安装ESXi,经过我的实验室真心不建议。首先iLO最新版版仅仅支持ESXi 6.0而不支持6.5。再有iLO的安装过程中不能选择安装路径。反正我装好以后不知道ESXi到底安装到了具体哪个盘符。使用iLO的完全自定义安装又必须使用光盘。最主要的一个的问题就是iLO升级最少需要1个小时。。。。其实没必要
推荐:使用iLO的Remote Console ISO映射安装或者干脆把安装程序写到U盘进行安装。具体的安装过程就是选择一个盘符其他的没啥了。
推荐ISO写入U盘的小软件 Rufus http://rufus.akeo.ie/
坑ESXi部署完毕后,需要注意一下就是如何修改BIOS把TF卡改成默认启动设备,可是你在改启动顺序的时候根本找不到TF卡的选项。其实在Gen8里面TF卡算USB设备。
启动时,在iLO界面按F9进入BIOS设置。首先要把“USB BriveKey”改成优先,然后进入“Removable Flash Madia Boot Sequence”设置 “Internal SD Card Firest”此时就是TF卡启动了,如果需要U盘启动,请设置“External Drivekeys Firest”
黑群晖部署
下载最新版本的DSM 6.0.2 Loader
http://xpenology.com/forum/viewtopic.php?f=2&t=20216
https://download.xpenology.xyz/
英文水平够的,建议先阅读下面原版的说明
http://xpenology.com/forum/viewt ... 300794b194a3dd8b769
我选择的ESXi版本为6.0U3,可以选择使用vSphere Client或者Web UI,界面有些许不同,但是大概差不多。
基本的ESXi设置我就不详细写了,很多文章都有说明。请根据下面图片去输入你的授权。
下面是如何安装黑裙晖的具体步骤。
新建一个虚拟机
配置:典型 名称:DMS-VM 存储:选择你想使用的存储,如果有SSD建议SSD 客户机操作系统:其他Linux(64位) 网络:默认 硬盘:默认8G,厚制备延迟置零 完成
新建完成后,点击编辑虚拟机,适当增加内存和CPU的资源
坑有的文章说,在新建虚拟机的时候,不要新建硬盘,这个说法是错误的。一定要在新建虚拟机的时候添加默认的硬盘,因为新黑裙Loader不能放在SCSI 0:0,如果放在0:0那么将导致Loader不能正常启动。这也就是为什么很多引导了系统,群晖助手不能搜索到设备。
使用ESXi内置的数据存储浏览上传Loader到存储。
编辑虚拟机DSM-VM,并添加新硬盘,选择使用现有虚拟磁盘,并选择刚上传的磁盘文件。至完成。
此时由于你的Loader并不是启动盘,启动你得虚拟机的时候,会提示没有系统。下面修改启动顺序
启动DSM-VM虚拟机,就会自动进入BIOS设置,并且把硬盘(0:1)改成第一启动。然后ESC并且,确认保存退出。
再次重启虚拟机。你的群晖助手就可以搜素到你的未安装设备了,然后会自动弹出浏览器就可以安装群晖了。
等到你得群晖部署完毕,配置群晖的第一步就是添加存储,我的建议是已经在host主机ESXi级别做了raid那么在群晖里面就不用再建raid了,完全可以使用级别的base模式。我的硬盘做完raid 总空间是7.28T,我现在的方式是在这个分区上面建了两块硬盘,每个3.6T,为了更好的区分具体是哪个分区,可以考虑一个3.5一个3.7这种不同大小的方法。虽然ESXi对于大文件的支持已经很好了,但是如果你还是不放心,可以多建几块硬盘用raid0连起来,如果硬盘够大raid5也是好选择,相当于多重保险,不过就是损失空间啊。
大坑解决Gen8因为hsvpa驱动导致的硬盘IO性能问题
存储空间建好了,你可以尝试往里面复制东西,你就会发现群晖的速度超慢,文件开始复制的时候可以达到100M/s,过了一会速度就会跌倒个位数。
造成这个问题的原因就是HP的OEM ESXi 在5.5版本以后更新了最新的hsvpa驱动,这个版本的驱动对于Gen8这种老机器的Raid卡支持有严重缺陷,根据测试ESXi 6.0U3和ESXi6.5 均是由问题的新版驱动。理论上所有的Gen8装了新版的ESXi均会有硬盘IO性能低下的问题。
最后一个正常的驱动是88版的hsvpa驱动。 scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib
可以通过SSH通过如下命令查看具体的hsvpa驱动版本。
esxcli software vib list | grep scsi
首先下载scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib 驱动。
**** Hidden Message *****
停止所有正在运行的VM
启用SSH服务在你的ESXi控制台UI
复制“scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib”文件到你的服务器的/tmp 文件夹(可以使用WinSCP)
Windows可以使用Putty,Mac或者Linux下直接命令行ssh 用root帐号连接到ESXi的IP上
转到tmp目录
cd /tmp
复制文件到/vmware目录
cp scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib /var/log/vmware/
启用维护模式
esxcli system maintenanceMode set --enable true
卸载现有hpvsa驱动
esxcli software vib remove -n scsi-hpvsa -f
安装新版hpvsa驱动
esxcli software vib install -v file:scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib --force --no-sig-check --maintenance-mode
等待完成,重启你的ESXi服务器,再次查看你的驱动应该就是88版本了。
本帖最后由 三月鸟 于 2017-3-7 15:14 编辑
这里跟大家一起讨论一下关于硬件直通和硬盘RDM。
对于硬件直通和硬盘RDM我还只停留在纸上谈兵的状态,毕竟入Raid卡还是要花钱的,好点的raid卡还要大几百,折腾成本太大。
硬件直通,主要是raid直通和硬盘RDM在我看两有两个好处,一个是能够在被直通的系统内看到硬件信息,譬如硬盘的S.M.A.R.T. 信息。二是硬盘内容会直接写入硬盘,在只是raid1的情况下可以直接拿下来硬盘读取里面的数据。
首先说说raid卡直通,首先需要花钱单独购置raid卡,再者你把整个raid卡都直通给群辉了,那么这台服务器几乎也就没啥利用价值了,一般来说这个机器也就只有一块硬盘了,还不如直接把群晖装在物理机器上面。我当时就纠结了半天,是否直接就把群晖装在物理机,其实即使装了ESXi最多机器再跑一个windows,再跑一个软路由,也真没啥用处了。
再说说硬盘RDM。把硬盘直通给群晖,从帖子里面看来,是得不到硬盘S.M.A.R.T. 信息的,如果你直通硬盘的话,只有一个能直接读取数据的优势了。
在我看来,什么东西都不如硬raid值得投资,如果让我在硬raid和系统级别的软raid选择,我会毫不犹豫的选择硬raid。
此楼为讨论楼,还是先陈述一下,硬件直通我只是看了一些文章,属于纸上谈兵,这么多人做硬件直通,肯定有他的好处,只不过我没理解罢了,希望大家多多指教。
-----------------------------------------------------------------------------------
又种了raid卡的草。。。。心里各种想拔草,不过现有raid卡的问题有不少,半天的时间草基本以拔。。。。
价格高,型号多,现在看好P222,价格1.4K左右
上了riad卡以后机箱内温度会有明显上升,据说raid卡70度以上是没跑的,随之而来的就是噪音
普通的sata硬盘貌似不建议上raid5。。。。
优点
raid10变raid5多了4T空间
可以以后扩展外置盘柜
相对优缺点。。。草已经基本拔了
坐等6.1OVF部署文件 4*4T能做raid10吗?GEN 8不是最大只支持12T的raid吗? eqboshi 发表于 2017-3-6 11:12
4*4T能做raid10吗?GEN 8不是最大只支持12T的raid吗?
raid10,最后出来的是7.28T。 本帖最后由 cleanall 于 2017-3-6 13:45 编辑
你gen8 用的是AHCI 还是RAID模式加油,你弄的不错
我的权限就只能给你加3个丝瓜,,,,
你把 AHCI RAID两种模式切换也写上去,,教程组合全一点
你的CPU 换了吗? 看看,谢楼主! cleanall 发表于 2017-3-6 13:48
我的权限就只能给你加3个丝瓜,,,,
你把 AHCI RAID两种模式切换也写上去,,教程组合全一点
CPU换了,不过忘了具体啥型号了{:7_185:}就没写。。。 cleanall 发表于 2017-3-6 13:48
我的权限就只能给你加3个丝瓜,,,,
你把 AHCI RAID两种模式切换也写上去,,教程组合全一点
后续会加上去,整体的还没写完,现写现更新,怕统一更新万一有点啥闪失怕全丢了。 看看,谢楼主! {:7_182:}来看看,哈哈 过来学习学习 这个不错哦!!! 这个不错哦!!! 感谢您的分享 加油,更新的很快啊 感谢分享!!正需要这个教程呢!! 三月鸟 发表于 2017-3-6 14:25
后续会加上去,整体的还没写完,现写现更新,怕统一更新万一有点啥闪失怕全丢了。 ...
我也是esxi,目前就一个SSD128G+4T一个,所以也在考虑是否把4T 整个RDM给黑裙。你觉得呢!其实ESXI后也就一个软路由,一个ubuntu一个黑裙,一个windows 回复看看!!!!!!!!!!!!