lijianjun3509 发表于 2020-1-27 22:25:52

黑群晖系列支持M2 nvme的折中方案(理论上PVE ESXI通用)

本帖最后由 lijianjun3509 于 2020-1-28 14:51 编辑

黑群晖系列支持M2 nvme的折中方案(理论上PVE ESXI通用)配置Cpu:i5 7400 es(HD630)内存:DDR4 8g显卡:RX550 2g 45w存储:n盘+M2(Inel600p)电源:250w
实现:利用PVE下虚拟黑群晖,虚拟SSD1.    pve下黑群晖安装,和918系列独立核显直通等不说明。已安装好黑群晖后。
2.    DS918 sata口超过4个,第5个及以上默认是无法显示在系统里的,即DSM只显示4个盘。修改引导.img中的GRUB
找到set sata_args='SataPortMap=4',这里简单点就改成set sata_args='SataPortMap=8',保存一下。3.    在PVE中添加虚拟硬盘

4.    开机后DSM识别出了硬盘,添加SSD缓存即可。
5.    EMBY Jellyfin等使用过程中发现,媒体载入很慢,用这个方法就能加快载入速度了。SSD模拟了个套件盘和SSD缓存盘,愉快的玩耍吧。PVE本身的内存损耗在800MB左右,核显共享了512MB内存作为显存。
这个方案实现了同等硬件下,NAS视频核显转码,独显输出作为HTPC或者Batocera复古游戏机

enrich 发表于 2020-1-28 08:45:20

这种方法在esxi中已经用很多种方法测试过,强烈不推荐!强烈不推荐!强烈不推荐!重要的事情说三遍!
主要问题:
1.用一个nvme存放多个虚拟ssd组raid做读写缓存,如果出现损坏,btrfs格式下的硬盘将无法恢复,用linux加载lvm都不行(别问我怎么知道的,8T数据啊……)
2.群晖缓存机制比较简单,倾向于将盘用满,这种虚拟ssd由于看不到smart,所以无法看到真实的写入量。我曾使用rdm模式将三星的970evo挂载作为缓存,256G的两根,在挂PT的情况下,几天时间就报错,删除缓存重新组又恢复了,由于看不到smart,也没有记下当初的使用量,所以就卸载了。
3.使用了intel的545S做缓存,256G*2组raid1,sata的在能看到smart信息的情况下,约4天硬盘寿命下降1%,写入放大估算约10倍。

目前,由于群晖本身对nvme的支持度、缓存机制,加上nvme的ssd普遍是TLC芯片的实际情况,强烈不建议使用nvme的ssd做群晖的缓存盘,尤其是组raid做读写缓存。只有企业级的那种mlc的ssd才能承受,最佳选择:intel s3710!
开只读缓存大家可以无视,随便用什么ssd,什么模式都行!开读写缓存一定要慎重,数据无价啊!
有条件的你可以试试btrfs格式的存储池加上读写缓存,模拟一下缓存丢失,你看看能不能恢复出数据(带完整目录结构的哦,不是那种数据恢复从底层直接捞文件的那种)

snkey 发表于 2020-1-28 14:48:46

支持一下,测试

jimmyjin 发表于 2020-1-28 18:26:07

不需要啊, 我在CHH和SMZDM都发了文章了, XPENOLOGY 上也有, 可以自己打补丁, 黑裙DS918+可以直接认Nvme SSD, 黑白群愿意的话,可以用Nvme SSD 做 存储空间

esac 发表于 2020-2-7 01:45:40

esxi怎么仿真SSD

lc8242 发表于 2020-2-10 12:11:04

enrich 发表于 2020-1-28 08:45
这种方法在esxi中已经用很多种方法测试过,强烈不推荐!强烈不推荐!强烈不推荐!重要的事情说三遍!
主要 ...

想了解下esxi上如果操作才能让dsm把虚拟磁盘认成ssd?我目前是esxi6.7u1+dsm6.2.2,尝试了各种方法,dsm里面始终是hdd

enrich 发表于 2020-2-10 13:57:24

lc8242 发表于 2020-2-10 12:11
想了解下esxi上如果操作才能让dsm把虚拟磁盘认成ssd?我目前是esxi6.7u1+dsm6.2.2,尝试了各种方法,dsm ...

6.7u2,只要虚拟磁盘文件是存放在ssd上的,系统就应该是自动设置成ssd了,然后连接到群晖也能自动认出。RDM方式也可以。
如果你需要把存放在hdd上的虚拟磁盘搞成ssd,建议搜索一下,有相关的教程

lc8242 发表于 2020-2-10 15:23:04

enrich 发表于 2020-2-10 13:57
6.7u2,只要虚拟磁盘文件是存放在ssd上的,系统就应该是自动设置成ssd了,然后连接到群晖也能自动认出。R ...

谢谢回复,我看了vmware的官方文档,从5.x起应该就支持这个根据物理磁盘性质自动设置的特性了,但是我同样的虚拟磁盘设置(厚置备置零)在windows下面看是ssd,在dsm下面却仍然是hdd,很诡异。

lijianjun3509 发表于 2020-2-17 10:07:00

jimmyjin 发表于 2020-1-28 18:26
不需要啊, 我在CHH和SMZDM都发了文章了, XPENOLOGY 上也有, 可以自己打补丁, 黑裙DS918+可以直接认Nvme ...

我设定是每天定时开关机群晖,缓存最多每天5g,次日清空了。所以想了这个方案

lijianjun3509 发表于 2020-2-17 10:15:42

至于smart信息,可以用直通控制器的方法,或者不直通,直接全盘分配,比如pve下,全盘给黑群晖后,无论群晖是否启动,也是可以查看smart的(发不了图,方法是pve数据中心-磁盘-显示smart)

watermoon 发表于 2020-2-17 10:21:33

我也没有固态硬盘,看看。

jimmyjin 发表于 2020-2-19 20:31:22

enrich 发表于 2020-1-28 08:45
这种方法在esxi中已经用很多种方法测试过,强烈不推荐!强烈不推荐!强烈不推荐!重要的事情说三遍!
主要 ...

读缓存, 不是说就对SSD没有写操作了, 你对机械盘的所有读操作, 被缓存的都被写进了SSD了。读写缓存当然用量更大些, 但我不觉得有数量级上差异。

jimmyjin 发表于 2020-2-19 20:38:25

方法我都在gebi1发表了, 没必要折中了。 VMware15 我也试过了
NvmeSSD 做物理黑DS918+缓存 DSM 原生支持, 可以Trim
http://www.gebi1.com/thread-295316-1-1.html
NvmeSSD 做黑白DS918+ 存储空间 注意这个不支持Trim
http://www.gebi1.com/thread-295317-1-1.html

enrich 发表于 2020-2-21 10:01:14

jimmyjin 发表于 2020-2-19 20:31
读缓存, 不是说就对SSD没有写操作了, 你对机械盘的所有读操作, 被缓存的都被写进了SSD了。读写缓存当 ...

我没说只读缓存不会有写操作,麻烦你看清楚些!
只读缓存随便开的原因是:缓存在任意时候损坏都不影响数据!
TLC的nvme硬盘不适合作为群晖的缓存盘,除非你能保证你的缓存数据永远也不会将缓存空间写满或接近写满。既然能看到smart信息,为什么不测试一下?TLC硬盘写满后的写入放大会直接提升一个到两个数量级,一年左右硬盘的PE数就可以用尽。
群晖的缓存机制不会主动释放空间,除非新的系统能解决这个问题,否则在任何时候,都不建议使用nvme的硬盘做缓存,MLC或者SLC的NVME硬盘除外(极为稀有)!

easy113 发表于 2020-3-31 04:31:04

enrich 发表于 2020-2-21 10:01
我没说只读缓存不会有写操作,麻烦你看清楚些!
只读缓存随便开的原因是:缓存在任意时候损坏都不影响数 ...

所以DSM默认两条ssd组r1就是为了避免写入丢数据吧

enrich 发表于 2020-4-1 10:58:53

easy113 发表于 2020-3-31 04:31
所以DSM默认两条ssd组r1就是为了避免写入丢数据吧

是的,写入如果丢失,相应的存储空间会损毁,有很大几率无法恢复文件,所以开写入缓存必须极端慎重,从硬件选择一直到安装都不能马虎。

easy113 发表于 2020-4-3 05:37:35

enrich 发表于 2020-4-1 10:58
是的,写入如果丢失,相应的存储空间会损毁,有很大几率无法恢复文件,所以开写入缓存必须极端慎重,从硬 ...

看chh上面有人说群晖nvme缓存有一定概率会坏ssd,不知道啥情况,丢数据都无所谓了反正也是缓存,硬件坏就很好玩了
页: [1]
查看完整版本: 黑群晖系列支持M2 nvme的折中方案(理论上PVE ESXI通用)