黑群晖RR引导DT机型，硬盘排序方法~
新装了一台视频素材存储服务器，9盘位机箱+云星CS612主板+E5 2683 V4+128G Recc内存+X550万兆网卡的主机，主板自带10个sata接口，板载两个m.2接口一块盘做系统，一块盘做虚拟机映像备份。pcie扩展出2块U.2 2T intel P4510固态做ZFS Raid1，用来放虚拟机的虚拟盘和NAS（黑群晖）的高速盘用。之前家里用RR引导创建非DT机型（比如DS3622xs+）是不存在编译时不插满盘，就不认盘的情况的。
这次用新机型SA6400试试，想着后期可能有直通个虚拟显卡转码的需求。但发现DT设备树还是比较麻烦的。除非编译的时候插满盘，不然每次插新盘就得重新编译一次， 可我手头没有那么多盘，而且技术洁癖的我是不想以后每次都编译它玩。
这几年就一直经常看到自己修改dt盘符顺序的帖子，因为不需要也没仔细看过，这次搜索发现方法基本都一样（比如https://mi-d.cn/8607），看似简单 但并不好用，可以说并不起作用。
去RR官网发现资料也并不详细
https://rrorg.cn/archives/DTSfile#post-comment
只能自己尝试了，通过插入多块硬盘 多次启动 ，摸索自动生成的dts配置文件终于搞定~
我是PVE系统虚拟机安装的黑群辉，实体机操作方法雷同。以下操作的前提是 已经安装好了 DSM 系统。
1、在每个sata硬盘控制器上插1个磁盘
（如果只直通了一个控制器，那就随便插一个盘就行），虚拟机创建sata盘和scsi盘各创建至少一个（如果没这个需求或实体机可以忽略）。
2、重启系统，引导RR时选择 Configure loader
3、重新编译RR引导，然后 退出重启RR
4、SSH登录群辉，输入以下代码（这是下载安装dtc转换程序的代码，只需要执行一次）：
sudo -i
curl -kL https://github.com/RROrg/rr/files/14824625/dtc_x86_64.gz -o ~/dtc_x86_64.gz
gzip -dc ~/dtc_x86_64.gz > ~/dtc
chmod +x ~/dtc
生成本机的dts配置文件
~/dtc -I dtb -O dts /etc/model.dtb > ~/model.dts
得到文件 /用户/model.dts（用哪个用户执行这个文件就在哪个文件夹，我是root执行的，文件就在root文件夹） 把文件下载到你的电脑里，编辑文件。
内容类似这样，我直通了2个sata控制器（每个控制器插了一块盘）和创建了3个sata、2个scsi虚拟盘（怕和实体控制器的盘混淆，所以多创建了几块盘）
/dts-v1/;
/ {
compatible = "Synology";
model = "synology_epyc7002_sa6400";
version = <0x01>;
internal_slot@1 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1c.0,00.0";
ata_port = <0x02>;
};
};
internal_slot@2 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x03>;
};
};
internal_slot@3 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x00>;
};
};
internal_slot@4 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x01>;
};
};
internal_slot@5 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x02>;
};
};
usb_slot@1 {
usb2 {
usb_port = "1-1";
};
usb3 {
usb_port = "1-1";
};
};
usb_slot@2 {
usb2 {
usb_port = "1-2";
};
usb3 {
usb_port = "1-2";
};
};
......下面可能还有很多usb接口的设备数信息
5. 编辑 DTS 文件
可以从自动生成的配置文件看出规律，
同时可以在ssh窗口使用下面的命令查看所有硬盘信息
cat /sys/block/sata*/device/syno_block_info
其中的 pcie_root = "0000:00:1c.0,00.0"; pcie_root = "0000:00:1c.2,00.0"; 这两个pcie地址下各有一块盘，端口分别是 ata_port = <0x02>; ata_port = <0x03>; 正好也是对应的主板上的两个sata端口（3和4，从0排序的），所以这两个就是主板的sata控制器。
pcie_root = "0000:00:1e.0,01.0,07.0";有ata_port = <0x00>; ata_port = <0x01>; ata_port = <0x02>; 3个盘， 对应的是虚拟机创建的3个sata协议虚拟盘。
scsi盘没有识别出来，文章 后面会再去折腾scsi.....
知道了这些信息和DTS配置文件格式，就可以自己编写直接沾满所有盘位了。 下面是我改好的配置文件， sata控制器1 占1~6盘位，sata控制器2 占7~9盘位（它有4个端口，不过我机箱是9盘位的只这个控制器的3个口就够了）， 虚拟盘占10~15盘位。
编辑好的文件内容如下：
/dts-v1/;
/ {
compatible = "Synology";
model = "synology_epyc7002_sa6400";
version = <0x01>;
internal_slot@1 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x00>;
};
};
internal_slot@2 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x01>;
};
};
internal_slot@3 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x02>;
};
};
internal_slot@4 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x03>;
};
};
internal_slot@5 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x04>;
};
};
internal_slot@6 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x05>;
};
};
internal_slot@7 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1c.0,00.0";
ata_port = <0x00>;
};
};
internal_slot@8 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1c.0,00.0";
ata_port = <0x01>;
};
};
internal_slot@9 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1c.0,00.0";
ata_port = <0x02>;
};
};
internal_slot@10 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x00>;
};
};
internal_slot@11 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x01>;
};
};
internal_slot@12 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x02>;
};
};
internal_slot@13 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x03>;
};
};
internal_slot@14 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x04>;
};
};
internal_slot@15 {
protocol_type = "sata";
ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x05>;
};
};
usb_slot@1 {
usb2 {
usb_port = "4-1";
};
usb3 {
usb_port = "4-1";
};
};
usb_slot@2 {
usb2 {
usb_port = "4-2";
};
usb3 {
usb_port = "4-2";
};
};
};
上面配置文件顺便把usb也清理一下。 dts配置文件内有很多的usb设备， 其实我只直通了2个机箱前置usb3.0端口， 所以 把其他的也都删掉了 并改一下顺序。
把俩usb口都插上u盘
lsusb可以看到两个u盘占用端口为 4-1 和 4-2
|__usb4 1d6b:0003:0510 09 3.00 5000MBit/s 0mA 1IF (Linux 5.10.55+ xhci-hcd xHCI Host Controller 0000:07:1b.0) hub
|__4-2 174c:55aa:0100 00 3.00 5000MBit/s 0mA 1IF (Cokes USB SSD 20201231001106)
|__4-1 090c:2000:1100 00 3.10 5000MBit/s 504mA 1IF (EVTRAN EVTRAN EVTRAN001445)
5、上传DTS文件，重新编译RR引导
在浏览器访问（网址看自己的RR显示，浏览器访问是为了上传dts配置文件）
选择高级设置
选自定义 DTS
这里选择上传自己电脑编辑好的.dts文件
上传完毕后，第一行的自定义dts：为yes， 注意dts文件有问题，选删除后重新编译即可恢复。
上传完dst文件后，在主界面选择“编译引导”，然后重启引导，进入群辉就应该可以正确识别盘符了。
=============================================
上面看似已经结束，实则 遇到第二个坑.... 进入群辉后发现， 应该显示15个盘，怎么只显示12个？ 丢了3个去哪了？
想了想，好像明白了，群辉可能没有15个盘位的机型，所以没法在这里显示出来。
搜索后发现确实有个自动显示硬盘UI的插件 ttps://mi-d.cn/8244
可以通过ssh命令行切换
#帮助
/usr/bin/storagepanel.sh -h
#切换为 单行24盘位显示
/usr/bin/storagepanel.sh RACK_24_Bay
UI示例
但这样操作好像重启后又变回来，可以通过在RR引导添加这个插件的时候带上参数解决，然后冲编译RR即可。
选择configure loader
选插件
先删掉 磁盘UI显示插件
添加插件
再把它加回来
这里要输入参数，锁定UI
重新编译引导
一番操作重启后，终于看到了24盘位UI面板。
不过 SCSI盘的问题还没解决，继续.....
=================================================
下面是SCSI盘的坑.....
首先，虚拟机SCSI控制器必须选择VirtIO SCSI single，如果选的是VirtIO SCSI那所有SCSI盘的pcie地址都是相同的，将导致群辉的磁盘管理器里的scsi盘都是一个序号，无法正常使用。 我一开始就卡在这里很久.....
注意虚拟机SCSI控制器必须选择VirtIO SCSI single
然后还得进入RR引导设置页面，去设置模块
这个选择已识别的模块 又是一个坑，即使把scsi虚拟盘设置好了，但他识出的驱动缺了一个
选择第一个“显示/选择模块”，然后除了要选择这几个virtio驱动外，自己再往上找，找到
模块“blk_mq_virtio” 在前面选上*
下面是没加载blk_mq_virtio模块时的报错
dmesg | grep -i virtio
[ 5.565665] virtio_scsi: Unknown symbol blk_mq_virtio_map_queues (err -2)
modinfo virtio_scsi
modinfo: ERROR: Module virtio_scsi not found.
都选上后，重新再 编译引导， 重启后 群辉就能正确识别scsi盘了。
===================================
不过 事情还没完，因为scsi的dts文件还没写呢，重启后如果之前已经用了手动上传的dts文件，那群辉web面板是不会显示新识别的scsi盘的，除非删掉手动上传的dts文件，重新编译才行。
但可以ssh登录群辉，在命令行输入命令 显示所有磁盘信息
cat /sys/block/sata*/device/syno_block_info
这时候应该可以找到，类似这样的内容，achi的是普通sata接口， virtio的就是scsi盘，
.........
pciepath=0000:00:1e.0,01.0,07.0
ata_port_no=5
driver=ahci
pciepath=0000:00:1e.0,04.0,02.0
driver=virtio
pciepath=0000:00:1e.0,04.0,05.0
driver=virtio
（这里再说一下如果虚拟机磁盘控制器选择virtio scsi的坑，sata接口是一个控制器最多6个盘，每个盘都有不同端口号ata_port_no，而scsi接口没有ata_port_no端口，只有pcie地址，但如果控制器选择了virtio scsi，那不管你添加了多少个scsi盘，它们的pcie地址都是一样的，所以群辉正常识别使用它们，只有将控制器改为virtio scsi single 后pcie地址才会变的不同）
记下对应的pcie地址，发现地址就是0000:00:1e.0,04.0,0*.0 星号那不同，添加的scsi盘虚化是几这里就是几。 知道了规律就可以继续编写dts文件了。 接上面的配置文件，继续填上 16~24盘位信息。
internal_slot@16 {
protocol_type = "sata";
virtio {
pcie_root = "0000:00:1e.0,04.0,01.0";
};
};
internal_slot@17 {
protocol_type = "sata";
virtio {
pcie_root = "0000:00:1e.0,04.0,02.0";
};
};
internal_slot@18 {
protocol_type = "sata";
virtio {
pcie_root = "0000:00:1e.0,04.0,03.0";
};
};
internal_slot@19 {
protocol_type = "sata";
virtio {
pcie_root = "0000:00:1e.0,04.0,04.0";
};
};
internal_slot@20 {
protocol_type = "sata";
virtio {
pcie_root = "0000:00:1e.0,04.0,05.0";
};
};
internal_slot@21 {
protocol_type = "sata";
virtio {
pcie_root = "0000:00:1e.0,04.0,06.0";
};
};
internal_slot@22 {
protocol_type = "sata";
virtio {
pcie_root = "0000:00:1e.0,04.0,07.0";
};
};
internal_slot@23 {
protocol_type = "sata";
virtio {
pcie_root = "0000:00:1e.0,04.0,08.0";
};
};
internal_slot@24 {
protocol_type = "sata";
virtio {
pcie_root = "0000:00:1e.0,04.0,09.0";
};
};
很长，图片很多。懒得再排版了， 有需要的朋友可以在这里看https://www.toutiao.com/article/7398404114389926400/
如果不允许放外链，版主可以帮忙把图片弄不过来重新排版一下 ^_^
谢谢楼主分享好经验 大神啊这是，这都研究明白了 谢谢楼主分享好经验 厉害！比较复杂的科普，学习收藏 看到这么详细的帖子，解决了我对DT机型的焦虑。
不碰dt了😂
页:
[1]