[玩法/技巧] 黑群晖RR引导DT机型，硬盘排序方法~

3935 9

发表于 2024-8-2 14:47:39 | 查看全部阅读模式

新装了一台视频素材存储服务器，9盘位机箱+云星CS612主板+E5 2683 V4+128G Recc内存+X550万兆网卡的主机，主板自带10个sata接口，板载两个m.2接口一块盘做系统，一块盘做虚拟机映像备份。pcie扩展出2块U.2 2T intel P4510固态做ZFS Raid1，用来放虚拟机的虚拟盘和NAS（黑群晖）的高速盘用。

之前家里用RR引导创建非DT机型（比如DS3622xs+）是不存在编译时不插满盘，就不认盘的情况的。

这次用新机型SA6400试试，想着后期可能有直通个虚拟显卡转码的需求。但发现DT设备树还是比较麻烦的。除非编译的时候插满盘，不然每次插新盘就得重新编译一次，可我手头没有那么多盘，而且技术洁癖的我是不想以后每次都编译它玩。

这几年就一直经常看到自己修改dt盘符顺序的帖子，因为不需要也没仔细看过，这次搜索发现方法基本都一样（比如https://mi-d.cn/8607），看似简单但并不好用，可以说并不起作用。

去RR官网发现资料也并不详细
https://rrorg.cn/archives/DTSfile#post-comment

只能自己尝试了，通过插入多块硬盘多次启动，摸索自动生成的dts配置文件终于搞定~

我是PVE系统虚拟机安装的黑群辉，实体机操作方法雷同。以下操作的前提是已经安装好了 DSM 系统。

1、在每个sata硬盘控制器上插1个磁盘

（如果只直通了一个控制器，那就随便插一个盘就行），虚拟机创建sata盘和scsi盘各创建至少一个（如果没这个需求或实体机可以忽略）。

2、重启系统，引导RR时选择 Configure loader

3、重新编译RR引导，然后退出重启RR

4、SSH登录群辉，输入以下代码（这是下载安装dtc转换程序的代码，只需要执行一次）：

sudo -i
curl -kL https://github.com/RROrg/rr/files/14824625/dtc_x86_64.gz -o ~/dtc_x86_64.gz
gzip -dc ~/dtc_x86_64.gz > ~/dtc
chmod +x ~/dtc
生成本机的dts配置文件

~/dtc -I dtb -O dts /etc/model.dtb > ~/model.dts
得到文件 /用户/model.dts（用哪个用户执行这个文件就在哪个文件夹，我是root执行的，文件就在root文件夹）把文件下载到你的电脑里，编辑文件。

内容类似这样，我直通了2个sata控制器（每个控制器插了一块盘）和创建了3个sata、2个scsi虚拟盘（怕和实体控制器的盘混淆，所以多创建了几块盘）

/dts-v1/;

/ {
compatible = "Synology";
model = "synology_epyc7002_sa6400";
version = <0x01>;

internal_slot@1 {
      protocol_type = "sata";

      ahci {
         pcie_root = "0000:00:1c.0,00.0";
         ata_port = <0x02>;
      };
};

internal_slot@2 {
      protocol_type = "sata";

      ahci {
         pcie_root = "0000:00:1c.2,00.0";
         ata_port = <0x03>;
      };
};

internal_slot@3 {
      protocol_type = "sata";

      ahci {
         pcie_root = "0000:00:1e.0,01.0,07.0";
         ata_port = <0x00>;
      };
};

internal_slot@4 {
      protocol_type = "sata";

      ahci {
         pcie_root = "0000:00:1e.0,01.0,07.0";
         ata_port = <0x01>;
      };
};

internal_slot@5 {
      protocol_type = "sata";

      ahci {
         pcie_root = "0000:00:1e.0,01.0,07.0";
         ata_port = <0x02>;
      };
};

usb_slot@1 {

      usb2 {
         usb_port = "1-1";
      };

      usb3 {
         usb_port = "1-1";
      };
};

usb_slot@2 {

      usb2 {
         usb_port = "1-2";
      };

      usb3 {
         usb_port = "1-2";
      };
};
......下面可能还有很多usb接口的设备数信息
5. 编辑 DTS 文件

可以从自动生成的配置文件看出规律，

同时可以在ssh窗口使用下面的命令查看所有硬盘信息

cat /sys/block/sata*/device/syno_block_info
其中的 pcie_root = "0000:00:1c.0,00.0"; pcie_root = "0000:00:1c.2,00.0"; 这两个pcie地址下各有一块盘，端口分别是 ata_port = <0x02>; ata_port = <0x03>; 正好也是对应的主板上的两个sata端口（3和4，从0排序的），所以这两个就是主板的sata控制器。

pcie_root = "0000:00:1e.0,01.0,07.0";有ata_port = <0x00>; ata_port = <0x01>; ata_port = <0x02>; 3个盘，对应的是虚拟机创建的3个sata协议虚拟盘。

scsi盘没有识别出来，文章后面会再去折腾scsi.....

知道了这些信息和DTS配置文件格式，就可以自己编写直接沾满所有盘位了。下面是我改好的配置文件， sata控制器1 占1~6盘位，sata控制器2 占7~9盘位（它有4个端口，不过我机箱是9盘位的只这个控制器的3个口就够了），虚拟盘占10~15盘位。

编辑好的文件内容如下：

/dts-v1/;

/ {
compatible = "Synology";
model = "synology_epyc7002_sa6400";
version = <0x01>;

internal_slot@1 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x00>;
};
};

internal_slot@2 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x01>;
};
};

internal_slot@3 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x02>;
};
};

internal_slot@4 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x03>;
};
};

internal_slot@5 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x04>;
};
};

internal_slot@6 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1c.2,00.0";
ata_port = <0x05>;
};
};

internal_slot@7 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1c.0,00.0";
ata_port = <0x00>;
};
};

internal_slot@8 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1c.0,00.0";
ata_port = <0x01>;
};
};

internal_slot@9 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1c.0,00.0";
ata_port = <0x02>;
};
};

internal_slot@10 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x00>;
};
};

internal_slot@11 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x01>;
};
};

internal_slot@12 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x02>;
};
};

internal_slot@13 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x03>;
};
};

internal_slot@14 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x04>;
};
};

internal_slot@15 {
protocol_type = "sata";

ahci {
pcie_root = "0000:00:1e.0,01.0,07.0";
ata_port = <0x05>;
};
};

usb_slot@1 {

usb2 {
usb_port = "4-1";
};

usb3 {
usb_port = "4-1";
};
};

usb_slot@2 {

usb2 {
usb_port = "4-2";
};

usb3 {
usb_port = "4-2";
};
};

};
上面配置文件顺便把usb也清理一下。 dts配置文件内有很多的usb设备，其实我只直通了2个机箱前置usb3.0端口，所以把其他的也都删掉了并改一下顺序。

把俩usb口都插上u盘

lsusb可以看到两个u盘占用端口为 4-1 和 4-2

|__usb4 1d6b:0003:0510 09 3.00 5000MBit/s 0mA 1IF (Linux 5.10.55+ xhci-hcd xHCI Host Controller 0000:07:1b.0) hub
|__4-2 174c:55aa:0100 00 3.00 5000MBit/s 0mA 1IF (Cokes USB SSD 20201231001106)
|__4-1 090c:2000:1100 00 3.10 5000MBit/s 504mA 1IF (EVTRAN EVTRAN EVTRAN001445)

5、上传DTS文件，重新编译RR引导

在浏览器访问（网址看自己的RR显示，浏览器访问是为了上传dts配置文件）

选择高级设置

选自定义 DTS

这里选择上传自己电脑编辑好的.dts文件

上传完毕后，第一行的自定义dts：为yes，注意dts文件有问题，选删除后重新编译即可恢复。

上传完dst文件后，在主界面选择“编译引导”，然后重启引导，进入群辉就应该可以正确识别盘符了。

=============================================

上面看似已经结束，实则遇到第二个坑.... 进入群辉后发现，应该显示15个盘，怎么只显示12个？丢了3个去哪了？

想了想，好像明白了，群辉可能没有15个盘位的机型，所以没法在这里显示出来。

搜索后发现确实有个自动显示硬盘UI的插件 ttps://mi-d.cn/8244

可以通过ssh命令行切换

#帮助
/usr/bin/storagepanel.sh -h
#切换为单行24盘位显示
/usr/bin/storagepanel.sh RACK_24_Bay

UI示例

但这样操作好像重启后又变回来，可以通过在RR引导添加这个插件的时候带上参数解决，然后冲编译RR即可。

选择configure loader

选插件

先删掉磁盘UI显示插件

添加插件

再把它加回来

这里要输入参数，锁定UI

重新编译引导

一番操作重启后，终于看到了24盘位UI面板。

不过 SCSI盘的问题还没解决，继续.....

=================================================

下面是SCSI盘的坑.....

首先，虚拟机SCSI控制器必须选择VirtIO SCSI single，如果选的是VirtIO SCSI那所有SCSI盘的pcie地址都是相同的，将导致群辉的磁盘管理器里的scsi盘都是一个序号，无法正常使用。我一开始就卡在这里很久.....

注意虚拟机SCSI控制器必须选择VirtIO SCSI single

然后还得进入RR引导设置页面，去设置模块

这个选择已识别的模块又是一个坑，即使把scsi虚拟盘设置好了，但他识出的驱动缺了一个

选择第一个“显示/选择模块”，然后除了要选择这几个virtio驱动外，自己再往上找，找到

模块“blk_mq_virtio” 在前面选上*

下面是没加载blk_mq_virtio模块时的报错

dmesg | grep -i virtio
[ 5.565665] virtio_scsi: Unknown symbol blk_mq_virtio_map_queues (err -2)
modinfo virtio_scsi
modinfo: ERROR: Module virtio_scsi not found.
都选上后，重新再编译引导，重启后群辉就能正确识别scsi盘了。

===================================

不过事情还没完，因为scsi的dts文件还没写呢，重启后如果之前已经用了手动上传的dts文件，那群辉web面板是不会显示新识别的scsi盘的，除非删掉手动上传的dts文件，重新编译才行。

但可以ssh登录群辉，在命令行输入命令显示所有磁盘信息

cat /sys/block/sata*/device/syno_block_info
这时候应该可以找到，类似这样的内容，achi的是普通sata接口， virtio的就是scsi盘，

.........
pciepath=0000:00:1e.0,01.0,07.0
ata_port_no=5
driver=ahci
pciepath=0000:00:1e.0,04.0,02.0
driver=virtio
pciepath=0000:00:1e.0,04.0,05.0
driver=virtio
（这里再说一下如果虚拟机磁盘控制器选择virtio scsi的坑，sata接口是一个控制器最多6个盘，每个盘都有不同端口号ata_port_no，而scsi接口没有ata_port_no端口，只有pcie地址，但如果控制器选择了virtio scsi，那不管你添加了多少个scsi盘，它们的pcie地址都是一样的，所以群辉正常识别使用它们，只有将控制器改为virtio scsi single 后pcie地址才会变的不同）

记下对应的pcie地址，发现地址就是0000:00:1e.0,04.0,0*.0 星号那不同，添加的scsi盘虚化是几这里就是几。知道了规律就可以继续编写dts文件了。接上面的配置文件，继续填上 16~24盘位信息。

internal_slot@16 {
protocol_type = "sata";

virtio {
pcie_root = "0000:00:1e.0,04.0,01.0";
};
};

internal_slot@17 {
protocol_type = "sata";

virtio {
pcie_root = "0000:00:1e.0,04.0,02.0";
};
};

internal_slot@18 {
protocol_type = "sata";

virtio {
pcie_root = "0000:00:1e.0,04.0,03.0";
};
};

internal_slot@19 {
protocol_type = "sata";

virtio {
pcie_root = "0000:00:1e.0,04.0,04.0";
};
};

internal_slot@20 {
protocol_type = "sata";

virtio {
pcie_root = "0000:00:1e.0,04.0,05.0";
};
};

internal_slot@21 {
protocol_type = "sata";

virtio {
pcie_root = "0000:00:1e.0,04.0,06.0";
};
};

internal_slot@22 {
protocol_type = "sata";

virtio {
pcie_root = "0000:00:1e.0,04.0,07.0";
};
};

internal_slot@23 {
protocol_type = "sata";

virtio {
pcie_root = "0000:00:1e.0,04.0,08.0";
};
};

internal_slot@24 {
protocol_type = "sata";

virtio {
pcie_root = "0000:00:1e.0,04.0,09.0";
};
};

很长，图片很多。懒得再排版了，有需要的朋友可以在这里看  https://www.toutiao.com/article/7398404114389926400/

如果不允许放外链，版主可以帮忙把图片弄不过来重新排版一下 ^_^

使用道具举报