学院 › 黑白群晖 › 跪着求两台nas异地双向同步数据的解决方案

ghosthx 发表于 2017-5-30 23:35:46

跪着求两台nas异地双向同步数据的解决方案

小弟初入群晖坑，请各位大神赐教

公司两台ds1515+，部署在杭州和厦门两个分公司两个分公司都是电信100M企业宽带（上下行对等）固定IP接入，测试过双向对传均可以跑满12MB/s的上下传带宽

存储的文件是公司的产品图片，数据约4TB，文件数量约40万个，初次同步考虑到时间问题，是把厦门的nas拿到杭州用hyper backup拿到杭州来操作的，第一次同步完成后，每周加入1000个左右的图片文件，需要进行双向同步



之前想用cloud station 套件实现，结果测试过程中发现问题，想请大神们帮我分析分析，我说下我的测试流程：



1.在杭州公司网络环境下用web链接厦门的nas，下载10G大文件，可持续跑满12MB/s带宽——》说明厦门up杭州down无问题
2.在厦门公司网络环境下用web链接杭州的nas，下载10G大文件，可持续跑满12MB/s带宽——》说明杭州up厦门down无问题
从测试1.2得出结论，两地的网络上下行对传均可达到理论速率，不会成为瓶颈

以下开始使用cloud station进行测试，测试文件为6个2G ios大文件编号分别为test1、test2、test3、test4、test5、test6，使用系统自带资源监控器来记录数据

3.杭州设为cloud station server，开启双向同步，在厦门测试盘中上传5个测试文件，发现速率非常不稳定，快的时候可以跑满带宽，但是忽上忽下，test4、test5从厦门上传至杭州共耗时10分钟，但是这两个同步完后速率就掉到了350KB／s持续了30分钟，然后速度突然飙起，test6同步完成，结果客户端显示同步完成，速度降到0，不再同步了。。。。。。。

4.暂停同步，两个测试盘清空，在杭州测试盘中上传5个测试文件，情况同测试3差不多，只是最终同步完了，耗时5小时。。。。。

不明白为什么两边都能跑满的网络环境，使用cloud station同步就一点都不好用了，不是速率根本跑不上去，就是忽上忽下起伏大
而且我发现貌似cloud station只能一个一个文件同步，貌似不是多线程的，每个文件传完了要卡很久才开始同步下一个，明明还有文件没同步完了，居然就显示同步完成了。

大批量小文件同步，如果用这个方式同步（几十万个，十几MB/个的图片文件），感觉完全是个不可能完成的任务啊

不知道论坛里的大神们有没有做远程镜像服务器的经验，能赐教下小弟，这cloud station还能不能用了，如果不能用通过什么途径来进行同步？前提是必须在群晖环境下，因为我没有其他的硬件可以使用。

hebrew 发表于 2017-5-30 23:53:35

ghosthx 发表于 2017-5-31 00:13:26

hebrew 发表于 2017-5-30 23:53
自带的RSYNC服务试试看？
想到一招



这样不是需要2台电脑24h开着么。。。。。

hebrew 发表于 2017-5-31 00:16:53

孤城的守夜人 发表于 2017-5-31 00:22:27

cloud station貌似是文件读取===加密---传输----解密----写入文件......
.........
对于CPU垃圾的.....GG吧

ghosthx 发表于 2017-5-31 00:23:35

孤城的守夜人 发表于 2017-5-31 00:22
cloud station貌似是文件读取===加密---传输----解密----写入文件......
.........
对于CPU垃圾的.....GG吧 ...

我链接的时候是没选ssl加密选项的，不知道你说的是不是这个哦

孤城的守夜人 发表于 2017-5-31 00:24:54

ghosthx 发表于 2017-5-31 00:23
我链接的时候是没选ssl加密选项的，不知道你说的是不是这个哦

那再告诉你....我本地对本地的群晖同步都已经让我崩溃了.......

崩溃到最后拔插硬盘的方式进行的

ghosthx 发表于 2017-5-31 00:27:34

孤城的守夜人 发表于 2017-5-31 00:24
那再告诉你....我本地对本地的群晖同步都已经让我崩溃了.......

崩溃到最后拔插硬盘的方式进行的 ...
你是用cloud station么？本地的应该还是好实现的呀

孤城的守夜人 发表于 2017-5-31 00:29:15

ghosthx 发表于 2017-5-31 00:27
你是用cloud station么？本地的应该还是好实现的呀

控制面板,共享文件夹同步

孤城的守夜人 发表于 2017-5-31 00:31:10

就是首先开启文件服务的rsync....
然后两个群晖就是开始极度智障的CPU彪红.......

ghosthx 发表于 2017-5-31 14:27:23

孤城的守夜人 发表于 2017-5-31 00:31
就是首先开启文件服务的rsync....
然后两个群晖就是开始极度智障的CPU彪红....... ...

rsync已经开起来了，但是控制面板=》共享文件夹    下面没有看到同步这个操作呀，能指导下么

ghosthx 发表于 2017-5-31 14:42:27

孤城的守夜人 发表于 2017-5-31 00:31
就是首先开启文件服务的rsync....
然后两个群晖就是开始极度智障的CPU彪红....... ...

找到了。。。。但是貌似只能单向同步，不能双向同步啊

cj8510 发表于 2017-5-31 15:55:33

感觉如果不担心安全问题的话，可以添加百度云同步，可以的。
将NAS上的指定目录同步到百度云，然后在局域网将这个文件夹共享，通过网络管理这个文件夹，会自动同步的，前提是要充百度云会员。

孤城的守夜人 发表于 2017-5-31 18:59:51

cj8510 发表于 2017-5-31 15:55
感觉如果不担心安全问题的话，可以添加百度云同步，可以的。
将NAS上的指定目录同步到百度云，然后在局域网 ...

百度会员表示.......群晖的百度云同步速度泪奔

cj8510 发表于 2017-6-3 13:14:01

孤城的守夜人 发表于 2017-5-31 18:59
百度会员表示.......群晖的百度云同步速度泪奔

我不是会员，速度是不快，现在也用这个同步资料，暂时没有好办法，只有这个稍微智能点。

孤城的守夜人 发表于 2017-6-3 21:56:02

cj8510 发表于 2017-6-3 13:14
我不是会员，速度是不快，现在也用这个同步资料，暂时没有好办法，只有这个稍微智能点。 ...

我是会员.....速度也不快啊......{:8_228:}

ghosthx 发表于 2017-6-6 16:09:12

cj8510 发表于 2017-6-3 13:14
我不是会员，速度是不快，现在也用这个同步资料，暂时没有好办法，只有这个稍微智能点。 ...

你传到百度云，再从百度云下到另一台nas？

huxim 发表于 2017-6-6 16:39:18

本帖最后由 huxim 于 2017-6-6 16:50 编辑

安装快照与复制那个套件,那个才是专门用于主服与分支服务器的
https://www.synology.com/zh-cn/dsm/6.1/data_backup
当然用复制的问题是单向的, 因为是主服向分支服务器扩散

huxim 发表于 2017-6-6 16:40:26

另外这篇文章你好好看一下
http://post.smzdm.com/p/545304/

kernel 发表于 2017-6-6 19:47:14

huxim 发表于 2017-6-6 16:40
另外这篇文章你好好看一下
http://post.smzdm.com/p/545304/

这个说的详细。好东西。

查看完整版本: 跪着求两台nas异地双向同步数据的解决方案