题 将10 TB的文件从美国转移到英国数据中心


我正在将我的服务器从美国迁移到英国,从一个数据中心迁移到另一个数据中心。我的主持人说我应该能够达到每秒11兆字节。

操作系统两端都是Windows Server 2008。

我的平均文件大小约为100 MB,数据分为五个2 TB驱动器。

传输这些文件的推荐方法是什么?

  • FTP
  • SMB
  • Rsync / Robocopy
  • 其他?

我对安全性并不太感兴趣,因为这些都是公共文件,但我只想要一个能够推动全部11 MB / s传输速率的解决方案,以最大限度地缩短总传输时间。


91
2017-10-03 20:03




11 MB / s或11 Mb / s? - wim
将数据传输到二进制打卡并使用载体鸽:) - enterzero
你应该提供细节。你认为它需要多少载体鸽?展示你的作品。 - Evik James
@Evik欧洲还是非洲? - wim
另外,Wolfram Alpha是最方便的计算方法,“10 TB,11MB / s”。 wolframalpha.com/input/?i=10+TB+at+11MB%2Fs - pufferfish


答案:


而是将硬盘运送到海洋上。

在完全利用率为11 Mbps的情况下,您只需要花费90天的时间来传输10 TB。


11 Mbps = 1.375 MBps = 116.015 GB /天

10240 GB / 116.015 GB /天= ~88.3天


171
2017-10-03 20:14



+1为 Sneakernet。此外,您忘记了TCP / IP开销。在理想的情况下,它更像是100天。 - Chris S
一位聪明人曾经说过:“永远不要低估一辆满载磁带的旅行车的带宽”。这个等式非常正确,并且通过改变船的旅行车而没有实质性改变。 (bpfh.net/sysadmin/never-underestimate-bandwidth.html) - Rob Moir
运送磁带或蓝光磁盘而不是驱动器更好。如果您使用驱动器,请确保原件保持安全且可用以防万一。我自己去找驱动器(除非我有Ultrium 4驱动器),因为10 TB = 410单层蓝光盘! - Allen
刚刚意识到我键入了11Mbps,但实际上我的意思是11MB / s。我想这会产生很大的不同,我的计算大概在11-14天左右......这是正确的吗? - Paul Hinett
仍然认为,当官方磁盘仍在工作时,派遣一名男子监督10TB备份,然后一旦设置完成,您可以在rsync上午餐以更新新服务器以进行任何更改。大约一天你就可以启动并运行你的机器了。 - Loïc Faure-Lacroix


我说rsync,以11 MB / s的速度你会看到10-14天,即使你被打断了,rsync也会很容易从上次停止的地方开始。

以11 Mbps的速度运送上面建议的硬盘:)


25
2017-10-03 22:00



您的估计与其他人发布的估计差别很大(我不知道谁是正确的)。你能提供你的方法来得出这些数字吗? - John Gardeniers
差异来自OP错误的11 Mbps,实际上他意味着11 MBps - 这是8倍的速度。顺便说一句,在中断的情况下重启10 TB的rsync可能需要一段时间,不是吗?几小时或更长时间? - Frank Farmer
@FrankFarmer:我不担心rsync重启;我在30Mbps无线线路上保留了~20TB的非现场副本,并且重启在秒范围内。最初的副本花了几个星期,但每晚更新通常需要几个小时。 - Javier
@FrankFarmer - rsync似乎扩展得很好。我在乡村ADSL1线路上使用sneakernet进行了大约2TB,但如果没有任何改变,每晚需要约5分钟来进行rsync。 - Flexo
rsync重启时间随文件数量而变化(主要来自 stat时间,根据我的经验),而不是总数据。我希望没有重要的等待(最多几分钟)。虽然我对rsync的体验在5TB以下略胜一筹。 - derobert


Rsync当然。

至少你可以在休息后的任何时间继续,而且没有任何痛苦。


14
2017-10-03 20:07



以100%的利用率复制3个月以上。抱歉,这是传输大量数据的可怕方法。 - Chris S
我必须同意@ChrisS,使用 rsync 只是复制大文件效率不高。对于我的东西,我最终使用 tar 过度 netcat 要么 ssh 对于初始转移。它更快,并立即开始转移,而 rsync 将首先扫描所有文件,这需要时间。如果这被打断你仍然可以使用 rsync 然后。事实上,我有时会这样做 tar 无论如何要确保所有权限,套接字文件等都是正确的。 - Martin Scharrer
在OP校正后,他有~100Mb连接,而不是11Mb,rsync更有意义。第一个提到它的+1。 - Chris S


永远不要低估装满磁带的旅行车的带宽

- 传统

在您的情况下,通过快递发送的磁盘或磁带,但原则仍然适用。如果您不关心延迟,那么在任何合理的时间内传输10TB数据将比网络带宽便宜得多。


11
2017-10-04 11:32



杰夫阿特伍德在他的一个旧编码恐怖帖子中运行了这些数字。 codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html - tardate


你应该使用rsync。它会 压缩 数据和 去重复 在发送之前。它还可以恢复部分转移,这对于任何大型转移都非常重要。

它可能不会转移10 TB;如果它是日志和文本,那么它可能低于1 TB;也许远低于1 TB。

有些工具可以比rsync更好地进行压缩,并且可能会找到更多匹配项。你可以用 lrzip

有些特定类型的数据不能很好地压缩,并且不包含文字欺骗 - 例如视频和其他媒体。在这些情况下,FTP和rsync正在做同样的努力。


9
2017-10-04 08:02



RSync重复数据删除?我认为它只在文件级别执行此操作,这意味着在这种情况下重复数据删除通常是无用的。 - devicenull


我知道这已经被接受,但您是否考虑将磁盘带到数据中心/提供商/主机,以获得更多带宽?它可能会花费你一些钱但是将10240Gb复制到备份磁盘并且发送也会花费时间和金钱(2 x钱)。

此外,您将确保您的磁盘不会在运输中断。


5
2017-10-04 07:13



这个答案与接受的答案有什么不同? - Chris S
@Chris这个答案建议将磁盘运送到同一大洲的较大管道。 - Alex Jasmin


11Mbps的?这是你在这里的一个限制。 在你的情况下,我会简单地说:

  • 克隆数据
  • 压缩它
  • 向两端租用服务器至少10倍的带宽(在相同的数据中心或在您附近的数据中心的末端)。
  • 传输文件
  • 将数据应用于新服务器。

如果你真的没有增加带宽的解决方案......那么运送物理驱动器会更快。

从我的痛苦经历来看,硬盘驱动器往往会破坏邮件... USB闪存驱动器是一种更好的解决方案,可以进行频繁的数据传输。在您的情况下,它将需要其中一些:)所以在多个硬盘驱动器上发送2份数据。

考虑到您拥有的数据量,如果您在另一侧使用相同的硬件/软件来插入驱动器,也可以从RAID 5或RAID 6阵列发送驱动器。但在这种情况下,请记住标记驱动器的顺序和他们的序列号,所以在重新配置时,他们不会混淆。


4
2017-10-04 00:15



对不起,11Mbps是一个错误的类型,它是11MB / s ...我在上述评论之一中提到过。 - Paul Hinett