题 为什么企业存储如此昂贵?


这是一个 典型问题 关于企业存储成本。
  另见以下问题:

关于一般问题,如:

  • 为什么每增加一亿GB的存储空间,我每月需要支付50美元?
  • 我们的文件服务器总是空间不足,为什么我们的系统管理员不会在那里再增加1TB驱动器?
  • 为什么SAN设备如此昂贵?

这里的答案将尝试更好地理解企业级存储的工作原理以及影响价格的因素。如果您可以扩展问题或提供有关答案的见解,请发布。


106




请关闭任何“为什么存储如此昂贵”的问题并将其指向此处。 - Mark Henderson♦
对于找到廉价提供商的每个人来说,这并不是一个广告论坛,而是关于概述企业级存储中的“隐藏”成本。 - Mark Henderson♦
强制性的BOFH参考(“我需要更多空间!”): bofh.ntk.net/BOFH/0000/bastard01.php - Massimo
吉姆·索尔特(Jim Salter)发布了这篇文章的细分,提供了博客文章 压低存储计算器。底线:你需要提供 最终用户可见存储量的10到25倍之间 期望,取决于假设和要求。 - α CVn


答案:


  1. 与桌面硬盘容量相比,服务器硬盘容量微乎其微。在全新的服务器中,450和600GB的尺寸并不罕见,您可以购买许多4TB SATA台式机硬盘,价格仅为  600GB SAS(服务器)硬盘。

  2. 家用台式电脑中的SATA硬盘驱动器就像是来自福特,通用汽车或梅赛德斯或任何其他日常用车制造商(大容量V8或V12,5或6升)的肌肉车。因为他们需要由没有赛车许可证的人驾驶,或了解内部精炼引擎的工作原理,所以他们有很大的公差。它们具有转速限制器,它们的设计可以使用任何等级的油,它们的维修间隔相距10,000公里,但如果您错过了几周的维修间隔,它将不会在您的脸上爆炸。长途跋涉时,它们不会着火。

    服务器中的SAS驱动器更类似于F1引擎。它们非常小(2.4升)但由于其微小的公差而具有巨大的功率输出。它们转得更高,并且通常没有转速限制器(这意味着如果驱动不正确会遭受严重损坏),如果你错过了服务间隔(每隔几个) 小时他们爆炸了。

    你基本上比较粉笔和奶酪。英特尔白皮书中讨论了数字和完整细分 企业级与桌面级硬盘

  3. 我们在这里谈一些硬数字。假设您要求1MB的额外数据(一个很好的整数)。这是多少数据 ?那么,你的1MB数据将进入RAID阵列。让我们说他们是安全的,并将其变成RAID1。您的1MB数据是镜像的,因此它实际上是2MB的数据。

    假设您的数据位于SAN内部。如果SAN节点发生故障,您的数据将以字节级同步到第二个SAN节点。所以它是重复的,你的2MB数据现在是4MB。

    您希望您的提供商保持现场备份,以便在非灾难紧急情况下恢复您的数据?任何体面的提供商都会为您提供至少1个现场备份,或许更多。假设他们每周拍摄一次快照,为期三周。这是一个额外的3MB数据,所以你现在高达7MB。

    如果发生严重灾难,您的提供商最好将副本保存在某处。即使它已经有一个月了,也应该存在。所以现在你的容量高达8MB。

    如果它是一个非常高级别的提供商,他们甚至可能拥有一个实时同步的灾难恢复站点。这些磁盘也将被RAID化,因此额外增加2MB,因此您可以获得高达10MB的数据。

    你最终将不得不转移这些数据。什么?转移吗?是的,数据传输需要花钱。下载它,通过互联网访问它需要花钱,它甚至需要花钱来支持它(有人必须把这些磁带带出办公室,可能你的1MB数据意味着他们必须购买额外的一组磁带并将它们转移到某处)。

  4. 当您的SATA主驱动器发生故障时,您可以致电技术支持并说服他们您的驱动器已经死亡。然后将您的驱动器发送给制造商(大多数情况下)。等一个星期。获得替换驱动器并且必须重新安装它(它几乎肯定不是热插拔或已经在驱动器雪橇中)。

    当SAS驱动器发生故障时,请致电技术支持。他们几乎从不质疑你的意见,即驱动器需要立即更换并放下新的驱动器;通常新的驱动器在同一天晚些时候交付,否则第二天也很常见。通常情况下,制造商会派出一名代表来实际安装驱动器,如果你不知道如何(如果你打算度过一个假期非常方便,并且需要在你离开时继续工作)。

  5. 企业驱动器具有严格的容差,见上面的#2,并且比消费级驱动器(MTBF)的持续时间长约10倍。企业驱动器几乎总是支持高级错误和故障检测,谷歌报告发现它大约有40%的时间可以工作,但这是任何人都希望计算机突然死亡的东西。

    当您的家用计算机中只有一个驱动器时,其统计失败的概率就是驱动器的统计失败。过去,驱动器的额定值为MTBF(SAS驱动器的额定值仍然高出约50%或更高),现在看错误率更为常见。典型的SAS驱动器出现不可恢复的错误的可能性要低10到1,000倍(最近我发现的最常见的是100倍)。 (根据Seagate,Western Digital和Hitachi提供的制造商文档的错误率;没有偏见;明确拒绝赔偿)。

    当您在驱动器上遇到不可恢复的错误时,错误率尤其重要,但是当同一阵列中的另一个驱动器发生故障并且您不依赖于阵列中的所有驱动器以便可恢复以恢复故障磁盘时。

  6. SAS是SCSI的衍生产品,是一种存储协议。 SATA基于ATA,它本身基于ISA总线(恐龙时代的计算机中的8/16位总线)。 SCSI存储协议具有更广泛的命令,用于优化数据从驱动器传输到控制器并返回的方式。与SATA驱动器相比,这种效率的提升将使其他方面相同的SAS驱动器本身更快,特别是在极端工作负载下;它也增加了成本。

  7. 生产的SAS驱动器越来越少,规模经济决定了在其他条件相同的情况下,它们将更加昂贵。

  8. SAS驱动器的转速通常为10k或15k; SATA通常为5.4k或7.2k。 SAS驱动器,特别是2.5英寸尺寸越来越受欢迎,寻道时间更快。两者相结合,大大提高了驱动器可以执行的IOps,通常SAS驱动器的速度提高了约3倍。当多个用户要求不同的数据时,IOps驱动器/阵列的容量成为关键的性能指标。

  9. 数据中心中的驱动器通常始终处于通电状态。研究发现,驱动器故障受其经历的加热/冷却循环次数的影响(从运行到关闭)。保持它们一直运行通常会增加驱动器的寿命。其结果是驱动器消耗电力。这种电力必须由某种东西提供(在大型直流电的情况下,单独的驱动器可能比一小块房屋需要更多的电力)。他们还需要在某处消散热量,需要冷却系统(它们本身需要更多的电力才能运行)。

  10. 基础设施和人员配备费用。这些驱动器是高端NAS或SAN设备。即使没有昂贵的驱动器,这些单元也很昂贵。他们需要昂贵的员工来部署和维护它们。那些NAS和SAN设备所在的建筑物运行起来很昂贵(请参阅上面关于制冷的要点,但是还有很多其他设备。)备份软件通常不是免费的(镜像等许可证也不是免费的) ,部署和维护备份的人员通常也很昂贵。租用异地磁带交付和存储的成本只是当您需要更多存储时开始堆积的许多事情中的一个。

请记住,它们的驱动器容量可能是台式机驱动器大小的十分之一,而价格的五倍,你的1MB数据实际上是10,而所有其他差异,你无法绘制任何有意义的桌面存储的价格与企业级存储的价格之间的结论。


115



目前,2-4TB SAS / SATA 7.2K驱动器用于大容量存储,因此其中一些不再普遍适用。 - Mircea Chirea
@MirceaChirea企业存储中使用的2-4TB驱动器是NL或ML SAS,与2-4TB SATA磁盘不同。两个平台之间的每GB价格仍然非常不同。 - MDMarra
@MDMarra,大多数与他们的桌面型号差别不大:除了SAS之外,它们还有更好的保修和可靠性。 - Mircea Chirea
它们的规格是24x7全天候使用 最 SATA驱动器不是。他们也优雅地失败,不会 挂起整个RAID阵列。只有支持TLER的SATA磁盘才会正常失败并避免这种情况。也没有双端口SATA磁盘,而双端口SAS很常见,可以实现控制器的透明故障转移。同样,如果您的预算很少,那么SATA可能是您唯一的选择,但企业在NL-SAS和SATA之间存在相当大的差异。 - MDMarra
Backblaze 在他们的博客上说 与消费者驱动器相比,企业驱动器不会失败 - Bert


我不是把它添加到最高CW答案主要是因为它是意见分歧。如果您愿意,请随意合并/编辑。

通常,“企业级”存储如此昂贵的原因可能是提问者不理解要求,但有时系统管理员也不理解要求,无法将需求传达给有购买权的人,或者只是得到被上述权威所忽视。

高性能,高可用性,低维护的现成存储阵列 昂贵。系统设计人员的部分工作是了解这些设备的适用位置,以及不同设计的适用位置。

我不认为不同类型的磁盘驱动器的相对成本实际上与任何一个示例问题相关。

为什么我一个月要付50美元   每额外几千兆的存储空间?

这显然是针对某种服务提供商的。我想到的两个可能的答案是:

  1. 在曼哈顿/伦敦/香港,您有5个9的正常运行时间,全天候支持。旋转盘片只是你付出的筹码的一小部分。

  2. 你支付的太多了。协商,转换提供商或将其带入内部。

我们的文件服务器总是空间不足,为什么我们的系统管理员不会在那里再增加1TB驱动器?

这几乎肯定是一个糟糕的设计(可能出于政治原因)。该文件服务器上的数据属于此范围内的某个位置:

  • 数据值得存储在高性能,高可用性,高成本的设置中。空间不足导致的停机时间会影响您的高可用性,并且是设计或计划失败。

  • 数据不重要或性能缓慢或停机时间较长是可以接受的。便宜的磁盘和廉价的备份解决方案是可以由于缺少磁盘空间而导致的常规停机时间似乎仍然是一个奇怪的权衡,因为在这种情况下,您的大部分成本可能是您的系统管理员时间,从长远来看,他们将花费更多时间来排除低磁盘故障空间。

请注意,我说这是一个频谱,大多数要求介于两者之间。


31



值得指出的是,从用户的观点来看,“空间不足”很可能是从系统管理员的角度“填补你的配额”。 - Richard Gadsden


生产任何物品的成本与它将在反馈回路中出售的单位数量直接相关。

对于传统硬盘,旋转生锈的玻璃和电子产品,机械和电子元件的成本可能存在巨大差异 - 但是出现了2个明显的价格/质量范围 - 企业和商品。

然而,企业驱动器的销量下降会对您获得的收益造成沉重的负担 - 这个成本要高7倍,而不是7倍。

企业单位(对于给定的容量)略快于商品单位,例如比较Seagate Barracuda SATA(商品)和Cheetah SAS(企业)驱动器:

model            Barracuda            Cheetah
capacity(Gb)     500                  450
sustained data   125                  168
   rate (Mb/s)
cache(Mb)        16                   64
annual failure   <1%                  0.44%
   rate
Price GBP        42                   275
Price USD        67                   440

但在企业环境中,没有理智的系统管理员会将重要数据存储在单个驱动器上 - 使用多个驱动器可提供更高的可靠性和带宽,并有效减少延迟;配置为RAID10的四个Barracuda驱动器将比单个Cheetah驱动器快得多,数据丢失风险大约低于60%。

当然,您可以通过Enterprise驱动器获得更好的保修,供应商通常可以在同一天获得一个 - 但您可能能够比本地供应商更快地从您的供应商那里获得商品驱动器快递出更换盘。另一方面,企业磁盘更可能是故障驱动器的准确替代品。

那么也许您从企业驱动器获得更多可靠性?虽然制造和销售驱动器的人经常说这是事实(希捷在他们的网站上对此非常腼腆 - 但即使是他们发布的混淆数字也显示它不到2倍)。独立研究表明存在 没有显着差异

与ATA命令集相比,SCSI命令集确实具有一些技术优势 - 特别是在允许操作系统确切知道提交给磁盘的内容方面 - 然而,这只会在查看文件系统的性能和可靠性方面产生有效的差异。在单个磁盘上实现。

如果您的服务提供商运营光纤通道SAN,那么每千兆字节存储的成本将比在最近的硬件商店购买现成的磁盘至少高8倍。但是这里有 其他方法 这可以显着降低成本。

请注意,这仍然不会比购买现成的磁盘便宜,因为您还要支付冗余,电力,空调和支持,但这些成本应该与存储设备的成本相比较小。


6





我同意其他关于托管公司提供的质量的帖子。但我们最近重新签订了我们的托管合同并进行了购物,没有人在存储空间方面具有竞争力,价格也不低于我们之前3年的合同。 SAS驱动器价格一直在下降,磁盘架/阵列/ SAN / FC /交换机一直在下降,价格一直在下降。但不是磁盘存储?

一位经验丰富的同事指出了这种策略。 CPU,内存,带宽定价令人眼花缭乱!在此注册!立即注册并忽略该磁盘空间问题!您不需要那么多磁盘空间。看看CPU和内存!

一旦你承诺他们的合同,他们真的得到了你,他们在磁盘空间上弥补了他们的收入。是的,它是RAID-5和高性能等,但备份成本更高,异地复制成本更高。

对于托管公司来说,这是一种商业模式。大多数企业都会按照他们的价格做类似的事情 - 在这里降低这个价格,但在那里增加一个以弥补其他地方的收入。他们也必须支付他们的租金和工资。

对于内部服务器,您有不同的问题。您不能只使用具有新3Tb硬盘的Fedex盒进入服务器机房。如果您计划进行扩展,则更容易,但服务器/机架/阵列可能已经达到了插槽,I / O,控制器卡,电源方面的容量。

就像在岩石下看,你会惊讶于你会发现什么。


5



磁盘的成本可能会下降,但劳动力正在上升。资本支出并非TCO的最大部分。 - Chris S


同样重要的是要注意“本地”存储可能比你想象的要花费更多。

作为将我们的一些“存档”数据迁移到云端的练习的一部分,我最近完成了一项定价工作,比较了我们最新SAN上可用的可用(例如格式化而非原始)磁盘空间的成本与存储成本在亚马逊云数据服务中。

考虑到SAN本身支付的价格,包括磁盘,假设SAN硬件的使用寿命为5年,以及  运行我们服务器机房的“间接费用”成本,150Gb本地存储的价格为每月31.88美元,而亚马逊的价格为28.41美元(假设每月流量上下20%)。

现在我不打算急于将所有存储迁移到云端,因为本地存储还有其他好处,但我认为这种定价练习很有用: 如果您认为云存储是昂贵的,那么您有多少  支付你当地的存储空间?


5





我对这个问题的看法是简单的IO ...一个文件,它位于单个商品硬盘上,没有raid,可能没有热插拔,通常由一个人访问,可能从不备份。这是一种廉价而简单的IO方法......

在我们的业务中,我使用了最昂贵的raid方法之一(raid 10),它需要至少4个驱动器;我们使用6 ...这为我们提供了高IO率和容错能力。

这种配置大大节省了我的a $$,这个结果意味着更高的性能和更少的最终用户停机时间......对于简单的IO,只有一个人会令人失望,并且很可能与停机时间相关的财务价值很小。

我们还有一个专用的iSCSI服务器,用于Xen虚拟化,也为raid 10配置...

需要使用和备份的IO越多,实施的成本就越高......如果您的企业需求会接受数据丢失,速度非常慢,并且没有冗余 - 那么可以在廉价!!!准备好被解雇......


4