Dropbox：SMR技术驱动成本与性能双赢

全文概览

随着全球数据量以指数级增长，云存储巨头Dropbox正通过其核心存储系统“Magic Pocket”持续突破存储规模的边界。本文聚焦于Dropbox如何利用SMR硬盘技术、硬件架构演进及软件优化来实现EB级存储系统的成本控制与性能提升。从初代系统的B，到如今单平台B的第七代架构，Dropbox通过SMR技术将存储密度提升了，并意外实现了写入吞吐量翻倍。此外，Dropbox还通过移除SSD缓存等创新设计显著降低了成本，进一步增强了其在市场上的竞争力。

本文将揭秘其技术路径中的关键决策：如何处理SMR硬盘的写入性能限制？通过硬件堆叠优化降低能耗成为可能吗？未来存储技术如HAMR又会如何重塑存储密度天花板？这些实践不仅为云存储行业提供宝贵经验，还揭示了存储介质与系统架构协同演进的底层逻辑。

掌握SMR硬盘在云存储场景中的成本优化策略与性能调优方法，理解存储系统硬件演进的量化指标（容量/功耗/密度）及其商业价值。获取从架构设计到介质选择的全栈存储系统优化思维框架，并预判未来存储技术发展路径（HAMR/记录等）。SMR硬盘的创新应用，通过积极采用SMR硬盘来实现成本优化和性能调优，推动了云存储系统的可持续发展。

图片介绍了存储系统采用叠瓦式磁记录（Shingled Magnetic Recording，简称SMR）技术的第一个版本（V.。关键信息包括： 提高密度和成本节约：采用SMR技术的主要目的是在相同的物理空间内存储更多的数据，从而降低存储成本。这是通过减少相邻盘片之间的小间隙来实现的。 Go到Rust (OSD与卷管理器)：存储系统中的对象存储设备（OSD）和卷管理器这两个关键组件已经从Go语言迁移到了Rust语言。这通常是为了获得更好的性能、可靠性或两者兼有。Rust以其内存安全和并发性而闻名，这也是导致迁移的原因之一。 Libzbc + 自定义磁盘格式：系统使用了libzbc库以及自定义的磁盘格式。libzbc是一个用于管理Zoned Block Commands（ZBC）的库，与SMR硬盘的管理密切相关。自定义磁盘格式可能是为了更好地适应SMR硬盘的特性。 SSD缓存用于暂存写入：系统使用了固态硬盘（SSD）作为缓存来暂存写入操作。这是因为SMR硬盘在写入时有特殊的限制，通常顺序写入性能较好，而随机写入性能较差。通过SSD缓存可以将随机写入转化为顺序写入，从而提高整体写入性能。 元数据在传统区域：硬盘上的元数据存储在传统的非SMR区域。这可能是为了确保对元数据的快速随机访问，因为SMR区域的写入方式可能不适合频繁的元数据更新。 B硬盘：系统使用的是B容量的硬盘。https：//github.com/dropbox/pb-jelly - 提到了一个GitHub上的链接，指向一个用Rust编写的protobuf代码生成框架。这表明系统内部可能使用了Protocol Buffers进行数据序列化和通信，并且Dropbox团队自己开发了一个Rust版本的代码生成工具。以上信息展示了存储系统采用叠瓦式磁记录技术的基本工作原理、关键组件及其优化手段，旨在提高效率并降低成本。

图解展示SMR硬盘的“重叠磁道”布局技术，展现其如何提升存储密度。

在存储系统中采用智能移动读/写（SMR）技术是一种有效的策略，旨在提高存储密度和降低成本。为了实现这一目标，我们进行了初步的试验，并讨论了相关的技术选型与优化方法。首先，核心组件迁移至Rust语言可以帮助加速性能提升；其次，利用libzbc和自定义磁盘格式管理来有效处理SMR硬盘；最后，结合SSD缓存技术可以显著提高写入速度。

SMR 技术在 HDD 领域的应用前景展望

积极方面随着数据量的爆炸式增长，对存储容量的需求也在不断攀升。相较于传统的CMR（Conventional Magnetic Recording）硬盘，SMR（Shingled Magnetic Recording）硬盘在相同的物理空间内能够存储更多数据，这对于满足日益增长的容量需求至关重要。成本效益：尽管SMR硬盘的初始投资可能较高，但其单位存储成本通常较低，尤其是对于对成本非常敏感的应用场景，如云存储、大数据归档、监控存储等，这无疑是一个显著的优势。特定应用场景契合SMR硬盘的特性使其非常适合于写入次数较少、读取次数较多的应用场景。例如，在数据归档、备份和冷存储等领域，这些场景中写入性能限制并不成为主要瓶颈。因此，对于需要高效读取且少量写入的数据，SMR硬盘表现出色。行业领导者的推动像Dropbox这样的行业领导者积极采用并优化SMR技术，表明该技术在实际应用中是可行的，并能够带来明显的成本和容量优势。他们的经验和实践将有助于整个行业对SMR技术的接受和应用。技术进步随着技术的不断发展，未来可能会出现新的方法来克服SMR硬盘的写入性能限制，例如更智能的缓存管理、更优化的磁盘格式等。因此，未来可以期待更多的创新解决方案能够进一步提升SMR硬盘的表现，满足不断增长的数据存储需求。

考虑以下因素将提高您使用情况： 写入性能限制： SMR硬盘的写入方式决定了其在随机写入性能方面不如传统的CMR硬盘。这使得SMR硬盘不太适合需要频繁进行随机写入的应用场景，例如操作系统的主硬盘或高负载的事务型数据库存储。为了充分利用SMR硬盘的容量优势并克服其性能限制，需要在操作系统、文件系统和存储管理软件等层面进行相应的适配和优化。 软件和系统适配： 为了最大化利用SMR硬盘的优势，并避免性能问题，必须在操作系统、文件系统以及存储管理软件等方面进行适当的调整。例如，Dropbox采用了libzbc库和自定义磁盘格式，并通过使用SSD缓存来缓解写入速度的限制。 用户接受度： 对于一些追求高性能的用户来说，SMR硬盘的写入性能可能会成为一个问题。为了帮助这类用户更好地理解什么是合适的应用场景，厂商需要在产品宣传和技术支持方面做好工作，以消除可能存在的顾虑，并引导他们正确使用这些产品。

Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-15.pngSSD 缓存容量瓶颈

展示了一个关于存储系统中 SSD 缓冲区瓶颈趋势的图表。图表横轴标记了时间，从 年初到 年底；纵轴显示的是存储服务器的数量与磁盘容量的变化情况。

图表显示，随着时间流逝，存储服务器数量逐渐减少，但磁盘容量却不断增加。这种现象背后的原因可能是由于使用了更高效、更密集的硬盘技术，如此前提及的具有B存储能力的SMR硬盘。

关键信息为：“当使用多个磁盘来提高读写速度时，它们的总带宽超过了单个服务器上的SSD缓存容量”。这表明随着服务器中磁盘数量和总吞吐量的增加，原有的配置一到两个SSD作为缓存可能已无法满足性能需求，从而成为系统的瓶颈。

图片显示，随着存储密度增加，原先的SSD缓存策略已难以有效提高整体性能，并成为系统吞吐量的主要障碍。为提升效率，需重新审视并优化SSD缓存大小、数量及使用方式。

Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-16.pngOSD 当前版本

图片展示了当前版本的 OSD（对象存储设备），其中一个显著的变化就是移除了 SSD 缓存。这一改动带来了以下影响和原因： 硬件成本降低：以前版本中用于加速写入操作的 SSD 缓存已被移除，简化了存储系统的软件架构。这意味着每个存储服务器减少了一个硬件组件（SSD 缓存盘），从而降低了硬件的成本和复杂性。 性能提升：令人意外的是，移除 SSD 缓存后，系统的性能反而得到了提升。具体来说，写入吞吐量从约 提升到了约 以上，同时写入操作的延迟也从 秒降低到了约 秒。 高密度存储技术：当前集群中超过 的硬盘是 SMR（Self-Aligning Magnetoresistive）硬盘，这表明系统已经大规模采用了这种高密度的存储技术。SMR 硬盘比传统的硬盘提供了更高的数据密度和更长的使用寿命。总的来说，移除 SSD 缓存不仅没有降低系统的性能，反而在某些方面提升了性能，并且通过采用更高密度的 SMR 硬盘，进一步提高了效率和降低了成本。

对比图片展示了带有SSD缓存和不带SSD缓存的存储引擎架构在写入吞吐量和延迟方面的表现。数据显示，在当前的OSD版本中，直接采用SMR硬盘的效果远胜于搭载SSD缓存的方案。

研究发现，一项创新性架构演进方法成功地通过移除 SSD缓存来简化设计并大幅降低成本。同时，这一策略还显著提升了写入性能。具体原因可能是由于软件栈的优化以及对SMR硬盘特性的更深理解与运用所致。

存储硬件演化Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-17.png

随着技术的不断进步和需求的增长，存储系统硬件经历了从第一代到第七代（及更新）的显著演进。本文将详细呈现这一进程中的变化。在第一个阶段，Big Show于推出时总容量为B，使用了B硬盘。第二代Andre在引入后，容量提升至B，硬盘数量增至，单块容量依然维持在B。进入第三阶段的Atlas，在实现了总容量的突破，达到了B。尽管硬盘数量有所减少（），但单块容量增加到B。第四代Axel于亮相，其总容量进一步提升至B，硬盘数量显著增加到了，单块容量为B。第五代Stimpy在推出时，总容量达到了惊人的B（拍字节）。硬盘数量增加了到，单块容量达到B。第六代Scooby于带来了进一步的提升，其总容量进一步增长至B。虽然硬盘数量保持在，但单块容量增加了到B。最后，在第七代及更新（中，Sonic系统的总容量达到了B以上，并且硬盘数量减少到了，但单块容量大幅提升至B及以上。这一系列的演进展示了存储硬件在存储能力上的持续增长与优化。

Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-18.png存储平台的挑战

存储平台面临的挑战及其解决方案图片列出了存储平台面临的一些关键挑战：振动余量问题：硬盘对振动特别敏感，过大的振动可能导致I/O性能下降甚至出现写入或读取失败的情况。因此，需要确保存储平台具有足够的振动余量，以保障系统的稳定运行。温度控制：存储设备在运行过程中会产生热量，过高温度会影响硬盘的年故障率（Annualized Failure Rate, AFR），缩短其使用寿命。良好的散热和温度控制对于保证硬件可靠性至关重要。重量和功耗问题：大规模存储平台通常非常重且能耗高。在部署和运维阶段需要特别注意这些因素，如机房承重能力、电力供应以及能耗成本等。服务等级协议（SLAs）：为了满足服务等级协议的要求，存储平台需维持较低的年故障率（AFR），这要求采取各种方法提高硬件可靠性。此外，数据“填充和排空”管理也涉及数据迁移、容量扩展或退役操作的有效执行。

Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-20.png平台硬盘演进历程

图片概述了存储平台中硬盘的演进历程。关键信息如下：，B容量的硬盘首次采用叠瓦式磁记录（SMR）技术，标志着这一技术开始应用到该存储平台中。当时，该平台已积累了的运行经验。SMR技术带来了额外的容量提升：通过采用SMR技术后，在相同的物理尺寸下，硬盘的存储容量能够额外增加至。超过的集群使用SMR硬盘：目前，该存储平台中超过的硬盘都采用了SMR技术，这表明SMR已成为了其主要的存储介质。磁盘技术发展趋势：- 盘片数量增加：随着内部盘片数量的不断增加，这是提高总容量的一种常见方法。 - 面密度：硬盘盘片上的磁记录密度（单位面积存储的数据量）也在不断提高，这也是容量增长的关键因素。SMR技术是推动这一增长的重要驱动力。总的来说，随着技术的不断进步和创新，硬盘在存储能力方面取得了显著的进步。

Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-21.png平台能效研究

图片展示了存储硬件在不同代数之间，存储Exabyte数据所需的功耗变化情况。可以看出，随着硬件的演进，存储效率和功耗控制都得到了显著提升：第四代：存储Exabyte数据需要机架，每个机架的p耗为kW，总能耗高达kW。第五代：存储Exabyte数据所需的机架数量大幅减少到，每个机架的p耗略微上升到kW，总能耗降至kW。第六代：机架数量进一步减少到，每个机架的p耗继续上升到kW，总能耗进一步降低到kW。第七代：存储Exabyte数据所需的机架数量最少，为，但每个机架的p耗上升到kW，总能耗达到kW。虽然第七代的总能耗比第六代略有上升，但仍然远低于第四代和第五代。

通过对比第四代与第七代存储设备，发现后者不仅节能减负一半（Power reduced by half），还节省了约三分之二的存储空间（less storage space）。

未来方向Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-22.png存储密度不断攀升

图表展示了不同硬盘记录技术的演进趋势，涵盖了PMR：垂直磁记录（Perpendicular Magnetic Recording），包括带有或不带叠瓦式磁记录（SMR）的二维磁记录（TDMR）。这一技术从到间占据主导地位，其面密度达到约B/in。紧接着是E-PMR / MAMR：增强型PMR，包括能量辅助，包含微波辅助磁记录（MAMR）。该技术自开始发展，并预计在左右的面密度超过B/in。HAMR：热辅助磁记录（Heat-Assisted Magnetic Recording）预计将在达到B/in的面密度。而HAMR + HAMR with ordered granular media：带有有序颗粒介质的HAMR，以及HAMR + HDMR / ：带有热点磁记录（HDMR）的HAMR和三维记录。最终是HDMR / ：热点磁记录和三维记录。

Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-23.png复杂系统IO管理

图片描绘了一个存储系统面临复杂工作负载场景的情景。图表生动地展示了不同类型的操作同时发生在存储设备的不同区域中，包括实时写入和读取、数据擦洗、全条带写入及行区更新等操作。

右侧的文字进一步说明这种工作负载的特点是非常混合，包含主要是随机的IOPS(每秒输入/输出操作数)且平均负载为iB。这暗示了该存储系统需要处理各种各样且无规律的读写请求，这对系统的性能和效率可能带来挑战。

延伸思考

这次分享的内容就到这里了。或许以下几个问题能够启发你更多的思考：当SMR硬盘占比超过时，如何设计容错机制以应对写入性能波动？在SSD缓存被移除后，系统性能反而提升的现象是否暗示存储架构设计的范式转变？HAMR技术需要激光加热磁头，这对存储系统的散热设计将产生哪些颠覆性挑战？期待你的留言，分享你对这些问题的看法！

原文标题：Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System

以上就是Dropbox：SMR技术驱动成本与性能双赢的详细内容，更多请关注其它相关文章！