LOS Alamos将30pb的种族对象储存投入生产

美国洛杉矶阿拉莫斯国家实验室已达到大约30pb的对象存储，由Scality Ring软件提供动力。

选择对象存储的能力，以利用擦除编码数据弹性并避免使用RAID。这是由于RAID的越来越繁琐的性质，特别是在磁盘故障后的大型硬盘的RAID重建期间。

对象存储的种族层层构成了支持LOS Alamos Trinity Cray提供的超级计算机的整体存储基础架构的一部分。

它是世界上最强大的超级计算机之一，拥有2PB的内存，200CCU和40个PETAFLOPS的性能（每秒浮点运行）。它用于管理美国核库存并进行物理建模和模拟。

Trinity的输入/输出（I / O）的性质构成了唯一问题，数据集可以包括10多个KB大小范围内的数百万个文件的单个文件或数百万个文件。

Los Alamos的计算机工程师Kyle Lamb说：“我们有两个极端的存储I / O处理。大问题是我们将如何处理未来五年。因此，我们开始查看对象存储，特别是擦除编码，因为数据持久性以及磁盘上的数据的性能。“

Trinity的存储包括三层。包含所谓的“缓冲突发”的最高执行层是由3.7PB的闪存，在CRAY DataWarp I / O加速器中提供3.3Tbps的吞吐量。预计数据将保留一天大约。

接下来是在CRAY / SEAGATE硬件上的企业硬盘驱动器（HDD）上的LUSTER PASTLED文件系统中保留了78PB数据，具有1.5Tbps的吞吐量，并在几周内测量的数据的预期寿命。

第三个，种类支持的层是由LOS Alamos称为“广告系列存储”的，它包括当前大约3PB的容量（对于Trinity - 总共有30pb，见下文），并且用于初始使用的数据，但是可能会在休眠状态，直到重新用于持续六个月到两年或三年的竞选活动。吞吐量是3Gbps。

那么，为什么不使用带有raid的磁带或磁盘？“如果我们写信给录音带，我们就会在30个小时内看待30小时，以便回忆一下30TB的数据，”羔羊说。

“当时我们开始看的典型RAID系统很好，可以相当扩展，但随着HDD更大，我们需要看看更好的数据耐用性。使用8TB磁盘，您正在寻找三天的重建时间，这比我们在潜在的数据丢失方面可以接受。“

因此，LOS Alamos选择了具有其擦除数据保护的擦除编码方法的对象存储。

擦除编码是一种数据保护方法，其中数据被丢弃到扩展和编码的片段，其具有可配置数量的冗余数据，并存储在一组不同位置。

如果数据丢失或损坏，则可以使用关于其他地方存储的数据的信息来重建它。它通过创建数学函数来描述一组数字，因此如果丢失，可以检查它们以获得准确性并恢复。

“我们正在支付数据的弹性而不是性能，”羔羊说。

同时，Scality对象存储设置还将支持LOS Alamos开发的MARF中的另一个数据。这是一个并行文件系统，它提供POSIX界面 - 通过GPFS - 允许文件访问存储，但后端上有类对象存储。

“我们需要一个POSIX界面。人们习惯了它，它不会导致访问存储的应用程序，“leamb说。

Marfs通过将实例作为GPF中的文件呈现，组织访问对象元数据。然后，此元数据点指向文件的许多小（1GB）部分的实例，而是作为种类中的对象保持。