存储和数据中的东西挑战互联网

事物互联网（IOT）被吹捧为企业采用和利用的新挑战。但是IoT究竟是什么以及它如何影响存储以及我们管理数据的方式？

IOT指的是广泛的物理设备网络，包括传感器，车辆，移动设备甚至包括创建和共享数据的家用电器。

对于企业而言，这可能意味着监控脚步，运行工厂机械的服务器的摄像机，从远程/分支机构收集的数据或业务运营的任何位置。

IOT选项的广度意味着在数据中心之外的几乎任何设备都可以是IOT解决方案的一部分。

通常，IoT设备被视为inpidual，远程管理和嵌入设备，如相机，但情况并非总是如此。许多企业都有分布式环境，在分支位置运行一个或多个服务器，以监视直接与业务本身相关的建筑物访问，环境控制或其他任务。

因此，IOT是一个设备的网格，可以在许多物理位置创建，存储和处理内容。

以下可能是最明显的声明是创建的信息在数据中心之外。

我们越来越多地看到用于描述在核心数据中心外部的计算和数据管理任务的术语“边缘”。虽然已经存在了多年的边缘计算，但是IoT和Edge计算中的当前演进对于非核心数据中心位置中创建的数据的庞大卷是值得注意的。

这为IT部门带来了独特的挑战，必须确保此数据充分保护，整理和处理。

大多数IT组织用于确切地知道他们的数据所在的位置。通过IOT，将武器围绕业务所拥有的所有内容的挑战更大，对用户隐私和法规的显而易见，例如一般数据保护条例（GDPR）。

在边缘创建了如此多的信息的可能性，无法将数据移动到数据中心以及时处理。

首先，随着各种各样的设备部署，可能根本不可能将数据移动到数据中心而不在外部网络中投资的情况下。

其次，在许多情况下，通过存储整个内容，可以最好地服务数据的值。例如，计算通过流量交叉路口的汽车的摄像机不需要存储整个视频，只需报告在特定时间段计算的汽车数量。视频数据可以在将来的某个时间搬回或只是丢弃。

要考虑的第三点是及时处理数据。IOT设备可能需要快速制作本地处理决策，而不容忍读取的延迟并将数据写入核心数据中心以进行处理。

这种分布式数据和处理要求意味着企业需要将算入的功能添加到边缘，并且在许多情况下，在许多情况下，在将其上载到核心数据中心以进行长期处理之前的预处理数据。

这将我们整齐地带给了信息生命周期管理（ILM）的主题。

ILM一直是IT组织的广泛愿望超过30年。最初，这意味着能够将存储层之间的数据移动到老化的内容中，并且变得更少有价值。最终，数据将在存档或磁带上结束。

在现代企业中，ILM比曾经是常见的更差别。

正如我们所讨论的那样，在边缘创建数据并可能通过原位边缘计算设备预处理。随着时间的推移，可以将数据合并为核心位置以进行进一步处理。

企业越来越开始专注于通过使用人工智能（AI）和机器学习（ML）技术来获得组织中所有数据的额外价值。AI / ML系统需要大量数据来培训模型，并开发算法，又可以作为数据预处理的一部分推回边缘。

从这个意义上讲，ILM并不希望直接优化存储数据的成本，而是为了确保它可以放置在正确的位置，以便在当时所需的处理。我们开始在最初创建数据后，从边沿将信息流入核心位置，该核心位置是在最初创建数据之后长期导出值的核心位置。

IoT数据主要是非结构化，因此可以轻松存储在公共云基础架构中。

所有主要云提供商都提供基于对象存储技术的低成本可扩展存储系统。通过高速网络，无需对数据进入的收费，公共云是存储由企业生成的IOT数据卷的优势。

但是，公共云有更多的给予。云服务提供商扩展了他们的产品产品，包括摄取和处理大量非结构化内容的大数据分析工具。这允许企业创建高度可扩展的ML / AI应用程序来处理数据可能比在私有数据中心中可以实现的更有效。

查看供应商正在开发的内容，我们看到一系列产品和解决方案。以下是如何解决IOT和存储要求的一些示例。

一些启动公司正在开发原位处理存储设备，允许在边缘分析数据。

例如，NGD系统提供了一系列“计算存储”产品，这些产品看起来像传统的NVME SSD，但也允许应用程序代码在驱动器中运行。

同时，ScaleFlux提供了类似的技术，可以将公共任务（例如擦除编码，数据库加速）卸载到存储设备。

亚马逊Web服务（AWS）提供了使用雪球将边缘数据导入AWS S3的能力。雪球设备有效地是一个带有存储的Ruggedised服务器，可用于物理地从异地位置运输数据。AWS进一步扩展了雪球与雪球边缘的能力，允许本地数据处理与EC2实例或LAMBDA功能。

Pure Storage，NetApp和DDN都开发了融合的基础架构或硬件参考体系结构，以使用存储来支持上提M1 / AI系统。在这些实例中，存储硬件提供了在极低延迟下并行处理大量数据的能力。

Microsoft正在研究项目BrainWave，自定义硬件以实时处理数据，因为它从外部源摄入。这是推动实时AI处理的移动。

谷歌已经在Google Cloud平台（GCP）中提供服务，以处理大数据集，现在正在寻找解决工业垂直技术的技术。仍在早期访问开发中，谷歌正在研究可以在边缘部署的自定义ASIC硬件，以进行初始ML / AI数据处理。

存储软件启动如Wekaio，E8存储和Excelero开发了为低延迟分析要求提供可扩展文件和块存储的产品。在Wekaio的情况下，该软件也可以安装在公共云（AWS）上，以创建一个使用NVME存储的高度可扩展的存储平台。

Stormagic是一家英国公司，提供了使用SVSAN在边缘部署可扩展和弹性存储的功能。该公司拥有数以千计的SVSAN部署在风电场和零售店等边缘位置上运行的标准虚拟机管理。

Hitachi Vantara的HCP可用作集中式对象存储和存档，用于IOT数据。然后，Hitachi的Pentaho平台等工具可视化此数据，使得更容易构建业务的数据流水线，以创建不同内容存储的值。

看看在提供的存储解决方案范围内是明显的，这是今天市场缺乏标准化。

没有明确的最佳实践或行业标准，以确保将分布式数据安全地访问并运输到核心数据中心。数据通常以异步方式移动，这会导致数据中心中的副本不一致或脱离。

正如我们向前迈进的那样，数据存储和数据管理公司的挑战是开发在数据中心外的标准和工具，与我们的公共和私有云中的安全性和一致性相同。