改变数据中心面貌的5大数据挑战

发布网友 发布时间：2022-04-20 01:05

我来回答

共1个回答

热心网友 时间：2023-09-19 17:40

改变数据中心面貌的5大数据挑战
新的数据中心架构提出了新的数据挑战：数据采集将如何驱动从边缘到核心的数据中心架构的发展。
数据显然不再是以往的样子。作为数字化转型的一部分，各种组织正在寻找数据的新用途。从飞机引擎的数据到杂货店的消费数据，每个行业都有大量的例子，数据成为企业竞争优势的关键所在。人们将这些数据称之为新数据，这与人们最熟悉的财务和ERP数据截然不同。那些原有的数据大部分是交易性的，而且是从内部资源中捕获的，而新数据推动了客户机/服务器的*。

新的数据既是交易型的，也是非结构化的，公开可用，以及私下收集的，其价值来源于对其进行汇总和分析的能力。粗略地说，人们可以将这些新数据分为两类：大数据——用于批量分析的大量聚合数据集，快速数据——从许多来源收集的用于推动立即决策的数据。大数据和快速数据模式正在推动数据中心的全新架构的发展。
以下介绍数据中心新架构所提出的五个主要的数据挑战：
(1) 数据捕获正在推动数据中心架构从边缘到核心的发展：
从源头获取新的数据。这些数据来自海洋，来自石油和天然气勘探，也可能来自于卫星轨道、天气应用、电话、图片、视频和*或电影的场景中。从源头收集的数据量将比人们目前所知道的高出几个数量级。
(2) 数据规模正在推动数据中心的自动化发展：
大型云提供商的规模已经十分庞大，他们必须在自动化和智能化方面投入大量资金来管理基础设施。任何人工管理在其运营规模上成本高昂。
(3) 移动数据正在改变全球网络：
如果数据无处不在，那么必须移动数据才能进行汇总和分析。当人们认为并且希望网络在40到100 Gbps的速度可以满足互联网带宽要求时，数据移动的需求却可能会增加100倍到1000倍。
(4) 数据价值是*性存储：
毫无疑问，数据对组织来说越来越有价值，数据在较长时间内的实用性随着机器学习和基于人工智能(AI)的分析而日益增长。这意味着更多的数据需要存储更长的时间，并且数据必须是可以整体处理的，以便有效分析。
(5) 数据分析是未来计算密集型体系结构的驱动因素：
通过分析的性质，特别是机器学习，组织必须保留更多的数据，以便将其聚合到大数据存储库中。当应用于多个更大的数据源时，这些类型的分析提供了更好的答案。而分析和机器学习是一种计算密集型操作，因此大数据集上的分析驱动大量的高速处理。与此同时，分析的计算密集性促使组织推出从内存数据库到100 PB级别的对象存储多种新方式来存储和访问数据。
新的数据在源头被采集。从源头收集的数据量将比人们目前所熟悉的高出几个数量级。例如，一辆自动驾驶汽车每天将产生高达4TB的数据。而全球的汽车数量数以亿计，人们在未来必须应对这种新的数据冲击。
很明显，人们不能从源头采集所有的数据，并尝试通过当今的网络将其传输到集中的位置进行处理和存储。这推动了数据中心全新模式的发展，不同的环境以不同类型的数据为特征，这种新的“边缘计算”环境被优化，以便在传输到一个独立的核心数据中心环境之前，对大量数据进行捕获、存储，以及部分分析。
新的边缘计算环境将推动计算基础架构各个方面的根本性变革：从CPU到GPU甚至MPU(微处理单元)，从低功耗的小型闪存存储到物联网(IoT)网络和协议，不需要宝贵的IP地址。
以下来看不同的数据采集例子。在生物信息学领域，数据在源头上得到爆炸式增长。在X光检查乳腺癌的情况下，拍摄这些图像的系统正在从二维图像转变成三维图像。二维图像需要大约20MB的容量来存储，而三维图像则需要多达3GB的存储容量，这意味着存储这些图像所需的容量增加了150倍。不幸的是，大多数存储二维图像的数字存储系统根本无法经济有效地存储三维图像。以往的存储系统被大数据库取代才能使数据蓬勃发展。
另外，组织希望对这些图像执行的处理类型是基于机器学习的，并且比以前任何类型的图像处理计算强大得多。最重要的是，为了进行机器学习，研究人员必须汇集大量的图像进行处理才能有效。处理这些图像意味着要跨组织来移动或共享图像，这些图像需要从源头获取数据，保存在可访问的表单中(不是磁带上)，聚合成大型图像库，然后用于大规模的机器学习分析。
图像可能以原始形式存储，但元数据通常在源头添加。另外，可以在源头完成一些处理以实现“信噪比”的最大化。可以支持这些图像的最终架构的特点是：(1)在源头存储数据。(2)将数据复制到共享存储库(通常在公共云中)。(3)从共享的存储库处理资源以分析和处理数据。(4)采用网络连接以便结果可以返回给研究人员。这个新的工作流程正在推动包含多个存储位置的数据架构发展，并根据需要移动数据并在多个位置进行处理。
对于制造行业的物联网用例，这种数据架构的变化更加剧烈。例如，在西部数据公司，人们从全球各地的机器收集数据。这些数据被发送到一个存储在三个位置的*大数据存储库，一部分数据被推送到亚马逊的ApacheHadoop数据库中进行快速数据分析处理。其结果可供全公司的工程师进行可视化和后处理。对源数据进行处理，以提高该数据的信噪比，并对数据进行归一化。对数据执行额外的处理，因为它在逻辑上集中的位置收集在对象存储库中。
由于这些数据必须长期受到保护，因此需要进行擦除编码，并分布在三个不同的地点。最后，数据一旦进入亚马逊平台，将再次使用分析处理。而支持制造用例的体系结构是一种边缘到核心的体系结构，在许多位置都可以进行大数据和快速数据处理，而且这些组件是专门为此过程的每个步骤所需的处理类型而构建的。
由于集中式数据的概念不再适用，这些用例需要一种新的数据架构方法。人们需要有一个逻辑上集中的数据视图，同时可以在任何工作流程的多个步骤中灵活地处理数据。数据量将会非常大，盲目地将全部的数据推送到一个*存储库将会带来成本和时间方面更多的*。智能体系结构需要开发人员了解如何在考虑到数据规模、传输成本以及处理要求的权衡的情况下逐步处理数据。
数据需要存储在适合其预期用途的环境中。人们称之为“数据蓬勃发展的环境”。大数据集需要共享，不仅用于协同处理，还要汇总用于机器学习，还要在云端之间进行分离，以便进行计算和分析。以数据中心为中心的架构解决大数据存储问题并不是一个好方法。为了从未来的大数据集获得最大的价值，需要采用一种边缘到核心的架构，并与混合云体系结构相结合。