大数据时代需要什么样的存储

发布网友 发布时间：2022-03-26 13:55

我来回答

共1个回答

热心网友 时间：2022-03-26 15:24

众多专家认为，大数据时代的存储，应当是分布式的存储，并呈现出与计算融合的趋势。当然，不同专家对融合的理解也有所区别。 SNIA-China技术委员会*雷涛表示，在当前的大数据时代，由于数据量TB、PB级的急剧膨胀，传统的数据搬移工作已经不现实，因而存储服务器出现新的融合趋势。在这样的架构中，数据不再移动，写入以后分散在STORAGE，它的计算节点融合在数据旁边的CPU，数据越来越贴近计算。 雷涛补充说，大数据只谈商业分析的数据支持，这是小数据思维，从金融、运营商、*行业我们做的项目里面发现，大数据是嵌入到整个行业里面，替换以前的存储和计算的系统架构的过程。 华为存储产品线Marketing*经宁认为，大数据带来的三大变化，包括从集中式走向分布式，从水平走向纵向，从计算为中心转向以数据为中心，总结一句话，即在大数据下架构方向走向分布式存储的架构。 2013年，华为存储产品线把理念进行升级，变成“存以致用，融以致远”。经宁表示，融合架构是我们面对大数据挑战一个很好的选择。华为更多的希望把数据智能用起来产生价值，通过融合架构实现计算存储融合，可以带来更高的管理效率更高效能，大大降低我们管理上的开销。 中桥国际调研咨询公司首席分析师王丛女士则从虚拟化、云计算数据保护和融合架构三个维度谈了中国数据中心的发展变化。她表示，具有高可移动性的虚拟机用于生产，掉了链子就很难判断是哪个物理环境，这就驱动了融合架构。融合架构避免了整合的时间和网络问题判断的时间，能够实现统一集中透明管理，可以根据工作负载去实时动态配置资源，也可以实时监控哪里出了问题，怎么解决问题。 王丛还指出，融合架构有不同的形态，其中一种是在原来硬件基础上用一个软件罩上，然后形成融合架构，实现目的是可以在线扩展，所有动态可以负载均衡，在最大限度提高部署效率前提下，又能够降低因为硬件问题而导致的应用性能降低和应用的不稳定。 老牌存储厂商NetApp同样对存储架构很有体会。NetApp公司北方区及电信事业部技术总监刘炜表示，在今天把数据存起来不是很难的问题，买一个移动硬盘就可以存储数据，但是在上面存储享受的服务级别不同的，不同于放在数据中心和网络云上面的服务级别的。 为了不让数据成为整个企业发展的负担，而是成为真正的价值点，从资料变成资产，基础架构需要快速、安全地支持一些新的技术手段。刘炜认为，应用级别和服务级别怎么定义需要有很好存储架构。NetApp集群存储系统，并不是简单地迎合新概念，而是面向实际的应用设计。NetApp做了很多IT架构的设计，满足应用分级、资源分层的需求，你可以用虚拟化，也可以不用。 Fusion-io大中国区技术总监Tonny Ai与英特尔公司通信和存储基础架构事业部存储部市场总监 Christine M Rice女士谈到了SSD在大数据时代数据中心的应用。Tonny Ai表示，让包括非结构化数据的大量数据快速变成信息，不仅仅是服务器要快，存储速度也要跟上CPU的速度，闪存正是针对当前网络存储速度落后的解决方案，能够有效提高存储的性能。 同时，Tonny Ai认为，在云计算、大数据时代，集中式存储需要的管理和维护非常困难，分布式存储模型是大势所趋。在这其中，Fusion-io提供了PCIe闪存卡、全闪存阵列以及SDK工具，支持提升各种应用的性能。 Christine M Rice女士指出，SSD不只是让数据变快。她认为，通过SSD在数据中心的使用，能够帮助节约成本，降低延迟，加快访问数据的速度，同时还能够提供非常高的可靠性和管理级别，结合了DRM的使用进行软件分层管理。 戴尔亚太存储技术总监许良谋则强调了SSD的利用要在成本和性能之间的平衡，如何更好地应对大数据——闪存的成本和寿命让很多企业对它爱恨交加。许良谋认为，大数据需要一个高容量高速度的共享存储，戴尔的流动数据架构就是一个让数据平滑迁移的平台。 戴尔实现了一个新的技术突破，即快速SLC和eMLC大容量盘可以用到流动架构里面，再加上普通的大容量盘，两级固态盘优化和流动数据架构的配合，这种方案可以比普通纯闪存的方式实现75%以上的成本节约。 许良谋介绍到，戴尔一直通过收购、合作等方式，在自身产品线中不断引入新的存储技术，力图把最好的存储产品以最经济的方式提供给用户。