云计算环境中分布式数据存储关键技术探微

云计算环境中分布式数据存储关键技术探微

曹存洋

（南京南瑞集团公司江苏南京211106）

摘要：云计算技术随着信息技术的发展而成为各行业信息化发展的重要应用领域，作为一种新型资源，应对分布式存储数据的处理和储存的安全性加强。该文从云计算环境下分布式存储技术的结构出发，进一步简述了云计算环境下几项关键的分布式存储技术。

关键词：云计算；分布式存储；关键技术；需求；结构

引文：作为云计算的基础，分布式存储技术主要在数据中心中研究数据的如何存储、组织和管理。因为数据量和数据规模非常大，所以其在可扩展性、容错性、成本控制等方面都有非常严峻的技术需求所面临。

1云计算环境下分布式存储技术的结构

1.1以服务器为核心的结构

以服务器为核心的分布式存储技术是通过网线来将安装在每个服务器当中的网卡进行相互连接。数据中心是保障云计算能够正常运行的核心基础，除了软件，还有硬件。其中，云计算环境下的软件是数据中心所提供的服务以及需要安装的程序；云计算环境下的硬件则是包括计算机设备以及支撑系统同等在数据中心的基础设施。对于以服务器为核心的分布式存储技术来说，服务器除了处理和存储数据，还要负责数据包的转发功能，这种连接结构较为简单，能够让服务器与底层网络之间实现交互，没有类似于交换机的硬件设备，对于使用路由算法的开发相对方便。但是也有一定的弊端，运行过程中因服务器占用的计算资源大，从而加重了服务器的负载压力，造成服务器的计算效率降低，因此，导致成本增加、性能损失等一系列的连锁问题。

1.2以交换机为核心的结构

在云计算还没有普及之时，传统的数据存储大多依靠交换机来完成，大多数的用户也会选择交换机来作为存储彼此数据的中心，换言之，用户将交换机作为联系网络体系与数据中心的纽带。这种以交换机为核心的分布式存储技术一般采用树形结构，主要分为三个部分，即聚合层、边缘层以及核心层。操作方法简单、连接较为容易以及扩展性较强扥是树形结构的特点也是优点，在数据的存储过程当中，它会对操作的灵活性以及高效存储等方面进行优化处理，令其提升空间有所上升，尽管如此以交换机为核心的分布式存储技术依旧存在一定的弊端，比如存储容量有限、存储技术较为落后等。

1.3以服务器与交换机相结合的结构

随着网络技术的飞速发展，单一的结构已经无法满足需求，不论是以服务器为核心的结构亦或是以交换机为核心的结构都存在或多或少的弊端，为了扬长避短，可以将二者混合使用，互补不足。在网络结构、路由的费用、可扩展性以及构建的成本等方面均能体现出混合式结构的优点。在网络结构方面，服务器、交换机混合使用可以同时使用交换机与服务器在进行数据提供时的转发功能，它让网络结构更加的自由，灵活性也更高；从扩展性方面来说，该种结构让每个服务器所安装的网卡受到限制；而成本构建这块，混合结构集合了交换机与服务器结构的优点，在同等性能甚至是提升性能的同时降低了成本。

2云计算环境下几项关键的分布式存储技术

2.1数据容错技术

数据容错技术作为分布式存储技术当中的关键技术之一，对于系统可用性与可靠性程度以及数据访问效率等的影响不言而喻。数据的容错技术一般都通过增加数据冗余来实现，因为冗余的数据能够让失效以及丢失的数据被找到，而与此同时，也加大了存储资源的消耗，因此，为了在保障容错的同时，最大程度地提高存储资源的利用率，又能够降低成本，就变得刻不容缓，现阶段，最常用的数据容错技术主要有两种，一种是基于复制的容错技术，另一种是基于纠删码的容错技术。

对基于复制的容错技术来说，它能够为一个对象创建出多个相同的数据副本，并且能够将其创建的多个副本分散到不同的存储节点。为了让该技术更好地实现，基于复制的容错技术一般要关注数据的组织结构以及复制策略的研究。其中，大量的数据对象以及对副本的管理方式是数据结构的主要研究对象，而副本的创建时机、副本数量以及放置等问题则是数据复制策略所需要研究的方向。数据的复制方法会受多个因素的影响，比如应用的需求、网络状况、数据的访问模式以及存储空间等。而在对复制方法进行研究时，则需要从复制策略与副本放置策略出发，复制策略主要是对副本的创建时机以及创建数目进行关注及研究，放置策略主要是为了提高数据的容错性，让用户在副本失效时能从其他副本获得数据。

对基于纠删码的容错技术来说，它是一种来源于信道传输的编码技术，因为能够容忍多个数据帧的丢失被引入存储领域。于是该技术也能够容忍多个数据块同时失效，同时也是最常用的一种编码容错技术。基于编码的容错技术是通过为多个数据对象进行编码从而产生编码对象，以此来降低因为完全复制导致的存储开销。而在计算方面的开销大、修复的成本较高是其存在的弊端。

2.2节能技术

在云计算当中，数据存储是各种云服务的基础，在整个的能耗组成中占很大比重（40%以上），因此，研究节能技术很有必要，云环境下存储技术的节能技术一般包括硬件和软件两个方面。

对于硬件节能技术来说，硬件节能分为两种，第一，降低硬件设备的能耗，主要通过采用新的体系结构或硬件技术，将单个计算机节点和整个分布存储的能耗降低，例如低能耗的CPU、支持随机访问的大容量闪存硬盘等。第二，降低数据中心的能耗，一般是通过替换硬件设备来进行数据中心的构建，即以低能耗低性能的设备替换高性能、高能耗的设备，从而使分布存储的能耗降低。

对于软件节能技术来说，需要相应的软件策略，在不影响性能或是性能损失微小的情况下，降低存储数据中心的能耗，主要包括节点管理和数据管理。节点管理可以分析云计算中存储节点的具体分布情况，自动选择关闭部分节点以降低能耗。数据管理则是对动态及静态的数据信息进行一定的管理，或是针对相关数据信息的预取缓存进行管理。

3结语

总而言之，在科学技术不断发展的今天，云计算在不知不觉地改变着我们的生活，改变着世界，其作为一种新型的计算模式，随着不断的更新改进，云计算也改变着数据环境，它将海量的数据节点与网络设备进行有效的连接，加速了IT行业的变革，同时也带动了分布式存储技术的发展与进步，提高数据的容错性以及为降低能耗的各种节能技术，让一个拥有着良好的扩展性、容错性以及成本较低的分布式存储的数据中心成为现实。

参考文献：

[1]王意洁，孙伟东，等.云计算环境下的分布存储关键技术[J].软件学报，2012（4）.

[2]宋国平，邱阳.云计算环境下的分布存储关键技术[J].吉林广播电视大学学报，2014（9）.

[3]王昊鹏，刘旺盛.虚拟化技术在云计算中的应用初探[J]．电脑知识与技术，2008，3（7）．

[4]李煜民，章才能，谢杰.云计算环境下的数据存储[J]．电脑知识与技术，2010，6（5）．

[5]林海略，韩燕波.多租户应用的性能管理关键问题研究.计算机学报，2010，33（10）