时间：2023-08-25 09:09:34
绪论：在寻找写作灵感吗？爱发表网为您精选了8篇云计算的技术基础，愿这些内容能够启迪您的思维，激发您的创作热情，欢迎您的阅读与分享！
引言
随着网络技术的不断发展，云计算也不断完善，不仅可以为计算机数据运行提供平台，也能为计算机发展提供方向，因此，相关计算机技术人员要注重云计算技术，通过发展混合云计算、进行云计算迁移，能够保证数据传播的安全与稳定。
1云计算技术的内涵
云计算（cloudcomputing）是基于计算机技术的一种增加服务和使用交付模式的技术，主要为计算机运算提供虚拟化的动态链接资源。所谓的“云”是指一计算机互联网的比喻方法。“云”由原来的比喻，逐渐转变为计算机处理数据时的动态以及基础设备的抽象化概念。由于云计算具有开放式运算特点，它能够在每秒内进行15万亿次的运算，因此，拥有如此强大的数据计算能力的云计算，能够模拟核爆炸、预测天气变化和推测金融市场走势。用户端只需要通过电脑、笔记本电脑、手机就能够接入数据中心，从而按自己所需，进行数据处理。现阶段，接受最广的云计算定义：云计算是一种按照数量来付费的数据处理模式，这种模式能够为用户端提供可靠的、具有针对性的网络访问权限。用户端能够接入可共享计算资源池，包括网络资源、服务器资源等，这些资源可以被用户端快速搜索出并被使用，从而只需非常简单的操作，就可以和服务供应商交互。
2云计算技术在计算机数据处理过程中的应用
2.1保障数据传输提供安全
云安全(CloudSecurity)是一个云计算延伸的概念，主要是指用户端在进行计算机数据处理的过程中，使用云计算，能够保证数据信息安全。用户端越多，每个使用者的数据就越安全，因为，用户端群体增大，能够覆盖所有计算机互联网数据角落，只要出现木马病毒或者被病毒感染，云计算技术就可以及时截获病毒，从而保证用户端安全。云安全主要表现在以下三个方面。（1）安全问题。用户端在进行数据传输的过程中，会遇到访问权限，需要输入正确的密码，才能够完成数据传输。这是云计算基于原有的安全方法不断加密，从而使“输入图片中的数字”问题，变得更加深奥，避开一眼就能看出答案的问题，保证个人密码安全。（2）双重认证。用户端在进行计算机技术传输过程中，还会遇到允许其他用户访问或者拒绝访问的情况。在云计算中，除了用户名和密码外，还需要验证码。验证码一般是通过信息的形式发送到手机，同时，也有语音、图片等验证码，通过这样的方法，如果用户端处于被访问的状态，能够拒绝登录，从而保障数据的安全性。（3）登录地点。定位系统能够显示出用户端的实际位置，这样会导致信息安全问题，因此，云计算对登陆地点进行保护，用户可以隐藏自己的位置，同时，云计算会提供邮件服务，显示用户账号的异地登录现象，保护数据信息安全。
2.2云计算可以为数据处理提供平台
云计算技术主要包括两个层次的服务：（1）IaaS基础设施级服务。用户者通过网络能够完善计算机基础设施，包括存储空间、网络连接等基本计算资源，在此基础上部署和运行各种软件，包括操作系统和应用程序。现如今，主要的iaas平台产品有华胜天成、OPENStack、Cloudstack等。（2）PaaS平台级服务。PaaS平台主要包括操作系统、编程语言的运行环境、数据库和Web服务器，用户在此平台上部署和运行自己的应用，不能管理和控制底层的基础设施，只能控制自己部署的应用[1]
3云计算技术在计算机数据处理中的发展策略
3.1保障云计算安全
随着计算机技术的不断发展，人们的信息数据安全意识也逐渐提高，更加注重在计算机数据传输过程中，云计算技术是否能够发挥保护数据作用，因此，相关技术人员在进行云计算技术研发时，要注重云计算发挥安全保障作用，主要体现在以下两个方面。（1）研发新的加密技术。加密技术是通过数学或物理手段，对数据在传输过程中和存储体内进行保护，以防止泄漏的技术。加密技术具有一定的标准，技术人员在研发新的技术时，需要应用到数据加密标准，一次性将64位明文打乱顺序，接着将把64位的明文分解成两个32位块，在用机密算法将每个32位块打乱为16位，最后使用初始置换的逆置换。（2）安全协议。安全协议是通过一种建立在密码基础上的通信交互协议，运用密码算法和逻辑，来实现密匙认证与分配。因此，技术人员在进行安全协议架设的时候，要注重熟悉加解、解密等密码运算，从而能完成加密密钥和解密密匙。
3.2研发混合云计算
混合云计算是指私有云计算和共有云计算二者混合运用。混合云计算能够良好协调两者，可以为企业、个人带来融合应用体验。混合云计算主要有资源自动化和提升硬件价值的优点。其中，资源自动化能够在单一域中，使用自动化方法，来控制、管理计算机数据；而实现硬件的价值，主要是降低数据运行成本。例如，一家企业购买了数据采集和监控系统的硬件，当迁移至公共云计算时这些硬件投入就失去了价值。
3.3研发移动云服务
随着移动端的普及，未来云计算技术发展趋势一定是移动云服务。移动云服务能够起到扩充移动端的能力，同时还可以增强多媒体、Web离线及本地数据存储的能力。现如今，大部分移动设备都能够用来信息传递、数据通信，因此，技术在研发移动云服务的时候，需要注重以下两点。（1）实现Windows应用的无缝迁移。用户端应用迁移到移动端会面临着运行不畅的问题，影响用户体验，因此，技术人员要提高移动端数据传送的流畅，降低开放应用数量和容量减材，从而确保计算机数据的传送和安全。（2）基于信息系统进行开发。技术人员要保证移动云服务的数据安全，通过集中管理应用、完善用户权限管理、对数据加密保护和多种登录验证，包括信息、语音验证等。从而降低数据被盗用和被截取风险。
4结束语
云计算能够促进计算机数据处理技术发展。在此基础上，通过研发新的加密技术、架构安全协议，能够防止技术泄漏、确定参与协议的主体标识，同时，通过“跨链通信”区块链安全协议、混合云计算方法唤醒硬件设备，能够扩充基础设备容量、降低数据运行成本。
参考文献
[1]黄蕾,陶锐.基于云计算的电力大数据分析技术与应用[J].数字技术与应用,2017,02:117.
关键词：计算机；云计算；数据存储技术；现代化
引言：
伴随着我国综合国力的快速提升，现代化发展建设的速度也随之加快，各种各样相对先进的科学技术在我国当中的运用范围也变得更加广泛，在电子信息技术以及互联网技术当中所呈现出来的大数据、云处理、移动互联网以及云计算等为我国国内各方面的发展与建设提供了重大的帮助。云计算作为互联网服务当中的重要基础，经过对技术理念整合之后，形成资源共享以及优化的技术模式。现如今，我国的云数据计算技术应用，已经逐渐实现了改革，并且逐渐普及到不同的技术领域，对社会的发展产生极为深远的影响。
1计算机与计算的概念与发展现状
1.1计算机云计算存储技术的主要概念
计算机云计算存储与传统的存储技术有所不同，计算机存储技术在发展过程当中，受到现代科学技术的影响有了很大的转变，除了在自身的运算方式上，在储存方式也有了很大的提升。这种技术内容通过较为复杂的网络系统，进而实现在大数据当中进行运算和储存，这也是传统储存技术难以达到的重要高度。与此同时，运用计算机储存设备不仅仅只是计算机系统当中的硬件设备、网络设备以及储存设备，而且还是一种多设备构成的具有极为复杂的系统内容，由此可以看出，云计算储存技术极为的复杂。但是，计算机云计算储存技术极具简便性，以储存设备为重要核心，不同的部分都需要围绕其进行展开，沿着这样一种工作核心，才能够进一步减轻工作上所带来的难度。
1.2计算机云计算技术目前的发展状况
现如今，计算机云计算技术具有非常特殊的服务模式，不仅仅能够更有效的推动信息技术的快速发展，而且还能够促使人们在潜意识当中更加重视云安全。针对云计算存储技术当中的云安全而言，主要可以划分为基础设施安全、云端安全以及应用服务安全这三个不同的层次。事实上，云计算的安全性大多是将其与技术进行有效的结合，进而更好的满足于现当代时代的发展需求。现如今，我国的内外针对云计算安全问题进行了更多的研究，并且获取相对不错的最终成果。例如：目前我国所建设的IBM云计算中心、卡巴斯基研发的解决网络安全有效对策等等，都被广泛的运用到现当代人类的生产和生活当中。
2计算机云计算储存技术中的主要构成要素
2.1计算机云计算储存技术中的存储层
存储层可以说是计算机云储存设备当中最为基础的部分。现如今，能够用来存储的设备非常的多，主要包含了NAS、FC等IP储存设备，或者是采用DAS储存设备，在这当中，共奏人员可以依据自己所具有的特殊需求，针对储存设备进行相应的选择，进而将其与使用者的工作更加吻合。与此同时，在与计算的存储设备当中，能够用来存储的设备也具有非常多的种类，并且在现实的运用当中，能够用于储存的设备数量更大，所分布的位置也会有所不同，在他们之间传达的信息通过互联网或者是相关设备进行存储，由此构建形成完整的储存设备管理系统，成为起发展中最重要核心内容。
2.2计算机云计算储存技术中的访问层
不管是通过怎样授权的用户，都能够通过访问层针对云计算储存系统予以访问，这一部分的用户大多会通过标准公共应用接口层进行存储，而且还可以采用云计算储存系统当中的存储空间进行存储，真正体验云计算所带来的重要服务。然而，在现实的发展过程当中，不同的单位之间所表现出来的云计算储存系统大多存在很大的差异性特点，他们所运用的云计算储存系统所表现出来的运营单位则有所不同，进而难以实现单位与单位之间的有效交流，除此之外，不同的单位在针对云计算储存系统当中进行访问，在相关程度之上为管理带来一定的难度。
2.3计算机云计算储存技术中的应用接口层
相对而言，计算机云计算储存技术当中的应用接口层是相对比较灵活的，变化程度是一种相对较小的设备。在应用接口层当中，需要通过网络的接入、使用者的认证、授权管理当中的功能。面对现如今市场当中所呈现出来的各不相同种类的储存设备，工作人员大多可以依据自己公司的现实需要，去选择相对合适的应用接口，为用户提供各不相同的体验与服务。与此同时，对这些不同类型的应用接口进行选择的时候，还可以开发出各不相同的云储存适应于不同的领域当中，更好的提升使用的效率。
2.4计算机云计算储存技术中的基础管理层
在计算机云计算储存技术当中所表现出的基础管理层在后期的实现过程当中具有非常大的难度，但是，在计算机云计算储存和运用技术当中，基础管理层则是最核心的内容所在，是工作和技术人员需要仔细衡量，并构建出最好解决方式的内容所在。为了能够促使更多的存储设备可以针对各不相同的客服端提供最基础的服务，需要为云计算储存设备当中的不同内容进行更为协调而又有效的使用。如果，在不同的设备当中能够使之更为协调的予以操作的花，就需要让计算机系统在后期的运行过程当中，更好的维持一定的稳定性和流畅性，进而让计算机的访问者去使用云计算这样一种存储技术去工作，而且整个运行相对比较通畅。在整个运行过程当中，需要在基础管理层次之上通过网络技术进行合理的处理。为了促使计算机工作当中的安全性更高的花，工作人员就可以运用基础管理层当中的相关数据予以加密，进而对数据有效的存储，并实施加密，运用相应的保密技术，让整个计算机数据难以受到破坏，进而保证数据结构内容的完整性特点。
3云计算在计算机网络安全存储当中的具体运用
3.1运用数据加密技术提高存储的安全性
首先，在采用云计算技术的时候，可以对相关数据进行加密，在这过程当中，表现出来的伪随机许梿，具有很强的随意性特点。例如：在获取相关信息的时候，如果没能够掌握当时所发送的随即序列，在获取的时候就会遭受很大的阻碍，具有很强的防护措施。采用这样一种特殊的方式，能够更有效的对数据长度进行隐藏，使得外界人员获取信息比较困难，安全性很高；其次，在这过程当中运用多步加密这一特殊算法，将其运用到计算机云储存当中，能够有助于规避数据在后期的存储过程当中遭受外界黑客的窃取，进而不断提升数据存储独有的安全性的特点。例如：可以采用解码的形式对数据相关数据进行有效解码，并且在这过程当中生成所对应的加密序列表，进而实现对数据的加密，达到不断提升网络数据存储的重要目的。
3.2通过身份认证提升云计算网络安全存储
身份认证可以说是云计算存储技术当中维持网络安全性存储最为基本的技术内容。身份认证所表现的内容极为多样化：例如：a）在使用过程当中，运用只能IC卡对使用者的身份进行认证。这种特殊的身份认证大多是运用只能IC卡来对使用者的身份进行辨别，需要使用者在智能的IC卡当中输入自己的个人信息，具有非常强大的稳定性，但是却有被别人盗取的风向，安全性相对较弱；b）运用使用者所设定的密码进行真实身份予以认证。这就需要使用者依据系统当中所提示来输入正确的密码以及账号，对自身的身份进行认证，而这大多需要使用者输入密码进行认证，进而保护使用者信息的准确性，并确保登录的合法行；c）运用KPI对使用者的身份进行认证，这样一种认证技术主要采用个人信息进而匹配出密钥以及公钥予以匹配、解密，更有效的确保计算机使用的网络安全，并对使用者的身份进行认证，确保安全性；d）运用Kerberos进行使用者的身份认证。这样一种特殊的认证方式则是一种在第三方协议安全所表现出来的认证方式，并且运用第三方资源对访问者授权进入到服务器当中，然后授权生成所需要的与密码相匹配的密钥，服务器在后期的授权之后就会提供相应的票据，使用者在获取享用的票证之后进一步完成对使用者身份的认证。
3.3运用可取回性来证明其中的算法
在计算机网络当中数据存储这一发展当中，使用者在存储的时候难免会遇到信息存储不当、系统不稳定、效率不高等情况。在这时候，可以融入一些冗余纠错码等方式予以解决，并且痛处采用冗余纠错码对云计算当中的数据信息进行验证，用户在这时候，首先需要进一步向云端去提供相应的服务，云端则需要依据用户的不同需求提供有针对性的信息验证，通过不同的验证，进而保证云计算当中的信息安全性。如果能够在云端当中提出验证之后，用户难以通过一定的验证，则表示所存在的文件在发展过程当中已经遭受到严重的损害，如果信息在受损程度还能够控制的范围之内，就可以通过采用编码对原始数据进行恢复。这样一种特殊的方式能够更为准确的对信息寸处错误的位置予以确定，验证云端信息数据的完整性。在使用冗余编码时，需要将原始数据分别存放备份以保证系统稳定的运行。
随着计算机信息技术的发展，一种新型的计算模式――云计算逐渐兴起，云计算具有超强的计算能力、可靠性、虚拟性、通用性、按需付费等特点，因此云计算近年来发展迅速，已经成为未来计算机发展的方向。本文主要阐述了云计算和云储存的概念，并分析了云计算环境下云计算数据存储Google File System和Hadoop Distributed File System两种存储数据。
【关键词】云计算 云储存 数据存储技术
21世纪是信息知识爆炸的年代，每天产生海量的信息，企业需要处理和存储的数据信息越来越多。如果按照传统计算机算法，企业为了存储信息需要购置大量的硬件设施和软件设施，并需要专人对数据信息进行管理，对设备进行维护，需要耗费大量的人力和物力成本。而云计算这种计算方式，省去了企业管理和维修的麻烦，企业可以将大量的数据信息放在服务器或者云端，企业只需要支付少量的管理费用，就能随时调取云端的数据信息，并享受图片处理、归档服务、音视频转码等多种数据增值服务。
1 云计算与云存储的概念
1.1 云计算
根据美国国家标准与技术研究院的定义：云计算是一种按使用量付费的模式，这种模式提供便捷的、可用的、按需的网络访问，用户只需要进入到可配置的计算资源共享池，包括服务器、存储、网络、应用软件和服务器等，云端管理人员只要通过少量的管理或者与服务商进行少量的交互，就能实现对云端的管理。云其实是互联网的一种比喻说法，通过云计算可以将数据信息存储在计算机中，这里的计算机指的是远程服务器。然后企业根据自己的需求，对计算机存储系统进行访问，并将信息资源直接切换到实际应用方面。计算机直接将主机功能交给了云端，云端的计算能力就跟水电一样，成为了一种商品，这就促使传统计算机方式向现代计算机方式转变。
1.2 云储存
云储存是在云计算的基础上提出的，它与云计算有很多相同的地方。云计算主要是通过网络技术、集群应用和分布式文件系统，利用应用软件将网络中大量不同类型的存储设备连接起来，共同合作，对外提供业务访问和数据存储功能。云存储与传统的存储模式相比，它是一种特殊的构架服务，它必须建立在互联网基础上，为用户提供在线的存储服务。用户不需要考虑存储器中的容量、数据存储位置、安全等问题，只需要按时付费就可以了。
2 云计算的数据存储技术
云计算存储技术具有比较明显的两个特点：第一是高传输率，第二是高吞吐率。当前，云计算存储技术比较主要有谷歌开发的非开源的GFS和Hadoop团队开发的HDFS技术。不过后者在IT厂商应用的比较广泛。
2.1 Google File System
Google File System简称GFS，这种存储技术不仅开源扩展，而且是分布式的，广泛应用在分布式的数据访问。它的硬件价格比较低，但是却提供了容错的功能。每一个GFS都是由一个master和多个chunkserver构成，能够提供多用户的访问权限，只要用户的访问资源不受限制。chunkserver可以和访问同时进行。GFS系统文件被分成很多个小块，每一个小块的标识是chunk―handle，chunk―handle由master分配。为了保证数据的安全性和可靠性，GFS系统文件会被复制在多个chunk―handle上，文件的副本由用户决定，master会对系统文件进行维护。比如系统访问控制、空间名字。此外它还可以控制系统的活动范围，chunkserver间的迁移和单个模块的垃圾收集等。master还会定期指令给chunkserver，让chunkserver收集它的发展状态。目前谷歌公司开发的GFS客户代码基本已经实现了系统文件的AP，所以用户与master的数据交换，之限制元数据操作，存储数据直接和chunkserver联系，chunkserver和文件数据客户不会缓存。
2.2 Hadoop Distributed File System（HDFS）
Hadoop分布式文件系统是HDFS由多个存储数据的终点和管理节点构成的。它的中心服务器是namenode，客户端和文件管理系统namenode对文件进行访问。每一个namenode节点都有一台普通的计算机对应，运行时与单机计算机文件系统类似，可以在文件系统常见名录、更改文件名。其实系统的底层已经把文件分割成了Block，并⒄庑Block进行不同的存储，从而达到容错的目的。namenode是HDFS文件系统的核心内容，它可以维护一些数据结果，再把记录文件分割成Block，并在namenode获得相关的消息。
3 结语
云计算是一种新型的计算模式，它必须依靠大数据或者在大数据的基础上，为计算机用户提供服务和帮助。为了确保计算机数据的可靠性和安全性，云计算对云端数据采取了分层存储的方式，为用户提供多层次的安全防护。但是如今云计算的安全问题依然是用户关心的重点。云存储已经是未来存储的一种趋势。当前各大云存储运营商正在积极开发应用技术、搜索和云存储相结合的技术，为用户提供更加便利的服务，但是云存储的发展还须加强云存储的安全防护功能和技术研究。
参考文献
[1]刘晓辉.试析计算机云计算的数据存储技术[J].通讯世界，2015（21）：257-257.
[2]耿丽娟.基于云计算的数据存储技术探索[J].科技尚品，2016（03）：174-174.
[3]蒋穗，祁杰.数据存储技术在云环境下的应用特性分析[J].移动通信，2013（11）：42-44.
摘要：随着Web2.0技术的发展，用户对数据的计算和存储需求激增，往往通过购置更多数量的服务器来增加计算和存储能力。通过互联网租用计算能力和存储资源，就可以大大减少对自有硬件资源的依赖。因此，将云计算技术应用到存储领域可以大大提高资源的利用率。本文主要分析基于云计算的数据存储技术。
关键词：云计算，数据存储，技术
云计算是一种基于服务的架构体系，有两种基本服模式：云计算和云存储。 基于云计算服务的应用程序，无论是金融服务还是网络角色扮演游戏，几乎在所有情况下都需要高性能的云存储来满足数据处理的需求[1]。网络时代是一个信息时代，随着 Web2.0 技术的成熟，大量的信息以井喷的姿势出现在互联网上，如何应对这种信息爆炸式的增长速度，如何对这些信息进行有效存储和管理，云存储是否能够应对这种情况，如何才能保证云存储的高性能，如何才能保证云存储的灵活性，这些是本文探讨的问题。
1、云计算与云存储
1.1 云计算的概念
云计算（cloud computing）是分布式计算技术的一种，是分布式处理、并行处理和网格计算的发展。其最基本的概念是通过网络将庞大的计算处理程序自动拆分成无数个较小的子程序，再交给由多部服务器组成的运算系统，经过计算分析之后将处理结果回传给用户。
1.2 云存储的概念
云存储是在云计算概念基础上延伸和发展出来的一个新概念。与云计算类似，它是通过集群应用、网格技术或分布式文件系统等功能，将网络中不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储是对现有存储方式的一种变革，是一种特殊形式的架构服务。如同云状的广域网和互联网一样，云存储对使用者来讲是透明的，不是指某一个具体的设备，而是指分布在不同物理地域的多台存储设备所构成的集合体。云存储的核心是应用程序软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。
2、云存储系统的结构模型
与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个由网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。它以存储设备为核心，通过应用软件对外提供数据存储和业务访问服务。自下而上分别为存储层、基础管理层、应用接口层和访问层。
2.1 存储层
存储层是云存储的基础部分。各个存储设备通过网络设备连接在一起，存储设备可以是FC光纤通道存储设备，也可以是NAS和iSCSI等IP存储设备。在存储设备层之上是一个统一的存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理以及硬件设备的状态监控和故障维护[2]。
2.2 基础管理层
基础管理层是云存储的核心部分，也是云存储中最难实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储系统中多个存储设备之间的协同工作，使多个存储设备可以对外提供强大的数据访问功能。使用CDN（Content Delivery Network）进行内容分发，数据加密技术保证云存储中的数据不会被未授权的用户所访问。同时，通过各种数据备份和容灾技术可以避免云存储中的数据不会丢失，保证云存储系统自身的安全和稳定。
2.3 应用接口层
云存储运营单位可以根据实际业务类型开发不同的应用服务接口并提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台及远程数据备份应用平台等。
2.4 访问层
任何一个授权用户都可以通过公用应用接口登录云存储系统，享受云存储服务。不同的云存储运营单位提供的访问类型和访问手段也不尽相同。
云计算是一种新型的计算模式。它的最主要特征是系统拥有大规模数据集、基于该数据集,向用户提供服务。为保证高可用、高可靠和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性,即为同一份数据存储多个副本。
三、云存储未来发展趋势
云存储已经成为未来存储发展的一种趋势，目前，云存储厂商正在将各类搜索、应用技术和云存储相结合，以便能够向企业提供一系列的数据服务。但是，未来云存储的发展趋势，主要还是要从安全性、便携性及数据访问等角度进行发展。
【关键词】 云计算 大数据 MapReduce Hadoop一、大数据
1.1什么是大数据
大数据概念可以从四个维度去解，即三个V和一个C。三个V分别指的是数据量大（Volume）、数据种类多（Variety）和数据增长速度快（Velocity），最后一个C指的是处理、升级或利用大数据的分析手段比处理结构化数据要复杂的多（Complexity）。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像Map-Reduce一样的并行计算框架将复杂的计算任务分配到“云”中成百上千的节点。
1.2大数据与云计算
大数据本身就是一个问题集，云计算技术是目前解决大数据问题集最重要最有效的手段。云计算提供了基础的架构平台，大数据应用在这个平台上运行。目前公认为分析大数据集最有效手段的分布式处理技术，也是云计算思想的一种具体体现。
云计算是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现。云计算将网络上分布的计算、存储、服务构件、网络软件等资源集中起来，基于资源虚拟化的方式，为用户提供方便快捷的服务， 实现了资源和计算的分布式共享和并行处理，能够很好地应对当前互联网数据量高速增长的势头。
1.3大数据与Hadoop
Hadoop是一个Apache的开源项目，主要面向存储和处理成百上千TB直至PB级别的结构化、半结构化或非结构化的大数据。Hadoop提供的Map-Reduce能将大数据问题分解成多个子问题，并将它们分配到成百上千个处理节点之上，再将结果汇集到一个小数据集当中，从而更容易分析得出最后的结果。
Hadoop项目包括三部分，分别是Hadoop Distributed File System（HDFS）、Map Reduce编程模型，以及Hadoop Common。Hadoop具备低廉的硬件成本、开源的软件体系、较强的灵活性、允许用户自己修改代码等特点，同时能支持海量数据的存储和计算任务。这些特点让Hadoop被公认为是新一代的大数据处理平台。 Hadoop同样具备出色的大数据集处理能力，在获取、存储、管理和分析数据方面远远超越传统的数据库软件工具。Hadoop经常在构建大数据解决方案时被用作基础构架软件。
二、大数据技术综述
大数据处理不仅仅是Hadoop，许多特定的数据应用场景是需要实时分析和互动反馈的，这时候就需要利用包括内存检索、流处理和实时计算等其他技术。而云计算的分布式存储和计算架构开启了大数据技术研究的大门，打造健全的大数据生态环境，所有这些技术结合在一起，才是一个完整的大数据处理系统。
2.1分布式计算框架
MapReduce是Google开发的一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于1TB）的并行运算，使云计算环境下的编程变得十分简单。
MapReduce将数据处理任务抽象为一系列的Map（映射）和Reduce（化简）操作对。Map主要完成数据的分解操作，Reduce主要完成数据的聚集操作.输入输出数据均以〈key，value〉格式存储.用户在使用该编程模型时，只需按照自己熟悉的语言实现Map函数和Reduce函数即可，MapReduce算法框架会自动对任务进行划分以做到并行执行。
Pregel是Google 提出的迭代处理计算框架，它具有高效、可扩展和容错的特性，并隐藏了分布式相关的细节，展现给人们的仅仅是一个表现力很强、很容易编程的大型图算法处理的计算框架。Pregel的主要应用场景是大型的图计算，例如交通线路、疾病爆发路径、WEB 搜索等相关领域。
2.2分布式文件系统
为保证高可用、高可靠和经济性，基于云计算的大数据处理系统采用分布式存储的方式来保存数据，用冗余存储的方式保证数据的可靠性。目前广泛使用的分布式文件系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。
GFS即Google文件系统，是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的，运行成本低廉，并提供容错功能。
HDFS即Hadoop分布式文件系统，受到GFS很大启发，具有高容错性，并且可以被部署在低价的硬件设备之上。HDFS很适合那些有大数据集的应用，并且提供了数据读写的高吞吐率。HDFS是一个master/slave的结构，在master上只运行一个Namenode，而在每一个slave上运行一个Datanode。HDFS支持传统的层次文件组织结构，对文件系统的操作（如建立、删除文件和文件夹）都是通过Namenode来控制，Datanode用来存放数据块。
2.3大数据管理技术
互联网数据已超出关系型数据库的管理范畴，电子邮件、超文本、博客、标签（Tag）以及图片、音视频等各种非结构化数据逐渐成为大数据的重要组成部分，而面向结构化数据存储的关系型数据库已经不能满足数据快速访问、大规模数据分析的需求，随之而来，一系列新型的大数据管理技术和工具应运而生。
2.3.1 非关系型数据库
NoSQL，也有人理解为Not Only SQL，它是一类非关系型数据库的统称。其特点是：没有固定的数据表模式、可以分布式和水平扩展。NoSQL并不是单纯的反对关系型数据库，而是针对其缺点的一种补充和扩展。典型的NoSQL数据存储模型有文档存储、键-值存储、图存储、对象数据、列存储等。而比较流行的，不得不提到Google的Bigtable，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据，数据量可达PB级。而HBase是Hadoop团队基于Bigtable的开源实现，使用HDFS作为其文件存储系统。同时，Cassandra（K/V型数据库）、MongoDB（文档数据库）和Redis等一系列优秀的非关系型数据库产品如雨后春笋般问世。
2.3.2 数据查询工具
Hive是Facebook提出的基于Hadoop的大型数据仓库，其目标是简化Hadoop上的数据聚集、即席查询及大数据集的分析等操作，以减轻程序员的负担.它借鉴关系数据库的模式管理、SQL接口等技术，把结构化的数据文件映射为数据库表，提供类似于SQL的描述性语言HiveQL供程序员使用，可自动将HiveQL语句解析成一优化的MapReduce任务执行序列.此外，它也支持用户自定义的MapReduce函数。
PigLatin是Yahoo！提出的类似于Hive的大数据集分析平台.两者的区别主要在于语言接口.Hive提供了类似SQL的接口，PigLatin提供的是一种基于操作符的数据流式的接口.可以说Pig利用操作符来对Hadoop进行封装，Hive利用SQL进行封装。
Google Dremel是个可扩展的、交互式的即时查询系统，用于完成大规模查询结构化数据集（如日志和事件文件）。它支持类SQL语法，区别在于它只能查询，不支持修改或者创建功能，也没有表索引。数据被列式存储，这样有助于提升查询的速度。Google将Dremel作为MapReduce的一种补充，被用于分析MapReduce的结果或者是作为大规模计算的测试。
2.4实时流处理技术
伴随着互联网业务发展的步调，以及业务流程的复杂化，企业的注意力越来越集中在“数据流”而非“数据集”上面，他们需要的是能够处理随时发生的数据流的架构，现有的分布式计算架构并不适合数据流处理。流计算强调的是数据流的形式和实时性。MapReduce系统主要解决的是对静态数据的批量处理，当MapReduce任务启动时，一般数据已经到位了（比如保存到了分布式文件系统上），而流式计算系统在启动时，一般数据并没有完全到位，而是经由外部数据源源不断地流入，重视的是对数据处理的低延迟，希望进入的数据越快处理越好。数据越快被处理，结果就越有价值，这也是实时处理的价值所在。
流计算的数据本身就是数据流，不需要数据准备的时间，有数据流入就开始计算，解决了数据准备和延迟的两个问题。现有的解决方案中，Twitter的Storm和雅虎的S4框架更适合数据流计算的场景。Storm是开源的分布式实时计算系统，可以可靠的处理流式数据并进行实时计算，单机性能可达到百万记录每秒，开发语言为Clojure和Java，并具备容错特性。S4是面向流式数据和实时处理的，所以针对实时性较高的业务，可以很好地对数据做出高效的分析处理，而且系统一旦上线，很少需要人工干预，源源不断的数据流会被自动路由并分析。对于海量数据，它和MapReduce都可以应对，但它能比后者更快地处理数据。
三、思考与展望
以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具，通过对大数据分析、预测会使得决策更为精准，这对媒体融合具有重要意义。
新闻媒体的数据库中拥有海量信息存储，这些多媒体数据包括文字，图片，视频和音频等多种格式，符合大数据处理的基本特征，利用大数据技术对这些资源进行存储，计算和分析，了解用户行为，挖掘数据本质和关联，为领导提供决策支持，为终端用户提供更好的服务和新闻定制，增强新闻信息产品的质量和影响力。
中图分类号：TP393文献标识码：A文章编号：1009-3044(2012)16-3803-03
Data Computation and Data Storage in Cloud Computing
DONG Yu , GUAN Qun
(College of Computer Science, Sichuan University, Chengdu 610065, China)
Abstract: With the continuous growth of the network bandwidth, the conditions are more mature that access non-local computing servic? es through the network, so there is a technology what we call "cloud computing".The cloud computing is a new application model for de? centralized computing which can provide reliable, customized and maximum number of users with minimum resource.With the constantly expanding and deepening of the cloud computing applications, it asks for higher demand, therefore, many researchers also strive to improve the cloud computing performance. The article explains the basic concepts of cloud computing. and on this basis, it also introduced the technology of data computation and data storage, it has a detailed description to the multi-user isolation mechanism, and finally to predict the development of cloud computing and its future.
Key words: cloud computing; data computation; data storage; isolation mechanism
云计算[1]是I T基础设施的交付和使用模式，它指的是通过网络以按需、易扩展的方式获得所需的资源（硬件、平台、软件）。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。这种特性经常被称为像水电一样使用I T基础设施。近年来，云计算的研究和应用发展非常快，主要原因是云计算具有如下优点：超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务、极其廉价、安全、方便。
[1]朱近之.智慧的云计算[M].北京:电子工业出版社,2010.
[2] Dean J,Ghemawat S.MapReduce: Simplified Data Processing on Large Clusters[J].Communications of the ACM, 2008,51(1):107-113.
[3]李远方,贾时银,邓世昆,等.基于树结构的MapReduce模型[J].计算机技术与发展,2011,21(8 ):149-152.
[4]韩燕波,王桂玲,等.互联网计算的原理与实践[M].北京:科学出版社,2010.
[5] Sacha K. Middleware architecture with patterns and frameworks[Z].2007.
[6]王鹏.走进云计算[M].北京:人民邮电出版社,2009.
[7]赵培,陆平,罗圣美.云计算技术及其应用[J].中兴通讯技术,2010(8).
关键词： 云计算；虚拟化；存储；云存储
中图分类号：TP313 文献标识码：A 文章编号：1671－7597（2012）1020024－01
0 引言
云计算是将网络中的硬件设施、软件技术、应用服务等各种计算资源整合成一个大的资源池，通过新的计算模式，用户可以按需定制基础设施服务、软件服务、应用服务。在云计算这种新的互联网计算模式中，基础设施云服务是软件云服务和平台云服务的基础，并通过使用虚拟化技术实现虚拟计算资源。然而，存储作为商业应用不可或缺的一个重要组成部分，也是处于云计算架构的底层，与基础设施云共同为用户提供服务。网络服务提供者通过云计算所具有的强大计算能力可以在数秒内处理的信息达千万计甚至亿计。因此云计算的应用与发展将是空前的，“云”应用所带来的商机也将是巨大的。
1 云计算中的虚拟化
作为企业信息化平台的业务核心——数据中心，其地位在信息系统中变得非常重要和更加复杂。如何解决高效利用数据资源，灵活配置和管理数据资源成为云计算关健技术研究的重要课题之一。当虚拟化的概念和技术加入到云计算当中后，不但简化了资源管理的复杂度，还提高了资源的利用率，在减少资源购置和维护成本的同时，也提高了使用效率。当虚拟化技术以服务的形式提供给用户时，用户可以通过互联网随时获得非常优越的计算能力，并对此服务和计算能力自由取用，按需付费。
1.1 虚拟化的概念
虚拟化是将物理资源统一抽象成虚拟资源。这种抽象的方式与实现方式、地理位置、底层资源的物理配置有关[1]。虚拟化可使有限的硬件和软件资源按需重新规划分配，扩大了硬件容量，简化了软件配置过程和资源的访问与管理，提高硬件与软件的综合效率和应用能力。
1.2 虚拟化的应用技术
在虚拟化的应用中，软件虚拟化技术使用虚拟机监视器（Virtual Machine Monitor，VMM）与硬件通信。在系统架构中，VMM处于物理资源与操作系统之间，操作系统成为应用程序。这种架构层次的变化，使架构中的通信部分需进行二进制转换，通过硬件资源接口模拟硬件环境，其处理器和内存访问在特定事件中才涉及到VMM，使软件虚拟化具有一定的独立性。二进制转换的增加，导致系统复杂度上升和软件堆栈增加等结果，使软件虚拟化的管理变得复杂，系统可靠性和安全性也有所下降。
硬件虚拟化比软件虚拟化在性能方面有很大提高，例如CPU的虚拟化则是由支持虚拟化技术的CPU通过特别指令集控制虚拟过程，使VMM可以轻松提高性能。硬件虚拟化架构直接支持操作系统在硬件的上层运行，没有二进制转换，简化了VMM的设计开发，减少很多相关性能开销。随着64位操作系统的广泛应用，硬件虚拟化的64位计算能力也得到很快的发展。
系统虚拟化是将一台物理计算机上的物理资源抽象成虚拟资源，并提供给多个虚拟机使用，每个虚拟机是一个完全独立和封闭的运行环境[2]。每个虚拟机操作系统的使用是相互隔离、互不影响的。使得多个虚拟机复用了同一台物理计算机的物理资源。
2 云计算中的数据存储
随着网络新技术和产品的发展，数据量的存储需求迅速增长，存储系统在当前信息系统投资中所占比例大于50%[3]。云存储是通过集群技术、网格技术、分布式文件系统等技术将网络中大量不同类型的存储设备通过软件技术集合在一起协同工作，提供数据存储和业务访问功能的一个系统，解决了数据存储的方法、空间、建设、维护、成本等问题，数据可以随时取用。
2.1 云存储的概念
对使用者来说，云存储是一种数据访问服务，是一个由众多存储设备和服务器构成的系统集合，核心是应用软件与存储设备的结合[4]。云存储是配置了大容量存储空间的云计算系统，是在云计算的基础上增加了一个存储层，同时增加的还有数据管理和数据安全等相关功能，与云计算的用户访问方式和应用接口相同。
2.2 云存储的应用技术
作为传统存储技术之一的直连式存储（Direct-Attached Storage，DAS）已有40多年的历史，其结构依赖于服务器操作系统进行数据I/O读写和存储维护管理，受服务器总线技术的限制。DAS中存储设备与服务器通过SCSI连接，最高速率小于等于80MB/s。因此，DAS在扩展性、开放性和系统管理等方面局限性较大。
随着网络存储技术的发展和应用，出现了NAS（网络连接存储）、SAN（存储区域网）和基于IP的存储方式。
NAS以数据为中心，通过直连网络向用户提供文件级存储服务。NAS源于以太网数据访问，需预先配置存储空间，具有唯一的IP地址。用户通过Web浏览器即可配置和管理存储空间，访问速度比DAS快，优化后可专用于文件I/O操作和服务，性能优于通用操作系统。
SAN以网络为中心，将存储设备从局域网中分离出来，在服务器与存储系统之间使用光纤信道，利用FC（Fibre Channel）[5]技术，使用IPI、SCSI、iSCSI、ATM、IP等高速网络互联协议连接，将网络和设备的通信与传输物理介质隔离。SAN的服务器和存储系统之间，以及存储系统之间直接传送数据，传输速率高达1062.5Mbps。因此，SAN的高性能存储和宽带网络I/O接口降低了存储系统的成本、复杂度和拥塞发生机率，简化了数据存储和传输。
IP-SAN则是将IP网络和SAN存储技术进行了整合，是指用户和存储系统之间使用IP网络，存储系统内部的服务器和存储
设备之间还是SAN存储。IP网络与SAN存储的结合，在整个网络的范围上得到了扩展，但也使得在两个网络边界增加了协议的转换。
IP存储即是在IP网络中实现块级数据存储。因TCP/IP网络可跨广域网络应用，实现服务器通过IP网络连接存储设备，服务器只需存储设备IP地址和操作权限即可完成设备或资源的灵活配置和使用。以IP网络替代SAN的光纤通道，加上IP网络拥有大量的IP地址，其网络速度已达到10Gb，并可实现大容量、高性能的I/O操作。
3 虚拟化存储的应用
虚拟化存储是对各种存储设备及其子系统进行整合，优化存储管理。惠普认为存储虚拟化是利用异构平台存储空间，使用户对底层物理环境不可见，从而实现环境的有效管理和对资源的合理规划。康柏认为存储虚拟化运用块映射将虚拟磁盘的块转化为逻辑块映射到实际存储设备上。这种对用户透明的映射简化了存储器的管理和配置工作。VERITAS认为存储虚拟化是将物理存储资源逻辑化。因此，简化了复杂的异构存储设备的配置。RFG认为存储虚拟化是利用一种特性的存储设备仿真另一种特性的存储设备的仿真技术[5]。
虚拟化存储即是通过虚拟化技术，把各种异构存储资源统一成单一视图的存储池，采用Striping、LUN Masking、Zoning等技术对该存储池按需进行重新分割与分配，实现存储池动态、透明的增长或缩减[6]。虚拟化存储在对物理存储设备逻辑化处理后，提供给用户的是逻辑视图，利用设备的存储优势，克服了设备的物理局限性。
4 结束语
随着云服务层次的提高，基于云计算的虚拟化技术与网络存储技术已经成为云技术中的关键技术之一，二者的有机结合为云存储的发展提供了有效的保障。研究可信的虚拟化云存储将是提高云服务的主要方向之一。
参考文献：
[1]Introduction to Virtualization. From Wikipedia the free encyclopedia， accessed for http：///wiki/virtualization. 2011-10.
[2]王庆波等，虚拟化与云计算[M].电子工业出版社，2010，12：26-48.
[3]冯丹，网络存储关键技术的研究及进展，华中科技大学，移动通讯，2009，6.
[4]黄晓云，基于HDFS的云存储服务系统研究，大连海事大学硕士论文，2010，6.
[5]Mark Blunden， Mik Berx-Debeys， Daeseop Sim. Storage Networking Virtualization. IBM Redbooks， Oct. 2000：154-192.
[6]刘卫平，网络存储中的数据容错与容灾技术研究，西北工业大学博士论文，2006，11.
【 关键词 】 云计算；云存储；数据安全；加密算法；安全策略
1 引言
近几年来，云计算已经逐渐成为人们热衷研究和开发的领域，受到了多个领域、多个行业的人们的普遍关注。所以，本文对基于云计算模型的数据存储服务模型进行广泛研究，在充分考虑云计算模型具有成本低且实现灵活的特点的基础上，提出了一种面向服务的数据存储和传输方案，该方案通过将对称加密和费对称加密算相结合，实现对数据的加密和解密，为云计算服务在应用中的数据安全问题找到一种行之有效的方法。
2 云计算相关概念
从其本质上来看，云计算其实就是一种分布式系统，该系统能够成分借鉴互联网将分散的超大规模计算能力实体和各种存储资源进行有效整合，然后再将该系统所能够实现的服务反馈给用户。在这些过程中，采用高安全性的云存储是实现云计算所有服务的基本条件，通过互联网上的各种存储设备，可以构成庞大的云存储系统，这也是云计算环境下对数据进行存储和调用的基础，这样，云存储就可以通过分布式的系统来实现将分散存储设备整合为一个高性能整体的目的。
2.1 数据容错管理
在众多的性能要求中，可靠性是存储系统的最根本要求。而对于具有大量节点且系统结构复杂的云存储系统来说，系统的可靠性更加重要。在云存储结构中，可以充分利用分布式数据的备份功能，并将其作为提高系统可靠性的有效手段和方式，同时，还可以通过增强系统的容错能力来确保数据的一致性。
2.2 云存储运行效率
云计算过程中，对数据进行存储和备份会极大地导致系统整体输入和输出的延迟，因此，如何提供云存储系统的运行效率也是应该考虑的问题。
2.3 数据的安全性
在云计算理念的应用过程中，数据的安全问题早就成为人们关注的问题，所以，为了能够从根本上提高数据安全性，彻底解决数据在存储处理中的安全问题，从根本上提高云计算的防护能力，然后再根据云计算系统中可能存在的安全威胁和安全请求，从确定数据的安全策略。
3 云计算的数据安全存储分析
云计算不仅能够给人们带来极大便利，还有可能由于数据的集中处理而危及到用户的数据安全性。在众多现在已经广泛应用的云计算系统中，数据的安全性问题一直为人们所担忧，这也是云计算在应用过程中所面临的巨大挑战。现在，云计算的基础是应用广泛的分布式网络，在这种体系下，每台网络终端都可以看成是一个节点，所以，如果没有完善的安全保障，理论上，可以通过任何节点对其他节点进行访问，给云计算的数据安全带来隐患。一般而言，云计算体系中的数据安全主要涉及数据传输、恢复、长期生存等诸多问题。
4 云计算环境下的数据安全存储策略
现在，经常使用的数据加密算法主要为对称加密算法和非对称加密算法等两类。统计表明，对称加密算法的理论比较成熟，应用较为广泛，且由于该类算法的加密和解密的实现比较容易，而被广泛的应用于大数据量的数据传输，在基于对称加密的算法中个，数据的接收和发送发可以利用同一个密钥对数据进行加密和解密。相对于对称加密算法，就是非对称加密算法，该类算撒可以将传统的密钥分为加密钥和解密钥，从而实现对数据加密和解密的分开控制，从而在计算复杂度上确保的安全性。
4.1 加密处理
在对数据的加密过程中，可以通过对称加密算的密钥生成器器，来随机生成包含校验信息的密钥，然后再将包含给校验信息的密钥通过非对称加密算法进行加密。这样，就可以将经过加密算法处理后的数据信息和对称加密算法的密钥密文，统一打包后发给用户端。此外，在实现数据加密过程中，可以将数据量巨大的用户数据通过对称的加密算法对其进行加密，不仅如此，还可对数据量较小的对称加密算法的有关密钥通过非对称算法进行加密，可以将这两中的加密钥和密文数据一起存储在云存储中心，而在用户终端，只对非对称加密算法和解密密钥进行保存就可以。
4.2 解密处理
在对数据进行解密的过程中，用户首先应该利用非对称加密算法的有关密钥对对称算法的密钥进行解密，以此来还原密钥；然后，在根据还原的密钥通过对称算法对数据包进行解密，这样就可以对全文进行还原。通过对两种加密算法的结合使用，能够充分发挥两类算法的优点，最大限度的避免算法缺陷给数据安全带来的影响，可以在保证密钥安全的同时，利用对称密钥来对所有数据进行加密，还可以利用非对称密钥对数据非常小的校验信息进行加密。通过这种复合算法，希望数据安全性在达到非对称密钥算法水平的同时，是算法的效率接近或达到对称密钥算法的加密水平，彻底解决现代云计算中所面临的数据安全性问题。
5 结束语
云计算已经逐渐成为人们热衷研究和开发的领域，受到了人们的普遍关注。本文对基于云计算模型的数据存储服务模型进行广泛研究，采用一种面向服务的数据存储和传输方案，该方案通过将对称加密和费对称加密算相结合，实现对数据的加密和解密，为云计算服务在应用中的数据安全问题找到一种行之有效的方法。
参考文献
[1] 刘新华,胡纯蓉.云计算中数据安全关键技术和解决方案[J]. 全国商情(理论研究), 2011(04).
[2] 章功干.面向云计算的安全数据关键技术研究[J].科技信息,2011(30).
[3] Armbrust M, Fox A, Griffith R,etal. Above the clouds: A Berkeley view of cloud computing. 2009.
[4] Bellard F.QEMU,a Fast and Portable Dynamic Translator[A]. 2005.
[5] 吕骥,张尧学,周悦芝.云计算环境中P2P计算的优化组织模型[J]. 清华大学学报(自然科学版),2011(11).
[6] 孟庆伟,刘婷.基于云计算的网络教学系统的设计与实现[J].信息与电脑(理论版), 2011(11).
[7] 沈文杰.基于云计算的关键技术在高校中的应用与研究[J].信息与电脑(理论版),2011(11).
[8] Rangan K,Cooke A,Post J,et al.The Cloud Wars:100+billionat stake[J]. 2008.
作者简介：
购物车(0)