时间:2023-07-28 09:18:57
绪论:在寻找写作灵感吗?爱发表网为您精选了8篇云计算的基础架构,愿这些内容能够启迪您的思维,激发您的创作热情,欢迎您的阅读与分享!
关键词: 云计算; 桥梁安全与健康监测; 数据中心; 数据管理技术
中图分类号:TP391 文献标志码:A 文章编号:1006-8228(2013)12-18-04
Basic architecture and data management technology of bridge safety and health
monitoring data center based on cloud computing
Tu Huimin1,2, Wu Jufeng1,2
(1. Wuhan Bridge Science Research Institute(BSRI) Ltd.MBEC, Wuhan, Hubei 430034, China;
2. Key laboratory of bridge structure and health of Hubei province)
Abstract: With the development of bridge safety&health monitoring data center (BSHM-DC) technology, the monitoring data is increased rapidly in exponential speed, which requires the data storage and management technology of data center to be more intelligent and efficient. In this paper, the data management technology and developing trend of BSMS-DC is put forward firstly. After illustrating the basic architecture of BSHM-DC on the basis of cloud computing, the selections of key devices and related software are discussed. Lastly, its application expectation of BSHM-DC is prospected.
Key words: cloud computing; bridge safety &health monitoring (BSHM); data center(DC); data management technology
0 引言
桥梁安全与健康监测系统是通过在桥梁的关键部位布置高可靠性和耐久性的各类传感器,对结构内力、变形、动力特性、环境状况进行实时监测,获取桥梁在营运期内受各种荷载作用下的结构响应,通过理论计算和规范值与实测值的对比、分析,实现结构异常响应报警、结构营运安全性评估、结构损伤识别等。由于该系统7*24小时不间断检测,所采集的数据量飞速增长。在面对多座桥梁监测系统集成管理的情况下通常采用直联式数据存储方式,其数据的存储能力、数据管理难度、数据安全,以及存储资源的利用等,都难以满足系统设计需求。
云计算可以满足新一代数据中心对网络、存储和计算的业务需求,并能提供丰富的应用服务,是新一代数据中心的核心要素[1-2]。本文通过引入云计算的基础架构,建立了基于云计算的桥梁安全与健康监测数据中心,将分散在全国各地的监测系统数据进行集中可靠的存储与管理,并通过云计算数据中心向用户提供高效、安全的服务。
1 桥梁安全与健康监测数据中心建设的现状
随着在役桥梁安全与健康监测建设的发展,桥梁安全与健康监测系统中海量数据的存储与有效利用日显重要,并成为在役系统普遍关注的一个重点。一个中等桥梁安全与健康监测系统数据日增长量在3GB/天左右,一年有1.1TB增量的数据,数据的维护管理主要依赖系统管理员定期执行,数据管理的实施方式难以统一。随着数据量的增加,数据管理工作量、管理难度及管理成本成倍增加,数据也得不到有效利用。
桥梁安全与健康监测数据中心引入云计算,可将业务数据和应用在公有云和私有云之间同步,当数据中心构建的私有云出现故障,应用可以无缝迁移到公有云中。通过云计算将分散在全国各地的业务系统数据通过INTERNET进行集中存储与管理,可向桥梁技术研究者提供数据共享服务分析桥梁健康监测海量数据;桥梁管理单位即使不具备桥梁专业技术知识也可以在任何地方、任何时间监测到桥梁的实际运营状况,获得桥梁健康监测报告及桥梁营运安全性评估等服务并实时反馈专家意见,大大提高了桥梁管养效率。
基于云计算的桥梁安全与健康监测数据中心建设分两部分,一部分是集成中心,另一部分是分散在全国各地的分中心。集成中心的数据增长量在10GB/天,分中心的数据增长量在3GB/天左右,增长量会随着业务量的增加而增加。集成中心利用云计算技术对服务器、存储、网络等IT资源进行虚拟化,将所有的IT资源放在一个资源池中并进行动态资源管理,对IT资源进行监管和云管理。当资源池中分配给某个桥梁安全与健康监测系统的资源出现故障或者该系统获得的资源不够用的时候,云管理平台会自动分配给它新的资源,从而保证系统7*24小时不间断运行。
分中心的数据通过公共Internet网络与集成中心组成云网络,数据进行同步,在集成中心对数据进行异地容灾备份。集成中心有两份数据,一份数据面向桥梁安全与健康监测系统(数据库A),一份数据是完全备份数据(数据库B)。我们主要考虑如何优化实时数据读取和历史数据查询。数据库B中保留所有数据,数据库A只保留最近1周的数据;业务系统实时读取的是数据库A中的数据,而查询一周之前的数据就读取数据库B中的数据。
图1 分中心数据库结构与操作
2 关键技术
云计算(Clouding Computing)由Google、Amazon等公司于2006年首先提出,它是一种利用互联网实现随时随地、按需、便捷地访问共享资源池(如计算设施、存储设备、应用程序等)的计算模式[3]。我国政府高度重视对云计算的发展,把其列为重点发展的战略性新兴产业[4-5],云计算技术的应用已成为国内外的热点研究问题[6-8]。
基于云计算的桥梁安全与健康监测数据中心的建设所需专业涉及面较广,如桥梁专业、网络通信专业、计算机专业等。本节着重讨论其在计算机领域内实现云计算数据中心的关键技术。
2.1 虚拟化技术
虚拟化技术能让所有计算元件在虚拟的基础上运行,是实现云计算数据中心不可缺少的功能。通过把有限的固定的资源根据不同需求进行重新规划以达到最大利用率的思路,在IT领域就叫虚拟化技术[9-10](Virtual Technology)。这种解决方案能在很大程度上优化资源、节约成本。虚拟化技术包括计算虚拟化技术、网络虚拟化技术、存储虚拟化技术。系统虚拟化前后的特点如表1所述。
表1 虚拟化前后特点比较
[虚拟化前\&虚拟化后\&每台主机一个操作系统\&每台主机上运行多个虚拟机,每个虚拟机一个操作系统
\&每台主机上运行多个程序,可能造成冲突
\&多个程序可分别在运行在多个虚拟机上,应用程序相对独立的运行空间,避免冲突
\&每台主机配一个存储,存储资源得不到有效利用,且一旦存储出现单点故障,数据可能丢失
\&多个虚拟机共享存储,当一台主机出现故障时,会自动分配其他主机上的硬件资源给故障主机的应用程序\&硬件成本高,且配置和管理困难\&虚拟机独立于硬件运行,可动态资源分配,新程序的部署工作只需要几分钟,有效节约硬件和维护成本
\&]
目前虚拟化技术的产品主要有EMC的 VMware虚拟化产品,Microsoft的Virtual Server, Sun的Virtual Box,以及Ctrix公司的Xen Server和Xen,占市场份额最大的是EMC的 VMware虚拟化产品。
2.2 数据存储技术
基于云计算的桥梁安全与健康监测数据中心需要满足大数据管理的需求,为大量桥梁管理者提供服务并且为桥梁研究者提供大数据分析功能。数据安全可靠存储是实现大数据管理分析的基础。
数据存储系统从物理结构来看,底层主要是磁盘,通过光纤、串口线等与磁盘后的板卡和控制器相连。目前最常用的存储方式有DAS(直接连接存储)、SAN(存储区域网络)和NAS(网络附加存储)。直连存储(DAS)是直接通过SCSI线缆或者光纤直接连接到服务器上。存储区域网络(SAN)是通过网络方式连接存储设备和应用服务器,目前常用的SAN结构根据连接介质不同而分为FC SAN和IP SAN。网络附加存储(NAS)是将网络存储设备直接放在网络上提供文件共享服务。这三种技术优缺点如表2所示。
表2 DAS、SAN、NAS数据存储系统技术优缺点
[特征\&DAS\&SAN\&NAS\&安装难易度\&较难\&较难\&很容易\&集中管理\&难\&专用软件\&基于网络\&扩展性\&低\&高\&中\&数据共享\&难\&通过软件实现\&内部实现\&处理能力\&强\&强\&视网络情况而定\&备份\&传统方式\&服务器不参与\&多种方案\&容灾\&基于服务器\&端对端及多点容灾\&端对端方案\&安全\&中\&高\&低\&]
目前主要存储厂商的FC SAN存储可以实现8Gbit/S的传输速率,但费用较高,所以中大型数据中心建设中还是处于领先地位。但是随着IP SAN技术的发展,较高的性价比使FC SAN存储逐渐扩大了在市场的份额。
2.3 动态资源管理
云计算的资源包括存储资源、计算资源、网络资源、基础设施资源以及其他资源[2]。当应用云计算时,面对大量设备和相关技术,如何有效整合各种资源并实施动态资源管理是实现云计算的关键。云计算动态资源管理系统的基本功能,是接受资源请求,合理地调度相应的资源并且把特定的资源分配给资源请求者,使请求资源的业务得以运行。它能跨资源池智能动态调整计算资源,使IT与业务优先级对应,动态提高系统的管理效率。
云计算的动态资源管理必须处理好存储架构问题,解决资源部署、监控和调度策略等问题。在VMware虚拟化产品中,DRS(vsphere Distributed Resources Scheduler)可以根据每一个虚机的实际运行情况,适时地对内存、CPU、网络的消耗进行动态调整,将其平均分配到DRS集群的每一台主机上面。动态分配依靠VMotion实现,所以,VMotion是DRS的先决条件。
3 云计算数据中心实现
基于云计算的桥梁安全与健康监测数据中心实现了数据中心服务器、网络、存储虚拟化及负载均衡,其基础架构拓扑图如图2所示。
整个方案通过两路6核服务器配合后端IP SAN存储技术,并采用云计算虚拟化技术来实现桥梁安全与健康实时监测。在云计算操作系统软件的支持下,将3台两路6核服务器组建HA集群,并配合DRS及VMotion等高级功能,实现业务的连续性,减少计划内宕机时间,有效地提高资源利用率。
3.1 计算系统设备及软件实现
计算系统设备主要是指服务器,服务器的选择上主要考虑的是服务器的性能,满足五年内桥梁安全与健康监测业务的需要,主要计算能力由3台两路6核服务器担任。
而计算系统虚拟化的实现主要是利用软件将服务器虚拟化。目前主流的、最具代表性的虚拟化软件是VMware的Vsphere软件。
本方案采用3台企业级两路服务器(HP Enterprise Server)作为核心数据库平台。该服务器能满足数据库应用的高可用性、可恢复性,并具有错误检测及消除单点故障的功能。采用数据库双机方案也增强了应用的可扩展性,满足业务不断增长的需要。由于该型服务器采用全新的因特尔快速互联通道互联架构配合因特尔志强E5系列处理器及SAS 6Gbps高性能磁盘控制器,使系统联机处理性能提升2.5倍以上,数据库性能提升3倍以上,更加适用于基础架构、数据库核心应用。
3.2 存储设备及数据管理软件
在保障客户应用的前提下,存储将成为一个必须受到关注的核心环节,因此双控制器、多处理器和高可靠光纤8Gb存储成为首选,这能有效保障业务的物理稳定特性。出于数据安全备份的考虑,配置大存储容量6TB存储空间服务器作为虚拟机的备份服务器,可以保证在光纤存储故障时或维护时的业务连续性,并对客户的应用数据也做到了统一备份。为了保障业务运行的高性能、可持续性和可扩展性,我们选择了IP-SAN的存储模式,通过串口线连接磁盘与控制器。云计算计算节点服务器通过交换机连接存储设备,实现数据链路的高品质性能保障。
在数据的统一备份处理上,基于虚拟机文件驻留在共享SAN存储上,可以使用存储区的映像来备份虚拟机文件,这样做不会在运行虚拟机的云计算计算节点主机上引起任何额外的负载。统一备份功能可以满足缩短虚拟机的备份时间,移除客户应用服务器上的备份工作负载,以及从中央服务器中执行备份的工作。其工作流程是从运作中的主机上剥离磁盘,将磁盘链接到专用的统一备份服务器上,然后备份磁盘中适当的文件,此时原始主机仍能看到该磁盘并能正常工作。通过有效利用虚拟机存储区的映象文件,高效地保障客户数据安全。
3.3 网络设备
云计算数据中心网络需实现双链路可靠冗余连接、负载均衡,充分考虑网络的可管理性。本方案采用两台DLINK交换机实现设备冗余,同时通过实现网络虚拟化来保证网络策略安全,使之不受虚拟机位置迁移的影响。
3.4 云平台管理
云管理平台是负责整个数据中心的资源池管理、是实现IAAS的关键环节。本方案采用VMware公司的Vcenter软件,与其他的管理软件相比,该软件的使用为IT管理者大大降低了云计算虚拟环境管理的难度。
该云平台是目前最强大的虚拟环境管理平台,它能提高在虚拟基础架构每个级别上的集中控制和可见性,无论是几十台还是几千台虚拟机,都能集中、简单地管理。它可以通过使用向导或者模板,在几分钟内创建新的虚拟机或主机,最大限度地减少错误和停机;它还可以借用DRS(vsphere Distributed Resources Scheduler) 持续监控各个资源池的使用情况。此外,借助vCenter API和.NET可实现vCenter Server和其他工具的集成,并且支持在vSphere Client中嵌入自定义插件,为管理IT环境提供选择自由。
4 结束语
目前,基于云计算的桥梁安全与健康监测数据中心建设还处在初级阶段,随着桥梁安全监测技术和云计算技术的发展,云计算数据中心会逐渐形成系统化、网络化的全国性的桥梁安全与健康监测平台。该平台能面向所有桥梁行业的客户,提供存储空间及桥梁安全与健康监测服务;同时还能根据存储的大量桥梁相关数据,进行数据挖掘及数据分析,在桥梁学术研究方面具有重要意义。
基于云计算的数据中心建设是一个复杂的系统工程,本文着重从桥梁安全监测数据中心的关键技术方面阐述了系统基础架构,以及关键设备和软件的选型,希望能为其他行业数据中心的建设提供一些参考。
参考文献:
[1] 林小村.数据中心建设与运行管理[M].科学出版社,2010.
[2] 刘鹏.云计算[M].电子工业出版社,2011.
[3] MELL P, GRANCE T. The NIST Definition of Cloud Computing[R].
National Institute of Standards and Technology, SP800-145, Gaithersburg:U.S Dept. of Commerce,2011.
[4] 国家科学技术部.中国云科技发展"十二五"专项规划[EB/01].
/tztg/201209/W020120918516104069531.doc,2012
[5] 工业和信息化部电信研究院.云计算白皮书(2012)[M].工业和信息化
部电信研究院,2012.
[6] 田冠华,孟丹,詹剑锋.云计算环境下基于失效规则的资源动态提供
策略[J].计算机学报,2010.33(10):1859-1872
[7] 朱仕村,张宇峰,张立涛,朱晓文,胡云辉.面向长大桥梁结构健康监测
物联网的云计算[J].现代交通技术,2011.8(1):24-27
[8] 孟凡立,徐明,张慰.基于云计算的高校数据中心设计与实现[J].现代
教育技术,2012.22(3):99-103
[9] 杨望仙,朱定局,谢毅,范朝冬.虚拟化技术在云计算中的研究进展[J].
先进技术研究通报,2010.4(8):5-10
关键词:银行业务 ;批处理流程;Hadoop MapReduce ;云计算
中图分类号:TP302文献标识码:A文章编号文章编号:16727800(2013)0010000104
作者简介:赵曦(1971-),男,博士,上海金融学院信息管理学院副教授,研究方向为互联网金融应用。
0引言
随着大型商业银行业务规模的扩大和信息技术的发展, 数据中心已经成为大型商业银行业务系统与数据资源进行集中业务处理的枢纽,汇集了规模化的IT计算、存储和网络资源。
银行主要承担本外币储蓄、信用卡、对公存贷款业务,银行汇票及联行业务,国际结算和外汇买卖,代收代付等业务 [1]。银行业以网络和信息技术作为其业务处理的核心支撑,形成了前端业务信息采集、中端数据交换和数据中心处理“分布采集、集中处理”模式。随着业务量的增加和金融新产品的涌现,业务管理和信息处理“大集中”后对流程处理效率、系统扩展性和数据存储可靠性提出了更高的要求。金融行业特别是银行业在处理在线联机业务(online transaction)的同时,还需要处理大量的离线批处理业务(batch processing),如影像文件处理、票据结算、外汇清算、薪资、各类报表,批处理业务具有数据量大、占用计算资源多、限时处理完成的特点,银行信息中心通常要配备足够的资源在特定时间段(夜间、周末、月末)进行批量业务数据处理。如何提高批处理业务能力、合理配置计算资源是银行信息中心不断要面对的挑战。
以计算资源和服务虚拟化为核心的云计算架构和技术得到了广泛的认同,正在成为IT产业和信息化应用系统架构的发展趋势,实践表明,基于云计算架构的系统在资源利用、服务效率、运行成本及能源消耗方面具有明显的优势。
本文提出了一种应对批量业务流程处理的优化方法,基本原理是将业务流程的任务节点进行分解和分类,形成流程队列和若干可以进行并行处理分类任务队列,使用Hadoop MapReduce并行计算框架进行并行处理,MapReduce提供的资源调度和容错机制能够有效提高业务处理系统的可扩展性和稳定性。模拟实验表明,流程任务分解优化方法比通常的以流程为处理单元的方式具有一定的优势,可以在云计算环境下分组处理具有共同特征的计算和操作任务,实现优化资源调配,提高批量业务处理的效率。
1批处理业务流程优化
批量业务处理是指一组遵循同一处理流程的重复操作,而涉及的业务流程是一组将输入转化为输出的相互关联或相互作用的活动,活动之间不仅有严格的先后顺序限定,而且活动的内容、方式、责任等也都必须有明确的安排和界定,以使不同活动在不同角色之间进行交接成为可能,批量处理业务流程活动之间的转移不需要人工干预。处理流程中的活动根据数据处理的要求和特点进行设计,如先进行数据核对,然后进行计算,最后进行账户操作,每个活动会产生临时数据。为了提高处理能力和资源使用效率,流程活动设计尽可能遵循以下几个原则:
①独立于其它流程和活动,可进行重复操作;②使用较少类别的计算资源,CPU、网络、存储;③能够进行并行处理。
图1示意了批量流程处理的原理,银行信息中心在每个批处理周期安排若干批处理的规划,配置计算资源,启动和监控批处理过程。每个批处理中包括对应同一处理流程的批量处理任务。
银行信息中心根据资源配置情况,安排批处理规划中的批处理执行,可以做到并行处理,以满足处理时限的要求,每个批处理分配固定的或虚拟化的资源(服务器、CPU、存储、外设),当现有资源不能满足批处理要求时,则需要不断增加资源。这种以批处理流程为单位来决定资源配置的模式(图2)不一定能够确保资源的高效使用,如:需要大量CPU计算的流程同时配置I/O性能较高的资源,造成I/O资源的浪费。经过分析,可以通过优化批处理业务流程和操作来进行改进(图3),以进一步提高资源的使用效率。
以优化流程任务作为并行计算单元,形成批量处理任务队列,根据任务操作的类型来分配最适合的资源,理论上提高了资源配置的精细程度,有助于提高资源使用效率。
2基于MapReduce的批处理优化计算
为了验证提出的以流程任务为基础配置资源的批处理运算架构(图3),我们搭建了Hadoop/MapReduce并行计算实验环境,通过模拟批处理业务,对两种资源配置模式进行比较。
Hadoop[6]云计算平台的核心由HDFS分布存储和映射机制及MapReduce并行计算架构组成,具有开放性、稳定性和扩展性方面的优势,成为了云计算研究和应用的重要平台之一,其架构与提出的批处理流程优化模型吻合程度高。
MapReduce[8]通过两个函数Map和Reduce提供并行计算框架, 将计算任务(Job)分解为可以进行独立和并行计算操作集合(Tasks),提交给Map函数处理,而Reduce函数收集、整理、排序Map函数的计算结果。其基本功能是按一定的映射规则将输入的 (k1,v1)键值对转换成另一个或一批list(k2,v2)对输出,而Reduce将一个或多个Map输出的list(k2,v2)转换为新的键值对list(k3,v3),作为任务计算的输出[2]。
一种基于C++的脚本语言和解释器封装了实现上述功能的基本功能函数,用来描述任务的执行操作。根据上述模拟批次规划和流程节点类型,得出计算队列表。
硬件计算架构使用5台Ubantu Linux服务器提供Hadoop MapReduce并行计算平台,1个NameNode和4个DataNode,网络环境为100M局域网,通过SSH实现服务器之间的连接、控制和HDFS数据复制,流程和任务队列管理程序运行在NameNode上,Map和Reduce实现分布在DateNode上。图7所示为流程优化模拟架构。
平台模拟了以业务流程为处理单元和任务分解优化两种计算架构,使用同样的模拟流程和数据,同时检测了当一个DateNote服务器宕机时的任务容错机制和性能,表4汇总模拟运行的比较数据。
图7Haddop MapReduce流程优化模拟系统架构
流程最短处理时间指流程任务按照关键逻辑路径执行需要的累计时间,当一个任务处理完成后才能激活后续节点任务。以流程为单位的队列处理模式在4个DataNode平均分配流程,每个DataNode处理的流程数量几乎均等,资源的使用率也相同。任务优化分解方法形成了7个任务队列,DateNode资源分配按照优先资源对照表3进行。
流程平均处理时间指进入流程队列到所有任务处理完毕的时间,包括等待和任务处理时间,资源使用差异指CPU和I/O在高度使用和过度空闲的比例关系。
根据实验平台记录的运行数据,在同样的批处理流程和硬件架构条件下,使用业务流程分解优化的并行计算能够处理更多的事务(320min对比430min),资源的使用效率得到提高(54%对比31%),即使考虑到流程分解和多个任务队列管理的额外开销,运行结果还是表明了所提出方法的优势,为进一步深入研究和完善提供了基础。
3结语
银行批处理“大集中”后,其数量和规模不断扩大,银行信息中心不断面临IT资源优化和灵活配置的挑战,一方面要提升IT架构的资源数量和技术水平,另一方面要优化批处理的模式来更有效地利用IT资源(计算、存储、网络、I/O)。
云计算技术的研究和应用成为了IT产业发展的一个重要方向,基于云计算架构的系统在资源利用、服务效率、运行成本及能源消耗方面具有明显的优势。云计算架构的出现也引发了在信息系统设计、功能开发和维护服务的巨大变化。作为以信息化技术作为重要支撑的银行业,正在逐步尝试和分享云计算带来的各种优势。本文在此背景下,提出了一种针对银行批处理业务的优化流程分解方法。
业务流程分解优化方法通过对流程任务分组,可以为实时处理大批量流程的应用领域(银行、证券、保险、电子商务)提高处理效率,MapReduce原理为流程节点处理提供了并行计算框架,其调度和容错机制可以实现系统计算资源的高扩展性和稳定性。模拟实验表明,本文介绍的基于并行计算的优化流程分解方法比以整个批量处理流程为处理单元的方法在效率、架构和灵活性方面具有一定的优势。下一个阶段,拟将该方法进一步完善,在银行等典型批处理业务应用领域进行深化和拓展。
参考文献:
[1]李得仁.银行批量业务后台集中处理模式的实现[J].中国金融电脑 ,2012(11).
[2]李成华.MapReduce:新型的分布式并行计算编程模型[J].计算机工程与科学, 2011(3).
[3]杨志豪.一种适应数据与计算密集型任务的私有云系统实现研究[J].计算机应用研究 , 2011(2).
[4]易小华.面向MapReduce的数据处理流程开发方法[J].计算机科学与探索,2011(2).
[5]DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters[J].Communications of the ACM,2008, 51(1): 107113.
[6]Welcome to Hadoop MapReduce[EB/OL].http:///mapreduce/.
【关键词】云计算;云基础架构;虚拟化技术;分布式存储系统;并行编程模型
1.引言
自新千年IT业引入云计算概念以来,通过广大的市场需求及雄厚的技术支持,大规模云计算系统已成为当今IT业发展的主流。实现云计算的基础是实现云计算系统基础架构。一个云计算系统的优秀与否,关键在于其基础架构是否能够稳定、高效地完成各项任务。本文试图结合相关资料,对云基础架构及其效能进行分析、定义及具体阐述,为下一步研究提供有力参考。
2.云计算简介
云计算的迅猛发展与广大的市场需求和强大的技术支撑密切相关。首先,随着IT业的迅猛发展,各IT运营商都形成了各自庞大的服务器集群。如何实现现有集群的重新整合以降低运维成本,提高效率成为运营商考虑的首要问题;另外,IT市场的迅猛发展也要求各运营商提供更加稳定、快捷的服务。其次,分布式系统、虚拟化技术的不断发展完善,使得服务集群性能的快速提升成为可能。所以,在上述两方面原因的相互作用下,云计算得到了前所未有的发展。
目前,不同公司对云计算有着不同的理解和实现方式。通过对现有云计算系统的分析及对相关资料的研究[1—5],本文认为云计算是以商业需要为出发点,将数量庞大的服务器集群整合成为分布式的资源池,通过虚拟化技术、Web2.0技术将资源池强大的计算能力、存储能力和构建在其基础之上的各类应用以按需计费的形式从不同的层次(Infrastructure、Platform、Application)租赁给用户的一种新型网络运营模式。
由上述定义可得到云计算体系结构如图1。
由图可知,云计算基础架构位于云计算系统的底层,它为云计算系统的出色运营提供了有力的支持。
3.云计算基础架构
3.1 云计算基础架构的定义
目前,业界及学术界对云计算基础架构还没有一个统一的定义利标准。各IT运营商均根据自身的实际情况,以各自的理解定义和实现云计算基础架构的部署。理工大学教授刘鹏在其著作《云计算》中提出:云基础架构及管理层由数据中心与云基础架构、安全产品、基础架构和运营管理三大部分组成[3]。作为虚拟化技术的龙头,Vmware公司在谈到其云基础架构层产品时说道:云计算基础架构是指通过虚拟化技术将传统数据中心转变为云基础架构并在其之上创建云,将IT基础架构作为服务交付给客户使用[6]。Lenk等人在其文章谈及云计算基础设施层时也指出:云基础架构可划分为基础设施服务和资源集两大部分,其中资源集可分为虚拟资源集和物力资源集;而基础设施服务又分为高级基础设施服务、基本基础设施服务、计算服务、存储服务和网络服务[7]。
通过对现有云基础架构以及对相关文献资料的研究,本文认为云计算基础架构是指由硬件资源(PC服务器、磁盘阵列、路由器、交换机及相关配套设备)组成,通过虚拟化技术、分布式并行技术整合形成的用以直接对外提供存储、计算服务或作为基础设施为上层云计算应用提供存储、计算能力支撑的一种高效、可靠并且具有良好扩展性的底层分布式系统。
3.2 云计算基础架构的分类
通过分析研究现有云计算系统及相关[8—12],本文认为云基础架构按照服务的对象可分为基础型云基础架构和外向型云基础架构:基础型云基础架构指主要向运系统上层提供计算、存储资源服务的云基础架构,基础型云基础架构的代表系统有:TFS、GFS、Cassandra、KIDC;外向型云基础架构指直接向用户提供计算、存储资源服务的云基础架构,外向型云基础架构的代表系统有:IBM Ensembles、Amazon EC2、Amazon S3、HyperCloud、Megastore。
3.3 云基础架构的结构体系
通过对当前业界主流云基础架构系统的分析和对相关学术成果的研究,可以看出云基础架构的作用是通过将物理资源转化为虚拟资源池,实现对资源的监控、调度和管理以达到为上层应用和用户提供弹性的计算和存储资源的目的。云基础架构结构框架如图2。
由此本文将云基础架构分为以下五个层次:
1)物理层是指搭建、部署云基础架构所需的物理设备和配套环境。起作用时为云基础架构提供基本的物力资源,并保持物理设备的可靠性。
2)虚拟层是指通过虚拟化技术解除实现方式、地理位置或底层物理配置对计算机资源的限制,打破上层与物力资源之间的耦合关系,形成统一的虚拟资源。虚拟层的作用是为上层提供可靠且能够灵活按需分配的虚拟资源。虚拟层由虚拟计算资源、虚拟存储资源和虚拟网络资源组成。
3)数据层是指对云基础架构内运行的客户数据进行基本操作和管理的层次。数据层主要包含两个部分,既数据处理与数据管理。
4)管理层是整个云基础架构中的一个抽象层次。它对云基础架构的各类资源进行监控,根据实际负载状况对资源进行管理和调度并且根据上层需求对资源进行快速部署,以保证云基础架构高效运行。云基础架构管理层主要由资源监控、负载管理、资源部署和安全管理四个部分组成。
5)服务层是指为上层云计算应用调用云基础架构计算、存储资源预留的接口和对用户使用云基础架构计算、存储资源提供的交互界面。服务层对云基础架构效能的影响体现在服务层各类接口的通用性上。因为服务层接口与上层的松耦合性能够减小底层云基础架构对上层应用的限制,从而提高云基础架构自身的可用性。
3.4 云基础架构实现的主要技术
3.4.1 虚拟化技术
虚拟化是表示计算机资源的一种抽象方法。通过虚拟化,可以简化基础设施、系统和软件等计算机资源的表示、访问和管理,并为这些资源提供标准的接口来接受输入和提供输出[2]。通过虚拟化技术,可以实现在一台服务器上运行多个虚拟机,从而提供服务器的效率。由于绝大部分PC产品均属于X86架构,所以本文论述的虚拟化技术主要指X86架构的虚拟化技术。当前X86虚拟化技术的主流产品是VMware的VMware vSphere。
vSphere主要用于服务器的虚拟化,即在一台物理服务器上运行多台虚拟机,以次达到服务器整合和优化的目的。vSphere的核心是ESX架构,它可分为两部分:Service Console和VMKernel。其中前者提供管理服务,后者提供虚拟化能力。
随着虚拟化技术在云计算中发展中的作用越来越重要,对虚拟化技术的研究也成为热点。对虚拟资源的管理便是热点之一,[13]提出将VM模型集成到资源管理框架里,利用两极调度将VM的管理集成至批调度器里,以次为用户提供调度服务。
当前如Amazon EC2等云计算产品大多是以虚拟机的形式为用户提供计算能力,但对于虚拟机的具体配置,需要用户手动完成,因此虚拟化技术在自适应方面还需要进一步研究。
3.4.2 分布式存储系统
随着IT业的发展,网上交易、网上检索等系统所要处理的数据量越来越大。如何利用最低的资源成本创造最高的运行效率成为各大运营商考虑的首要问题。因此研发人员开发完成了一系列分布式存储系统,为云计算提供了强有力的后盾。
分布式存储系统研发目的是为云基础架构提供高效、海量的数据存储能力。各大运营商在搭建自己的云基础架构前都会开发自己的分布式存储系统如Google的GFS分布式文件系统。Google的GFS(Google File System)[14]是Google研发完成的作用于底层的分布式文件系统。GFS的作用是为大规模分布式应用系统提供强大的数据存储服务。GFS的核心设计思路是将系统故障当作一种常态来处理,实现这一思路的技术主要是提供多个副本进行操作。在接口方面GFS除提供基本的Creat、Delete、Open、Close、Read、Write外还提供Snapshot和记录追加两项操作。Snapshot以最低的开销创建一个文件或目录副本,记录追加则保证多客户同时对文件进行数据追加时的原子性和正确性。
GFS含有一个主控服务器(Master)和多个块服务器(Chunk Server)。一份文件由设备经接口,会被分为有限个数据块(每个数据块64MB)。此外,每个数据块都会产生一个元数据(
当前分布式存储系统已成为云基础架构重要组成之一。在学术界,对分布式存储系统的研究逐渐成为热点。[11]提出并实现了一种对等结构分布式存储系统NDSS,该系统取消了类似GFS中主控服务器的中心节点,而是利用分布式共享内存(DSM,Distributed Shared Memory)实现了数据一致性模块,利用分布式共享位图(DSB,Distributed Shared Bitmap)限制了多个节点对信息的同时访问,解决了同步访问控制问题。以此在对等节点中完成了中心节点的主要功能。从测试结果看,NDSS系统的整体性能优于有中心节点的YNS系统[10]。
目前,云基础架构中著名的分布式存储系统还有Google的Bigtable分布式存储系统和Amazon的Dynamo分布式数据存储中心[11]等。它们虽然为云基础架构提供了强大的动力,但仍有改进之处。
3.4.3 并行编程模型
并行编程模型是云计算中的一个重要概念。它是指系统为高效并行处理海量数据而设定的一组数据处理规则。研发人员为了解决输入数据的并行计算、分发数据等问题提出了并行编程模型的概念。
MapReduce是Google公司开发的一种新的抽象模型,也是当前起主导作用的编程模型。它的设计思路来源于函数式编程语言的映射和简化操作[1]。MapReduce的核心思想是将数据逻辑列表通过Map函数处理成为键值对集(),经过排序将具有相同Key值的键值对放在一起后通过Reduce函数将具有相同Key值的键值对的Value值进行合并。
当前对并行编程模型的研究大多以在MapReduce的基础上提出改进方案为主。在文献[15]中。Zaharia等人根据MapReduce建立在系统同构的假设基础上,提出了LATE(Longest Approximate Time to End)调度算法。通过新型调度算法的改进使得MapReduce在异构环境下运行。
虽然现行并行编程模型为云计算提供了强大的技术支持,在某些具体情况的适用性上还需进一步的完善。
4.结论与展望
当前对云基础架构的研究主要集中在业界IT运营商,在学术界对云计算基础架构的研究主要集中在单个技术性能的改进与提高上,明确提出云计算基础架构概念,并进行整体性理论分析研究相对较少。本文通过分析研究现有云计算基础架构实例及相关文献资料,提出了云计算基础架构定义,指出:云计算基础架构是指由硬件资源(PC服务器、磁盘阵列、路由器、交换机及相关配套设备)组成,通过虚拟化技术、分布式并行技术整合形成的用以直接对外提供存储、计算服务或作为基础设施为上层云计算应用提供存储、计算能力支撑的一种高效、可靠并且具有良好扩展性的底层分布式系统。根据云计算基础架构定义,预计在今后的一段时间内,对云计算基础架构的研究会朝着以下几个方面进行:
1)更加高效的数据交互体验。云计算基础架构为上层应用提供存储与计算能力,在此过程中必然会存在基于请求的数据交互过程。而数据交互的速度会直接影响用户对云计算应用的操作体验。所以对高效的数据交互地研究会成为未来云计算基础架构的研究重点。
2)更稳定的系统运行过程。云计算基础架构位于云计算系统的底层,其运行的稳定与否直接关系到整个云计算系统的运作。尽管当前已有多种技术手段(资源监控技术、同步复制技术,心跳检测技术等)来确保云计算基础架构的稳定性。但是这些技术手段任然存在自身消耗资源过大、检测周期与负载变化不适应等问题。而这些问题也会在今后的云计算基础架构的研究中得到解决。所以系统的稳定性也将是云计算基础架构研究的重点之一。
3)更灵活的系统扩展。随着数据量的增加,云计算基础架构不得不面临系统扩展的问题。而实时变化的数据交互量,使得云计算基础架构在扩展的同时更加注重扩展的灵活性。系统的扩展意味着资源的扩充,而系统扩展后的资源合理分配是体现灵活系统扩展的重要部分。当前尽管各类云基础架构都在努力统一和规范各自系统扩展接口并改进资源分配方式,但资源分配是否能够与负载变化同步依然是问题的实质和仍未解决的问题。而这也是云计算发展的基本出发点和立足点。所以,灵活的系统扩展能力是云计算基础架构未来的重要研究方向。
综上所述,云计算基础架构是一个具有现实意义并充满挑战的新兴领域,它的发展将对云计算发展产生巨大的推进作用,而云计算基础架构也会在未来的发展中扮演越来越重要的角色。
参考文献
[1]陆嘉恒等.分布式系统与云计算[M].北京:清华大学出版社,2011.5.
[2]吴朱华.云计算核心技术剖析[M].北京:人民邮电出版社,2011.5.
[3]刘鹏.云计算[M].北京:电子工业出版社,2011.7.
[4]Tim Mather,Subra Kumaraswamy,Shahed Latif著.云计算安全与隐私[M].北京:机械工业出版社,2011.5.
[5]朱近之.智慧的云计算[M].北京:电子工业出版社, 2011.4.
[6]VMware and Cloud Computing:An Evolutionary Approach to an IT Revolution.
[7]A.Lenk,M.Klems,J.Nimis,S.Tai.What is Inside the Cloud?An Architectural Map of the Cloud Landscape.http:///portal/web/csdl/doi/10.1109/CLOUD.2009.5071519.
[8]房晶,吴昊,白松林.云计算安全研究综述[J].电信科学,2011,27(4):37—42.
[9]陈丹伟,黄秀丽,任勋益.云计算及安全分析[A].计算机技术与发展,2010,20(2):99—102.
[10]张建勋,古志民,邓超.云计算研究进展综述[A].计算机应用研究,2010,27(2):429—433.
[11]吴英,谢广军,刘景.对等结构的分布式存储系统设计与研究[A].计算机工程与应用,2006,42(4):135—139.
[12]王刚,刘晓光,刘景.网络软RAID的设计与实现[J].计算机研究与发展,2000,37(增刊):81—83.
[13]FREEMANT T,KEAHEY K.Flying low:simple lease with workspace pilot [C].//Proc of the 14th International Conference on Parallel Processing.
[14]GHEMAWAT S,GOBIOFF H,LEUNG S.The Google file system[C].//The Proceedings of the 19th Symposium on Operating Systems Principles,Lake Georage,New York,2003.
1)云架构云计算的一开始出现主要是为了解决计算机硬件资源问题,它通过虚拟化方式大大降低企业数据中心的应用成本。在这些年的发展之后,云计算的概念和范畴已经扩展为3个层次:基础架构云(InfrastructureasaService,IaaS)、平台云(PlatformasaService,PaaS)和软件应用云(SoftwareasaService,SaaS)。IaaS指基础设施即服务,这一层的作用是提供虚拟机或者其他资源作为服务提供给用户。PaaS指平台即服务,其作用是将一个开发平台作为服务提供给用户。SaaS指软件即服务,是指将应用作为服务提供给客户。它们主要提供的服务如图1。企业利用云计算架构去进一步解决它的烟囱式问题,但主要目标是降低IT运营成本、提升IT资源的利用率,促进企业自身IT建设从粗旷型向集约型进行转变。从上图可以看出,从底至上,IaaS层主要是将服务器、存储及网络资源虚拟化,将虚拟后的资源作为服务提供给用户;PaaS层可以为用户提供一个包括开发、测试环境以及文档等的开发平台,用户可以在此开发平台上编写应用,并且不用关心服务器部署、网络和存储等问题;SaaS层主要是给普通用户提供无需安装就能直接使用的应用。
由于SOA架构主要涉及的是软件体系的架构,而云计算的三层架构中的PaaS的平台开发中亦涉及到软件架构问题,所以本文中主要将云计算中的PaaS模式与SOA进行分析。在PaaS模式中,对用户提供的服务是一种分布式平台服务,包括开发环境、测试环境、服务器平台、硬件资源等。通过PaaS提供的服务,用户可在分布式平台上定制开发应用程序,并通过互联网传递给其他客户。PaaS能够给企业或个人提供研发的中间件平台,提供应用程序开发、数据库、应用服务器、试验、托管及应用服务。Gartner将PaaS分成两类,APaaS(applicationplatformasaservice)和IPaaS(integrationplatformasaservice)。APaaS主要为应用提供运行环境和数据存储,能够将企业内部自建的简单三层架构的应用直接部署到APaaS;IPaaS主要用于集成和构建复合应用。据Gartner称,虽然PaaS市场的规模相对较小,但在市场上提供不完全PaaS产品的公司却有超过150多家。目前市场上的PaaS产品既包括综合PaaS产品,例如网站旗下的,也包含独立的应用基础架构组件,如数据库及其它为云计算服务提供支持的功能型中间件。目前代表产品有GoogleAppEngine,Salesforce的平台,八百客的800APP等。以GoogleAppEngine为例,它是一个由python应用服务器群、BigTable数据库及GFS组成的平台,为开发者提供一体化主机服务器及可自动升级的在线应用服务。用户编写应用程序并在Google的基础架构上运行就可以为互联网用户提供服务,Google提供应用运行及维护所需要的平台资源。
另外,云计算除了三层架构之外,从横向范畴来说,云还可以划分为公有云、私有云、社区云和混合云等。公有云是指第三方提供商为用户提供的能够使用的云,可在整个开放的公有网络中提供服务。在公有云中,云服务提供商通过自己的基础设施直接向外部用户提供服务,外部用户通过互联网访问服务,并不拥有云计算资源。私有云是为一个客户单独使用而构建的,该客户拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。私有云可由公司自己的IT机构,也可由云服务提供商进行构建,可部署在企业数据中心的防火墙内,也可部署在一个安全的主机托管场所。社区云是由几个组织共享的云端基础设施,支持特定的社区。混合云由两个或者更多云端系统组成云端基础设施,这些云端系统中可能包含公有云、私有云、社区云等,这些系统保有独立性,但借由标准化或封闭式专属技术相互结合,可确保资料与应用程序的可携性。
2)SOA架构长期以来企业面临的关键问题是如何解决已形成的烟囱式的企业计算环境,SOA的出现就是为了解决独立系统间的整合问题,或者说系统架构的问题。SOA作为一种面向服务的架构,是一种软件架构设计的模型和方法论。SOA将异构平台上的应用程序拆分为不同的功能单元(服务),服务之间通过定义良好的接口和规范以松耦合的方式整合在一起。接口是采用中立的方式进行定义的,它独立于实现服务的硬件平台、操作系统和编程语言,这使得构建在各种系统中的服务可以使用一种统一和通用的方式进行交互。从业务角度来看,SOA利用企业现有的各种软件体系,重新整合并构建起一套新的软件架构。这套软件架构能够随着业务的变化,随时灵活地结合现有服务,组成新软件,共同服务于整个企业的业务体系。我们可以把SOA看作是模块化的组件,每个模块都可以实现独立功能,而不同模块之间的结合则可以提供不同的服务,模块之间的接口遵循统一准,可以实现低成本的重构和重组。在SOA的技术框架下,可以把杂乱无章的庞大系统整合成一个全面有序的系统,从而增加企业在业务发展过程中应用系统的灵活性,实现最大的IT资产利用率。
2云架构与SOA架构各自的优缺点
从上两节云架构和SOA架构的概念来看,它们的出现也是为了解决不同的问题,但它们都是企业或政务信息化实施的架构,在业界看来属于竞争关系,甚至有些学者认为云计算可以取代SOA成为新的架构风格。实质上,云计算和SOA架构应用在企业或政务信息化中,各有优势,也有自己的局限性。从发展至今,云计算主要有处理能力强大、应用高度集成、用户成本低、大规模数据存储等优势。但云计算还处于发展初期,局限性也有明显。云的安全性是企业或政府需要考虑的首要问题。另外,现在不同云服务之间的交互能力非常弱,混合云架构缺乏成熟的技术支撑。同时网络带宽的限制也会给云的部署和实施带来一定影响。SOA的优势主要有模块的重用性、模块之间的交互能力以及快速应变能力。SOA方法从服务提供者和服务消费者的角度对功能方面涉及的对象、数据、组件、业务流程、界面等进行层次化,为所有服务提取安全架构、数据架构、集成架构、服务质量管理等中的共用部分。SOA架构契合了企业信息化建设过程中业务创新的需要,同时也可以达到业务重用的效果,充分降低了企业的成本。但是SOA在企业信息化实施过程中仍有一些不足。目前SOA最好的实现方式是web服务,但web服务本身也有不成熟的地方,比如在可靠消息传递、web事务处理等方面的标准还有待完善。另外,如何快速组装服务以及控制服务颗粒度这两方面,还有待进一步研究,而服务颗粒大小问题在某种程度上决定了整个系统的灵活性和效率。
3云架构与SOA架构的交叉与结合
上一节提到云架构与SOA架构在信息化建设中各有优缺点,但其实它们之间除了竞争之外,还有着比较复杂的关系。我们认为,云架构和SOA架构之间可以取长补短,在一定程度上结合起来形成新的架构来更好地支撑复杂的信息化建设。首先,从云计算的架构和SOA的概念来看,SOA在云计算中最广泛使用的地方是PaaS平台的中间件组件。PaaS的中间件包含事务型中间件、消息中间件、远程过程/对象调用中间件、应用服务器、数据库服务器、ESB、BPM等多种类型,SOA架构本身即是一种组件模型,可以组合异构平台中的各种应用程序,而目前PaaS平台的能力还尚未成熟,PaaS架构中正是需要这种标准化的组件模型,来支持其平台中应用程序的开发及部署。同时,SOA架构的特性决定了它可用于包括PaaS在内的任何云服务(包括基础设施服务IaaS和软件服务SaaS)的创建与交付中。其次,云计算对于SOA有着良好的促进作用。由于SOA架构是一个好的架构方法,使用SOA架构建成的信息系统间的运行与协作更加方便、标准化。为了获得云计算的优势,企业用户需要通过接口和架构延展出去连接到云计算资源。
为了更好的使用云计算的资源,企业内部需要一定的架构在核心企业信息系统和云计算资源之间建立链接,而这正是SOA可以做到的。另外,市场上云的类型很多,私有云、公有云、社区云将长时间在市场上共存,形成混合云架构。在这种情况下,SOA架构可以很好的支持混合云的发展,利用模块化架构既可以更好地将模块迁移到云,同时还可帮助云端的应用程序进行整合。SOA在企业应用与混合云架构中的作用大致如图2所示。如图2所示,企业内部应用可通过SOA与混合云中某种云的应用进行互相迁移,同时混合云中不同平台的应用及服务也可通过SOA来进行整合或迁移。总的来说,云计算的发展对于SOA架构在网络、基础架构上的应用都造成一定的影响,它们并不是排斥的关系,相反云计算的发展不仅对SOA不是一种取代关系,而是有显著的促进作用,同时云计算中也需要SOA架构的应用,有效地部署云计算服务需要SOA方法。云计算时代的到来,给SOA架构带来了更大的发展空间。
4发展趋势
通过对云计算和SOA架构之间关系的分析,可以看出两者之间的关系比较复杂,并不是简单的替代关系。上一节最后也提到,SOA与云计算架构是密不可分的,对于将来的发展趋势来说,由于两种架构各自的优势,更实际的方式是将两种架构结合应用。将两种架构结合起来有两种方式,一种是在SOA架构中引入云计算,另一种是在云计算架构中引入SOA,两种方式各有偏重,主要区别是解决问题的出发点和侧重点不一致,而实现的途径基本一致。1)在SOA中引入云计算在SOA架构中引入云计算,主要目的还是为了更好的集成软件服务,包括企业内部信息系统与外部服务的集成,如SaaS和IaaS。有研究表示,使用SOA整合SaaS是可以实现的。通过SOA来整合SaaS服务,可以将较小粒度的SaaS服务集成到一起,提供更抽象、粗粒度的软件服务。SOA平台中的ESB总线可以将云计算中的分布式计算模块、云存储等以服务的方式接入。同时SOA平台需要的IT硬件基础设施,可以直接使用云计算中IaaS层的虚拟化的计算能力单元和存储能力单元,均以服务的方式接入到ESB总线上。前文中提到了,SOA中的中间件平台类似于云计算中的PaaS平台,SOA中所包含的ESB总线、流程引擎、规则引擎等都可以发展为PaaS平台的能力。2)在云计算中引入SOA在云计算中引入SOA,主要是为了解决云计算中不同云服务之间的交互能力弱的问题。如图2所示,混合云架构中不同云服务之间通常很难进行整合和迁移,将SOA应用到此处将有益于解决此问题。同时,通过引入SOA中的ESB总线,还可实现云计算中SaaS、PaaS、IaaS三层架构之间的集成。另外,PaaS层可以将SOA中的数据、业务、流程、展现服务均纳入,提供给在线开发环境中应用,这些服务在线进行服务编排和组装可借助SOA本身已有的流程引擎和规则引擎来完成。
5结论
日前,IBM在北京举办了一场POWER基础架构云媒体交流会。本次IBM POWER基础架构云媒体交流会邀请到了IBM系统与科技部大中华区Power Systems服务器产品部总经理韩忠恒、IBM中国区系统与科技部行业及重点客户技术支持总经理梁建球、IDC中国助理副总裁武连峰、IDC中国高级研究经理周震刚以及众多媒体记者分享了IDC中国云计算基础架构建设指南和IBM Power基础架构云平台的技术与实践经验。
现在很多企业一提到云计算成功模式就会联想到谷歌,继而马上认为分布式就是云计算,殊不知谷歌和亚马逊的业务应用和技术实力与自身企业存在着不同,一旦部署了分布式云平台,结果导致两个孤岛式的架构,造成资源上的浪费,虽然很快的部署了云计算,但没有达到最终的效果。建设云计算,要根据企业性质和业务应用的不同做到量身定制,同时应提升到战略层面。
提起云计算,必会谈及虚拟化,为什么说虚拟化如此重要呢?虚拟化可以提高设备的使用效率,提高设备的灵活性,获得更多的资源利用率。虽然大多数用户已经意识到虚拟化的重要性,但需要注意的是,云计算平台需要企业级的虚拟化,企业级虚拟化才是云计算的基础。
不管是x86架构还是RISC架构,世界上没有一个架构一定是最好的,只要是适合企业的业务架构就应是最好的,任何架构都要与业务相结合。企业中不同的工作负载要根据性质的不同放在不同的架构平台上,对于一般性业务应用运行在x86架构上,而关键业务应部署在Unix平台。最后即使云计算架构不一定是统一的,但要实现统一的管理。在这一方面,IBM Starter Kit for Cloud(SKC)可将您的虚拟化环境从“云就绪”状态过渡到真正的“云”环境,SKC是一个跨平台的快速云服务管理软件,它不仅能对Power平台提供无缝支持,而且对于用户已有的x86甚至都能提供支持。SKC对于x86上KVM提供与Power的一体化支持,统一部署引擎,统一管理界面。
根据IDC的《中国云计算基础架构建设指南》报告显示,以云计算为基础的第三平台已经来临。何为第三平台呢?第一平台是以主机为核心,第二平台以PC为核心、局域网、互联网为核心,第三平台以移动设备和应用为中心,实际上是以人为中心。其中云服务、大数据、商业分析、移动宽带社会化,这四方面作为第三平台的核心。在这里面,最大的基础是云,云在最底层,社会化移动普及率越高,产生的数据量就越大,对IT基础设施的需求也就越大。所以说,云计算是实现智慧行业的重要途径,而云基础设施是重要基础。
对于行业企业来说,企业服务化是一个大的趋势,特别是中国制造企业服务化趋势,目前很多制造企业已经往服务化转型,而不再是我们印象中的传统制造企业只生产产品,而是给用户或间接为有提供服务。所以采用云计算可以增强企业的核心竞争力。企业进行业务变革和转型,需要IT系统做很好的支撑,这些支撑后台一定要有云计算,需要数据整合。
企业建设云计算的六大误区
IDC(中国)行业研究与咨询服务部助理副总裁武连峰,在IBM Power Cloud新一代企业级基础架构云媒体交流会上,谈到了现在企业建设云计算时存在着六大误区:
误区一:重概念,轻本质。用户往往关注于买多少软硬件产品或服务,而忽略了云计算的本质是提高服务器资源利用率,节省成本和如何提供即时服务。
误区二:重实施,轻规划。
误区三:x86架构就是云计算。
误区四:重硬件,轻较件。很多企业一提到云计算,马上买服务器,买存储,如果云计算没有很好的基础架构软件,没有很好的系统管理自动化软件,云计算硬件就不能发挥它的作用。
误区五:重虚拟,轻管理。大部分企业只是实现局部的虚拟化。云计算本质应该是一个全方位的虚拟化,这些虚拟化必须要用到很好的管理,才能够使它自动化起来,使整个IT架构做更好的提升。
误区六:重创新,轻移植。大部分用户部署云计算是为了部署新应用,而忽略了对原有应用该如何进行移植。
基于以上六个误区,IDC建议云计算基础架构实施应经历以下三个时期:
第一时期:一是规划,二是准备
在规划方面应首要注意两点,一是明确企业实施云计算的目的,二是确保最高管理层的参与。从云计算整个基础架构来看,促进业务比节约成本更重要。云计算对于企业来讲,不仅是IT的变革,实际上还涉及到IT整体架构的改变,而这种变革与业务的变革息息相关,所以一定要有最高领导的参与,在实施过程中才会更加得心应手。
在准备阶段要明确企业IT中有哪些应用,对企业自身的业务进行分析,不同的业务将会采用不同的体系架构实施。对于企业的核心
应用,交付成本高,适合企业级的私有云的基础架构;而一些数据分析,包括一些协作,更适合融合性的云计算基础架构;与消费自动化相关的应用,适合开放云计算架构;像电子邮件或网站,更适合公共云的外包。
第二时期:实施和深化
虚拟化是云计算的开始,但需要注意的是一定要建立企业级的虚拟化资源池。通过虚拟化创建资源池,其中安全性是用户认为最重要的技术特性,灵活和可扩展性,硬件性能排在安全性的后面。
全方位的虚拟化,包括服务器、存储、网络。这三个虚拟化,一是计算能力的虚拟化,二是存储能力的虚拟化,三是传输能力的虚拟化,这样就会把服务器的计算资源、存储资源、网络带宽资源都会充分利用起来,不会有一个瓶颈。但现实情况是,用户购买了很多服务器,但如果做云计算,就需要采购一些虚拟化软件支持整个云计算平台基础设施,结果发现购买虚拟化软件甚至比买一台服务器还贵。最后还是要用单机甚至集群的方式把硬件搭建起来以后,在运行使用过程中出现很多问题。一是从性能和资源协调上没有把这些服务器做很好的资源利用。二是从自动化的角度来讲,没有做很好的自动化,包括资源分配的过程中,很多需要IT人员参与,大大降低了效率。
虚拟化完成之后,一定要通过管理自动化和资源自动化,最后实现资源的整体调度,包括资源池的实时监控,包括生命周期管理,映像管理,快速部署,动态迁移等。在这一方面,国内外用户的差异很大,国内用户在这方面的投资相较于国外要吝啬的多,其实,如果不做好管理自动化和资源自动化,做好资源池的匹配调度的话,实际上整个云计算的基础架构设备并没有很好地发挥起来,整个IT效率没有提高。
从虚拟化到自动化的云计算深化过程,分为4个阶段,第一阶段是虚拟化,据据IDC全球研究结果显示,服务器虚拟化率已经达到64%,第二阶段是将虚拟化和自动化流程结合起来,这部分用户有32%,第三阶段是把虚拟化、自动化流程以及融合的基础架构,包括网络、存储融合起来,从绿色节能以及从总体效率上会更少,这里目前还很低,只有3%。第四阶段是一个理想状况,通过虚拟化、自动化流程到融合架构,最后做到自服务、自适应,这样大大减少IT部门人员的压力,同时使IT能更好地跟业务融合。这部分用户只有2%。
第三时期:应用和管理
现在企业构建云计算貌似更加盲目,已然忘记最初的目的,而只是为了云而云,所以说,上云计算不是目的,在云上跑什么应用才是关键。
【关键词】云计算;企业IT架构;搭建
0 引言
正如知名调研公司Gartner的分析师所说:“云服务是多种多样的,每种类型的云服务都有不同的发展前景。有些云服务注重的是企业的业务方面,具有很强的适应性,多样化是其显著特点。”在诸多云服务中,云计算的发展前途巨大,特别是在企业的IT架构构建上。云计算带给企业的不仅仅是技术上的变革,更是企业内相应的IT构架流程以及与之相应的业务的一场革命。毫无疑问,云计算将会成为未来企业IT架构搭建的主要模式。接下来本文将对基于云计算的企业IT架构搭建做出浅显的分析及探讨。
1 云计算概述
所谓云计算,其基本原理就是通过互联网和远程数据中心,把无数的服务器相连接,使得计算机的运算能力得到了极大的提高(甚至达到10万亿次每秒),从而实现很多传统计算机无法实现的事情。之所以称之为云,是因为云计算中的资源较传统IT资源有很大不同,其具有“云”的特性,使用者可以随用随取,具有极大的方便性。对于一般用户来说,云计算可以看成一种通过网络以按需、易扩展的方式获得所需的IT服务。对于专业人员来说,云计算是一种基于互联网的,融合了分布式、并行计算等IT技术,具备大规模、低成本、高度弹性、自动管理等特征的互联网和计算机技术的商业实现。
通常比较常用的云计算服务模式有以下几种:首先是基础设施即服务(IaaS,Infrastructure as a Services),即提供按需付费的弹性资源服务,例如弹性计算、存储资源。其次是平台即服务(PaaS, Platform as a Service),即提供基于可扩展云基础设施的按需付费平台服务,例如运行环境、用户数据服务、应用开发环境等。然后是软件即服务(SaaS,Software as a Service),即一种以互联网为载体,以浏览器为交互方式,把服务器端的程序软件传给远程用户来提供软件服务的应用模式,提供基于可扩展云架构的按需付费应用软件服务。
2 传统的企业IT架构的基本以及面临的核心问题
由于企业的特殊性,使得企业内部使用的软件和一般大众使用的软件有着极大的不同,最核心的差异在于企业为了保证正常的经营活动,最基本的应用必须有极高的稳定性,而且还必须保证一定的使用周期。通常来说企业内部传统的IT架构搭建主要存在着以下问题。首先企业IT建构所需的一些基础设备不具有实用性,每次构建一个新的IT架构时,很多基础设施都必须重新建设,这样不仅使得搭建周期长,同时还浪费资源,使得资源利用率极低,使得IT架构的搭建成本大大提高。其次是传统的IT架构适用范围比较窄且没有很好的延展性,没有制定统一的标准,使得后期的维护比较困难,维护成本也比较高。
传统的企业IT架构的基本组成为:1)IT构架内的各种管理应用系统,比较常用的有CRM、OA、ERP等;2)IT架构内的其它软件和基础的设施,例如机房、服务器、存储设备、网络设备、数据库软件、操作系统等;3)其他一些保证IT架构正常运行的软件和设备,例如网络安全工具、杀毒软件、安保措施、供电保障、IT组织与IT管控体系等。
3 企业传统IT架构与基于云计算的企业IT架构的比较
云计算的划分有很多种,通常比较常用的是以服务和部署为依据来划分,目前在实际应用中比较成熟的有公有云、私有云和融合云三种模式。目前来说企业传统的IT架构中有着数量庞大的服务器,虽然在庞大的服务器的作用下,使得企业内的计算机具有很高的运算能力,但是这样会带来一个弊端,那就是随着企业IT架构中服务器数量的增加,IT架构中数据中心就越难管理,同时IT架构的成本也会大幅度的提高。同时企业传统IT架构的稳定性和可靠性也不尽人意,比如每个服务器的不稳定性为0.01%,但是成千上万个服务器叠加使用时,服务器的整体稳定性则会大大降低。虽然可以通过改变硬件的设计来提高IT架构数据中心的稳定性,但这种方法仅适用于服务器数量不多的时候,当服务器数量急剧增多时这种方法的效果就大大降低。
如果把云计算技术运用到企业IT架构的搭建中则可以极大的提高IT架构的稳定性,通过云计算技术使IT架构中的服务器构建成一台逻辑上的计算机,实现资源的共享和按需分配。这样不仅从根本上提高了服务器的稳定性,同时也使IT架构数据中心的计算能力得到了保证。目前很多规模庞大的互联网公司在搭建企业IT构架时都采用了这种做法,如微软公司,谷歌公司,百度公司等。
4 云计算出现后,企业实现IT架构的思路
随着云计算的出现,企业在IT架构搭建时应该从以下方面着手。首先从IT架构的基础设备层进行着手,从传统的烟囱式的建设模式转变为集约化的建设模式,要充分运用IaaS,将众多服务器资源池化,为应用系统的承载提供所需的计算资源,快速提供计算资源以满足用户突发资源需求。其次,要充分发挥PaaS的关键作用,注重能力汇聚、能力开放和统一应用开发环境的建设,通过分布式并行计算算法,充分聚合服务器的计算和存储能力,为特定应用提供海量数据处理能力,形成高效的软件应用开发和托管平台,聚合第三方软件开发者和终端用户演进。另外,在应用层面,要从实际的建设、运营、维护角度出发,优先选择SaaS应用。因为SaaS提供商为用户搭建信息化所需要的所有网络基础设施及软硬件运作平台,负责所有前期的实施、后期的维护等一系列工作,作为客户的企业则只需根据自己的需要,向SaaS提供商租赁软件服务,无需购买软硬件、建设机房、招聘IT人员,更重要的是在企业IT架构中采用云计算技术还会增加企业的自主性,企业在设计之前可以根据自己的实际需求来向软件商购买或定制所需要的服务,同时通过互联网完成软件的使用,一方面使计算工作从终端侧转移至数据中心侧,降低对终端设备的计算能力要求,另一方面也减少了企业IT架构构建的成本,也极大的方便了企业对经营活动的管理,而且离线数据的使用还使得企业在使用这些软件服务时,不受时间和地点的限制,使企业办公更加便捷安全可靠。
5 结束语
总而言之,企业在IT架构构建方面,应该充分利用云计算的优势和优点,从而使企业IT架构更加科学化,更加稳定可靠,在保证企业正常运营的基础上,进一步提升运营价值。同时由于云计算在我国还处于起步阶段,为了使云计算能更好的在企业IT架构中发挥作用,仍需要大家的不断探索和努力。
【参考文献】
[1]张东.大话存储 网络存储系统原理精解与最佳实践[J].清华大学出版社,2008,11.
关键词:大数据 云计算 资源池
历史上曾发生过三次技术革命,分别是十八世纪中叶的工业革命、十九世纪的电力革命和二十世纪至今的信息技术革命。每一次技术革命都促进了生产力的大幅度提高,尤其是信息技术革命期间,计算机和互联网的发展,极大地提高了生产力,甚至从许多方面改变了人们的生活和工作方式,人们也因此步入了信息时代。物联网、电子商务、ERP等新的互联网技术的发展为企业运营管理带来便利的同时,也产生了大量结构化的非格式化的数据。如何通过数据挖掘,从海量数据和大数据中获得有用的信息,为用户提供更好的用户体验,从而增强企业的竞争力,这对企业来说是一个巨大的挑战,同时又是一个难得的机遇。
随着信息时代的来临,企业为解决大数据难题,在传统的网格计算等计算技术的基础上,开发出了云计算技术。云计算是被改进了的分布式计算技术的一种,它能够以极低的成本高效处理海量数据,被越来越多的企业所关注和研究。数据处理是企业运营的一个重要内容,也是其关键部分。云计算技术凭借其众多优点和无限的发展潜力,必将继计算机和互联网之后,成为信息技术革命期间第三个深刻影响未来的发明。
1 云计算概述
云计算最早的定义是由Ramnath Chellappa教授于1997年在美国芝加哥召开的INFORMS(运筹学和管理学研究协会)会议上提出的,那时的云计算界限是由经济的合理性来决定的。后来云计算凭借其“高效率,低成本”的优越性,被许多IT企业所关注 ,并被越来越多地应用于商业领域,经过如亚马逊、Google、IBM、微软等众多大型IT企业近两年的研究实践,云计算技术的商业特性得到了前所未有的开发。云计算从单纯的一种架构技术,发展成为一种服务,甚至是一种资源。
1.1概念
云计算是一种计算服务的交付和使用模式,它通过网络架构、分布式计算、虚拟化等技术将若干计算机硬件个体连接成为一个巨大的计算资源池,也就是所谓的“云”。
云计算也有广义的云计算和狭义的云计算。所谓狭义的云计算,是指基于IT基础设施交付和使用的一种服务。所谓广义的云计算,是指云计算作为一种服务被交付和使用,这种服务的范畴很广,可以是与IT、软件和互联网相关的,也可以是其他任意领域的服务。但是不论是狭义的云计算还是广义的云计算,他们的共同特点是易扩展,而且是按需分配和收费。
可以说,云计算既是一项技术,也是一种服务。本文是将云计算作为一种服务来解读的。
1.2发展过程
Google成立之初并没有充足的资金购买大量的服务器,他们的创始人布林和佩奇就通过购买被淘汰的主板、过期的CPU、便宜的小容量硬盘和廉价的电源等最便宜的器件自己搭建服务器,并通过自己设计的一套新型运算方法将这些独立的服务器连接起来,实现了高性能运算,这就是“云计算”的雏形。
在WEB2.0时代,个人电脑和互联网得到了前所未有的普及,人们也从单纯的信息消费者成为了信息的生产者,信息的数量出现了爆炸性的增长,如何以高性价比的方式存储和处理数据成为一个被大家热议的话题。2005年,Apache基金会开发出了一个类似于Google的开源的云计算架构的Hadoop基础架构,许多IT企业基于这个架构开发出了自己的云计算架构,并出租他们的云计算服务,极大地促进了云计算技术的推广和发展,也为许多中小型企业提供了成本极低而功能强大的计算平台。
1.3原理
以Google云计算为例,云计算架构主要由以下几个部分构成:Google文件系统GFS,并行编程模式MapReduce,分布式锁服务Chubby,分布式结构化数据表Bigtable,分布式存储系统Megastore以及大规模分布式系统的监控基础架构Dapper。Google将海量数据分成若干块分布存储在GFS上,然后通过MapReduce技术高效处理这些数据然后生成结构化文件存储在Bigtable上。
也就是说,要实现云计算必须要有一个分布式文件系统,然后通过MapReduce这种处理海量数据的并行编程模式将文件系统上的海量数据进行处理,并将结果存储到另外一个结构化数据库中,从而实现高效的信息处理。
1.4应用形式
从功能方面来讲,云计算的应用形式有三种,它们分别是:基础设施即服务Iaas(Infrastructure as a Service)、平台即服务Paas(Platform as a Service)以及将软件即服务Saas(Software as a service)。Iaas提供的服务是云计算架构中的各种硬件设施等基础资源,用户可以根据自己的需求任意部署和安装运行任意软件,同时管理和控制底层的云基础设施。Paas为用户提供一个已经部署好的云计算基础架构,用户可以在这个既成架构上任意部署自己需要的应用程序,但不用自己管理和控制云基础设施。Saas为用户直接提供已经安装在云基础设施上的应用程序,用户不用自己管理云基础设施和上面的应用程序,只需通过客户端对云平台进行访问即可应用云基础设施上面的应用程序。
2 云计算在商业应用中的局限性
虽然云计算在商业应用领域有着独特的优越性,但其自身拥有的局限性是云计算技术进一步发展和普及的最大障碍。
2.1安全性
安全性是用户选择云计算时的首要考虑的因素,也是云计算实现可持续发展的关键。由于多个用户共享同一个云基础设施,这就必然造成用户对自身企业数据泄露的担忧,这也是许多大型企业对云计算技术始终保持观望态度的重要原因。
目前许多提供云计算服务的企业开发出了公有云、私有云和混合云等不同的云架构,其目的就在于为企业提供更多的选择,从而更好的避免数据泄露的风险。
云计算的安全性研究是今后云计算发展的一个重要课题,解决好云计算的安全性问题,必将推动云计算向更高水平发展。
2.2带宽限制
云计算的服务是通过互联网实现的,而云计算资源池中的海量数据也是通过互联网流动的,由此就容易发生服务中断、网络延迟等问题。企业如果要实现云计算的流畅运行和操作,多多少少都要改变企业自身的网络架构,而且需要更大的宽带带宽。然而企业并不是每时每刻都面临海量数据的挑战,改变自身网络架构和一次性部署大带宽对他们来说并不划算。因此要使云计算走进企业,解决网络接入和宽带带宽技术的问题也成为一项重要议题。
3 结束语
云计算技术具有“低成本,高效,环保”的独特商业特性,该特性不但能够被应用于商业领域,更能被拓展利用于科研、数据挖掘和人工智能等社会的各方各面,必将在今后对社会经济文化的发展产生深刻的影响。
【参考文献】
[1]张为民、唐剑峰、罗治国、钱岭,《云计算深刻改变未来》,科学出版社,2009(12).
关键词:云架构;冗余度
中图分类号:TB文献标识码:A文章编号:1672-3198(2012)01-0291-01
1 引言
随着科学技术的进步,IT行业所在的环境复杂性与日俱增,更多的IT预算被用于维护基础架构和维持应用程序的正常运行,而不是更好地满足客户的需要。云的出现似乎给人们带来了新的希望,于是有人做出这样的预测――未来云时代。
2 云架构体系设计
2.1 云架构的概念及特点
云架构这一概念是Google在2006年首次提出的,它是为满足按需分配的服务而设计的软件架构。云架构与我们所熟悉的传统计算机体系不同,云架构是一个层结构,整个云架构层分为显示层、中间层、基础设施层和管理层四个层次。显示层主要用于向用户显示所需的内容,并且利用HTML、JavaScript、CSS和Flash等云技术中间件层为用户提供更多的服务。中间层起着过渡作用,它不但为显示层提供支撑,也可以为基础设施层提供资源上的便利,还可以为用户直接使用。中间层主要通过5种云技术实现:REST、多租户、并行处理、应用服务器和分布式缓存。管理层则是为上面三个层服务的,它提供账号管理、SLA监控、安全管理等技术,目的在于更全面地管理和维护三个横向层的稳定。通过上述分析,整个云架构层可用如下框架来表示(见图1):
图1 云架构层云架构的特点是建立在云架构层的基础上的,它具有如下特点:(1)规模大。“云”系统涵盖大规模的容量,例如IBM、微软、苹果等的“云”具有成千上万台服务器运行,“云”的计算能力和数据容量是一般计算机技术不能媲美的。(2)数据安全性强。云架构层中的管理层对数据、帐号等资源监控和保护,使其免受不必要的侵害;而且管理层可以凭借自身的服务功能应对横向3个层的突况,因此云架构中储存的数据是相当安全的。(3)普适性强。云架构受“云”的支撑,可以对变幻莫测的应用加以控制,一个“云”就可以掌控多种不同的应用程序。(4)伸缩性强。云架构可以根据用户的需要随时改变其最佳容量,达到最优状态。
2.2 云架构的设计
要实现“云”的强大功能,前提是必须要有完整的云架构体系。云架构是一种计算模式架构,它通过“云”把资源、数据和应用等以服务形式提供到用户端。基于前人的研究,云架构主要包括服务控制机群、存储节点机群、计算节点机群、应用节点机群、输入和输出设备这六大部分。前面分析了云架构层的结构,于是可以根据云架构层进行拓展,对整个云架构体系具体设计(见图2)。
冗余度就是指数据的重复度,计算机系统中数据的重复存贮称为数据冗余。数据冗余不但对数据库的完整带来影响,还会浪费存储系统资源。尽可能地降低数据冗余度,是云架构设计的主要目标之一。与关系模式的规范化理论一样,计算机系统处理冗余问题的主要思想就是最小冗余原则。
云计算框架可以更好的管理存储空间,利用云计算的数据冗余处理机制,把数据资料分成若干文件片,分别存储在云层中不同的数据存储设备上,如果有存储设备出现异常,也不会影响到存储资料的完整性。云层中采用节点提取文件特征值,减少数据的重复性,在云层中创建了数据冗余的信息库。
如图2所示,云架构中存在冗余策略,表明在云架构存储中可能存在大量的数据冗余。由于有些关联数据可能需要重复存储,而降低相同数据的储存量,使关联范式达到最优化,是未来云架构所走的毕竟之路。关联数据的局限性体现在数据重复存储,从而产生冗余,加大了云架构的计算量,不仅浪费了存储空间,也减慢了计算机的运行速度。处理能力的受限性表现在对简单信息搜索、对复杂信息屏蔽以及动态信息混乱等。由于产生了数据冗余,使得计算机系统运行速度慢、维护难,达不到顾客的要求,满足不了客户的需要。
由于云存储服务都采用了分布式数据存储方式,通过将冗余数据分散存储在连入云系统的大量存储设备中去,以提高系统的抗摧毁性。在云架构中主要存在副本备份冗余,对于其备份可使用存储文件的不同之处,减少其存储量,处理好云架构中的数据冗余,节省资源,达到系统最优存储。
4 结语
处理好云架构的冗余度,能够通过最少的投入得到最多的回报。未来将是云的一个时代,云架构的搭建和运行逐渐兴起,它提高了计算的效率,最大限度的减少了数据的重复性,并能够有效及时的处理信息,从而能够未雨绸缪。