时间：2023-03-22 17:36:51
绪论：在寻找写作灵感吗？爱发表网为您精选了8篇大数据技术，愿这些内容能够启迪您的思维，激发您的创作热情，欢迎您的阅读与分享！
关键词：大数据 数据挖掘 营销
中图分类号：F49 文献标识码：A 文章编号：1007-9416（2015）030-0209-01
近几年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。2012 年3 月，奥巴马公布了美国《大数据研究和发展计划》，标志着大数据已经成为国家战略，上升为国家意志。从硅谷到北京，大数据的话题传播迅速。
1 大数据时代
随着计算机技术全面融入社会生活，经过半个多世纪的发展，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。最先经历信息爆炸的学科，如天文学和基因学，创造出了“大数据”这个概念。
1.1 大数据时代产生的背景
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”大规模生产、分享和应用海量数据的时代之所以能够开启，源于信息科技的进步、互联网与云计算技术和物联网的发展。
（1）信息科技的进步。信息处理、信息存储和信息传递是信息科技的三个主要支撑，存储设备性价比不断提升、网络带宽的持续增加，为大数据的存储和传播提供了物质基础。
（2）互联网与云计算技术。互联网时代，电子商务、社交网络和移动通信产生了大量结构化和非结构化的数据，以云计算为基础的信息存储、分享和挖掘手段，可以便宜、有效地将这些大量、高速、多变化的终端数据存储下来，并随时进行分析与计算。互联网领域的公司最早重视数据资产的价值，他们从大数据中淘金，并且引领着大数据的发展趋势。
（3）物联网的发展。众所周知，物联网时代所创造的数据不是互联网时代所能比拟的，而且物联网的数据是异构的、多样性的、非结构和有噪声的，最显著的特点是是它的高增长率。大数据是物联网中的关键技术，物联网对大数据技术的要求更高，它的发展离不开大数据。
1.2 大数据与数据挖掘
Google、Amazon、Facebook、Twitter，这些称霸全球互联网的企业，它们的成功都具备一个共同的因素，就是收集分析海量的各种类型的数据，并能够快速获取影响未来的信息的能力。“购买了此商品的顾客还购买了这些商品”，这恐怕是世界上最广为人知的一种商品推荐系统了，而创造出这个系统的正是Amazon。Amazon 通过分析商品的购买记录、浏览历史记录等庞大的用户行为历史数据，并与行为模式相似的其他用户的历史数据进行对照，提供出最适合的商品推荐信息。Facebook 可以为用户提供类似“也许你还认识这些人”的提示，这种提示可以准确到令人恐怖的程度，而这正是对庞大的数据进行分析而得到的结果。这种以数据分析为核心的技术就是数据挖掘（data mining）。
从技术角度看，数据挖掘是从大量的、复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值的信息和知识的过程。从商业角度来说，数据挖掘是从庞大的数据库中抽取、转换、分析一些潜在规律和价值，从中获取辅助商业决策的关键信息和有用知识。大数据概念的提出，将为数据挖掘技术的发展和应用带来一个很大的机遇。
2 数据挖掘
数据挖掘旨在从大数据中提取隐藏的预测性信息，用便于理解和观察的方式反映给用户，作为决策的依据。
2.1 数据挖掘原理
数据挖掘又称为数据库中的知识发现（Knowledge Diseoveryin Databases，KDD），是一个从数据库或数据仓库中发现并抽取隐含的、明显未知的、具有潜在用处的信息的过程。数据挖掘一般流程主要包括三个阶段：数据准备、数据挖掘、结果解释和评价。在数据挖掘的处理过程中，数据挖掘分析方法是最为关键的。
（1）数据准备。数据准备是从海量数据源得到数据挖掘所用的数据，将数据集成到一起的过程。由于数据收集阶段得到的数据可能有一定的污染，即数据可能存在不一致，或有缺失数据、脏数据的存在，因此需通过数据整理，对数据进行清洗及预处理。
（2）数据挖掘。是数据挖掘中最关键的一步，使用智能的方法提取数据模式，例如决策树、分类和聚类、关联规则和神经网络等。首先决定要提取什么样的模型，然后选取相应的算法参数，分析数据从而得到可能形成知识的模式模型。
（3）结果解释和评价。数据挖掘后的结果需要转换成用户能够理解的规则或模式，并根据其是否对决策问题具有实际意义进行评价。
2.2 数据挖掘技术在营销中的应用
无差别的大众媒体营销已经无法满足零和的市场环境下的竞争要求。精准营销是企业现在及未来的发展方向，在精准营销领域，最常用的数据挖掘分析方法包括分类、聚类和关联三类。
（1）关联规则。挖掘关联规则就是发现存在于大量数据集中的关联性或相关性，例如空间关联挖掘出啤酒与尿布效应；时间关联挖掘出孕婴用品与家居装修关系；时间关联挖掘出调味品、纸巾与化妆品的消费等。
此外，关联规则发现也可用于序列模式发现。序列模式发现的侧重点在于分析数据项集在时间上或序列上的前后（因果）规律，可以看作是一种特定的关联规则。例如顾客在购买了打印机后在一段时间内是否会购买墨盒。
（2）分类分析。分类是假定数据库中的每个对象属于一个预先给定的类，从而将数据库中的数据分配到给定的类中。它属于预测性模型，例如在银行业，事先定义用户的信用状况分为两类：信用好和信用坏，对于一个信用状态未知的用户，如果需要确定其信用度，可以采用“决策树”法构建一个分类模型，决策树方法着眼于从一组无次序、无规则的客户数据库中推理出决策树表现形式的分类规则。决策树的非叶子节点均是客户的一些基本特征，叶子节点是客户分类标识，由根节点至上而下，到每个叶子节点，就生成了一条规则，由该决策树可以得到很多规则，构成了一个规则集合，从而进行数据分析。
（3）聚类分析。聚类是将物理或抽象对象的集合进行分组，然后组成为由类似或相似的对象组成的多个分类的分析过程，其目的就是通过相似的方法来收集数据分类。为品牌找客户，回答品牌“谁来卖”是精准营销首先要解决的问题，科学细分客户是解决这一问题的有效手段。聚类可以将目标客户分成多个类，同一个类中的客户有很大的相似性，表现在购买行为的高度一致，不同类间的客户有很大的相异性，表现在购买行为的截然不同。
3 结语
大数据时代背景下“数据成为资产”，数据挖掘技术作为支撑精准营销的重要手段，将它应用于营销行业的决策中，不仅拓展了数据挖掘技术的应用范围，而且大数据时代的数据挖掘技术可以帮助企业获得突破性回报。
参考文献
[1]维克托・迈尔―舍恩伯格；肯尼思・库克耶.大数据时代：生活、工作与思维的大变革[M].周涛译.杭州：浙江人民出版社，2013.
[2]王伟玲.大数据产业的战略价值研究与思考.技术经济与管理研究[J]，2015（1）.
[3]俞立平.大数据与大数据经济学[J].中国软科学，2013（7）：177-183.
关键词：大数据；数据库集群技术；分布集群
一、分布集群数据库在大数据中的应用
目前，许多数据增长率很高的大型数据库系统正被用于改善全球人类活动，如通信、社交网络、交易、银行等，分布集群数据库已成为提高数据访问速度的解决方案之一。为多种类型的用户在多个存储中组织数据访问，分布集群数据库的问题不仅在于如何管理大量的数据，而且在于如何组织分布式存储中的数据模式。智能数据组织是提高检索速度、减少磁盘I/O数量、缩短查询响应时间的最佳方法之一。基于规则的聚类是提供数据库自动聚类和数据存储模式解释的解决方案之一，基于规则的集群通过分析属性和记录上的数据库结构，将数据模式表示为规则。使用不同规则池分区的每个集群，每个规则与内部集群中的规则相似，与外部集群中的规则不同。分布集群数据库是一种有向图结构的进化优化技术，用于数据分类，在紧凑的程序中具有显著的表示能力，这源于节点的可重用性，而节点本身就是图形结构的功能。为了实现基于规则的集群，分布集群数据库可以通过分析记录来处理数据集的规则提取。分布集群数据库的图形结构由三种节点组成：起始节点、判断节点和处理节点。开始节点表示节点转换的开始位置；判断节点表示要在数据库中检查的属性。分布集群数据库规则提取的节点准备包括两个阶段：节点定义和节点排列。节点定义的目的是准备创建规则，节点排列是选择重要的节点，以便高效地提取大量规则。节点排列由以下两个顺序过程执行，第一个过程是查找模板规则，第二个过程是结合第一个过程中创建的模板生成规则。提取模板以获得数据集中经常发生的属性组合。在模板提取过程中，分布集群数据库规则提取中只使用了少数几个属性，它旨在增加获得高支持模板的可能性。与没有模板规则的方法相比，该节点排列方法具有更好的聚类结果，这两个过程中的规则生成都是通过图结构的演化来实现。
二、在线规则更新系统的应用
在线规则更新系统用于通过分析所有记录从数据集中提取规则，在大数据应用中，每个节点都有自己的节点号，描述每个节点号的节点信息。程序大小取决于节点的数量，这会影响程序创建的规则的数量。起始节点表示根据连接顺序执行的判断节点序列的起始点，开始节点的多个位置将允许一个人提取各种规则。判断节点表示数据集的属性，显示属性索引。在大数据应用环节，从每个起始节点开始的节点序列用虚线a、b和c表示，节点序列流动，直到支持判断节点的下一个组合不满足阈值。在节点序列中，如果具有已出现在上一个节点序列，将跳过这些节点。在更新每个集群中的规则时，重要的是要找到与最新数据不匹配的属性。因此，规则更新中要考虑的属性由以下过程确定。当计算集群中每个属性和数据之间的轮廓值时，阈值设置为0.85，只有轮廓值低于0.85的属性。将为规则更新过程中的判断节点的属性选择。一些数据的库存值和权重值低于0.85，因此这些值不包括在国民生产总值的规则更新中。在线规则更新系统中包含用于更新规则的属性，每个集群都具有属性的主要值，这些属性是集群质量的锚定点，进而影响轮廓值。在线规则更新系统应用中，完成主要的规则提取过程，这是一个标准的规则提取，在线规则更新系统考虑到数据集中的所有属性。执行该过程，对初始数据集进行初始集群；改善规则更新过程，仅对轮廓值低于阈值的数据执行。
三、大规模并行处理技术的应用
大规模并行处理技术主要用于编写和调试现代处理器的程序，而不是本地汇编程序，所有的书面代码都是从C/C++语言翻译成一个低级的核心汇编程序。在大数据应用中，会产生很多数据，在数据的分析和计算中，应该结合编程技术，标准语言是面向传统体系结构的，这就是为什么编译器不能使用所有可能的DSP体系结构以最佳效率生成代码的原因。为了获得一个良好的优化代码，有必要直接在低级汇编语言上编写代码。为了简化编写程序的任务，可以在某个处理器上使用面向代码生成器。使用一个专门的汇编代码生成器，使用并行结构化的编程语言可以获得比在C/C++中翻译的应用程序更高效的代码，生成高效的汇编代码，该代码积极利用DSP内核的并行性和其他特性。低级汇编代码是由所有编译器生成的，但是它们与传统的基于文本的语言（如C/C++）一起工作。大数据应用环节，在数据分类和计算中，当两个计算操作在不同的操作单元上执行时，才能在一个dsp核心的vliw命令中并行执行两个计算操作。根据运算执行单元的不同，计算运算可分为op1和op2两种类型。属于不同组使得在一个命令中执行两个操作成为可能。第一种类型包括由算术和逻辑单元执行的操作，第二种类型包括由乘法器、移位器ms执行的操作。在模板中，标记“1”表示第一种类型的标识，标记“2”分别表示第二种类型。如果两个操作具有不同的类型并且没有数据依赖关系，则可以进行并行化，DSP核心的并行性是通过在一个核心中存在多个操作单元来保证的。在大数据计算和分析中，如果有足够多的通用寄存器来执行这两个操作，并且它们可以并行执行，代码就会并行化，提升数据计算的效率。
关键词：大数据 数据挖掘 方法
中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2015）04-0222-01
1 大数据时代数据挖掘的重要性
随着互联网、物联网、云计算等技术的快速发展，以及智能终端、网络社会、数字地球等信息体的普及和建设，全球数据量出现爆炸式增长，仅在2011年就达到1.8万亿GB。IDC（Internet Data Center，互联网络数据中心）预计，到2020 年全球数据量将增加50倍。毋庸置疑，大数据时代已经到来。一方面，云计算为这些海量的、多样化的数据提供存储和运算平台，同时数据挖掘和人工智能从大数据中发现知识、规律和趋势，为决策提供信息参考。
如果运用合理的方法和工具，在企业日积月累形成的浩瀚数据中，是可以淘到沙金的，甚至可能发现许多大的钻石。在一些信息化较成熟的行业，就有这样的例子。比如银行的信息化建设就非常完善，银行每天生成的数据数以万计，储户的存取款数据、ATM交易数据等。
数据挖掘是借助IT手段对经营决策产生决定性影响的一种管理手段。从定义上来看，数据挖掘是指一个完整的过程，该过程是从大量、不完全、模糊和随机的数据集中识别有效的、可实用的信息，并运用这些信息做出决策。
2 数据挖掘的分类
数据挖掘技术从开始的单一门类的知识逐渐发展成为一门综合性的多学科知识，并由此产生了很多的数据挖掘方法，这些方法种类多，类型也有很大的差别。为了满足用户的实际需要，现对数据挖掘技术进行如下几种分类：
2.1 按挖掘的数据库类型分类
利用数据库对数据分类成为可能是因为数据库在对数据储存时就可以对数据按照其类型、模型以及应用场景的不同来进行分类，根据这种分类得到的数据在采用数据挖掘技术时也会有满足自身的方法。对数据的分类有两种情况，一种是根据其模型来分类，另一种是根据其类型来分类，前者包括关系型、对象-关系型以及事务型和数据仓库型等，后者包括时间型、空间型和Web 型的数据挖掘方法。
2.2 按挖掘的知识类型分类
这种分类方法是根据数据挖掘的功能来实施的，其中包括多种分析的方式，例如相关性、预测及离群点分析方法，充分的数据挖掘不仅仅是一种单一的功能模式，而是各种不同功能的集合。同时，在上述分类的情况下，还可以按照数据本身的特性和属性来对其进行分类，例如数据的抽象性和数据的粒度等，利用数据的抽象层次来分类时可以将数据分为三个层次，即广义知识的高抽象层，原始知识的原始层以及到多层的知识的多个抽象层。一个完善的数据挖掘可以实现对多个抽象层数据的挖掘，找到其有价值的知识。同时，在对数据挖掘进行分类时还可以根据其表现出来的模式及规则性和是否检测出噪声来分类，一般来说，数据的规则性可以通过多种不同的方法挖掘，例如相关性和关联分析以及通过对其概念描述和聚类分类、预测等方法，同时还可以通过这些挖掘方法来检测和排除噪声。
2.3 按所用的技术类型分类
数据挖掘的时候采用的技术手段千变万化，例如可以采用面向数据库和数据仓库的技术以及神经网络及其可视化等技术手段，同时用户在对数据进行分析时也会使用很多不同的分析方法，根据这些分析方法的不同可以分为遗传算法、人工神经网络等等。一般情况下，一个庞大的数据挖掘系统是集多种挖掘技术和方法的综合性系统。
2.4 按应用分类
根据数据挖掘的应用的领域来进行分类，包括财经行业、交通运输业、网络通信业、生物医学领域如DNA等，在这些行业或领域中都有满足自身要求的数据挖掘方法。对于特定的应用场景，此时就可能需要与之相应的特殊的挖掘方法，并保证其有效性。综上所述，基本上不存在某种数据挖掘技术可以在所有的行业中都能使用的技术，每种数据挖掘技术都有自身的专用性。
3 数据挖掘中常用的方法
目前数据挖掘方法主要有4种，这四种算法包括遗传、决策树、粗糙集和神经网络算法。以下对这四种算法进行一一解释说明。
遗传算法：该算法依据生物学领域的自然选择规律以及遗传的机理发展而来，是一种随机搜索的算法，利用仿生学的原理来对数据知识进行全局优化处理。是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。这种算法具有隐含并行性、易与其它模型结合等优点从而在数据挖掘中得到了应用。
决策树算法：在对模型的预测中，该算法具有很强的优势，利用该算法对庞大的数据信息进行分类，从而对有潜在价值的信息进行定位，这种算法的优势也比较明显，在利用这种算法对数据进行分类时非常迅速，同时描述起来也很简洁，在大规模数据处理时，这种方法的应用性很强。
粗糙集算法：这个算法将知识的理解视为对数据的划分，将这种划分的一个整体叫做概念，这种算法的基本原理是将不够精确的知识与确定的或者准确的知识进行类别同时进行类别刻画。
神经网络算法：在对模型的预测中，该算法具有很强的优势，利用该算法对庞大的数据信息进行分类，从而对有潜在价值的信息进行定位，这种算法的优势也比较明显，在利用这种算法对数据进行分类时非常迅速，同时描述起来也很简洁，在大规模数据处理时，这种方法的应用性很强。光缆监测及其故障诊断系统对于保证通信的顺利至关重要，同时这种技术方法也是顺应当今时代的潮流必须推广使用的方法。同时，该诊断技术为通信管网和日常通信提供了可靠的技术支持和可靠的后期保证。
参考文献
[1]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，50（01）：146-169.
现状
“检察大数据”的概念厘定
“大数据”的生产与运用是一个“人人为我，我为人人”的互通、共享、多赢过程。检察机关在整合应用其他政府机构、企事业单位、社会组织提供的信息数据服务司法办案的同时，也在办案中生产“大数据”。这些数据既可作为检察机关校准后续办案的内部参照系，同时部分数据亦可对外输出服务社会。前者如在刑事检察中整合同类案件形成案例数据库，用以提升公诉量刑精准度，后者以当前检察机关向社会公众提供的行贿犯罪档案查询服务最为典型。显然作为数据运用者，检察机关“大数据”包括检察工作所涉及的一切有用信息数据。其中，相当一部分数据并非检察机关在司法办案中产出的“原生”数据。如职务犯罪侦查办案中反贪部门调用房产、银行、公安行政机关的信息数据库进行初查；相关业务部门在审查、出庭公诉、诉讼监督、参与社会治理等方面运用信息化、数字化新技术等。
“检察大数据”与上述检察机关运用的“大数据”有本质区别。“检察大数据”专指检察机关司法办案大数据，是检察机关在司法办案中的“原生”案件信息数据，其最核心的特征是相关数据是关于检察业务办案的信息数据。目前，在检察司法办案大数据的撷取、管理、应用方面，最高人民检察院推进的“统一业务应用系统”是国家层面“检察大数据”生成的最重要平台；同时各地检察机关亦多有创新，如北京市人民检察院开发应用的“检立方”系统、上海市闵行区人民检察院试运行的“检察官执法办案全程监控考核系统”、浦东新区人民检察院试运行的“综合管理信息平台一期”、湖北省人民检察院研发的“互联网检务办公室”，南京市鼓楼区人民检察院研发的办公办案软件“移动检务通”等。上述系统平台通过案件管理部门案件受理信息输入及办案人员在办案过程中的流程信息输入，生成、存储、管理与检察机关司法办案相关的各项信息数据，并通过对大数据不同子系统数据的深度分析，进而服务领导决策与司法办案。
当前检察工作中的大数据运用
无论是检察机关的“原生”大数据，还是第三方生成的关联大数据，在当前的检察办案与司法管理工作中都有着极为广阔的应用前景。作为检察机关大数据的核心内容，“原生”大数据即“检察大数据”，在辅助检察办案、服务司法管理中发挥着极为重要的作用。
在“检察大数据”辅助检察办案方面，目前较为典型的如贵州省人民检察机关的“大数据司法办案辅助系统”。司法办案辅助系统运用“实体识别”“数学建模”等大数据技术，通过绘制“犯罪构成知识”图谱，建立各罪名案件数学模型的司法办案辅助系统，为办案提供案件信息智能采集、“要素―证据”智能关联和风险预警、证据材料甄别，以及类案推送、量刑建议计算等智能化服务。目前，贵州省人民检察机关的大数据司法办案辅助系统已进行了三次迭代升级，正在贵州全省4个市（州）院和31个基层院试点运行。
在“检察大数据”服务司法管理方面，上海市闵行区人民检察院的检察官执法办案全程监控考核系统非常具有代表性。该院通过对各职能部门受理、立案（项）、办理的案件以及不依附于自侦、批捕、等主要办案业务的，有完整流程、审查结论及相关法律文书的诉讼监督、社会治理、维护稳定、预防犯罪等检察业务进行梳理，对检察建议、纠正违法等共性的检察业务指标进行归并，形成了较为规范的检察机关司法办案大数据目录和工作指标w系。通过对检察官在执法办案中产生的“原生”大数据的深度挖掘和研判分析，将案件统计、质量监控、专题研判、绩效分析有机融为一体，进而使办案监督管理者能够及时准确找出检察官在办案中存在的司法不规范问题，有效强化对司法办案的绩效考评与内部监控。
除了重视对“原生”大数据的收集整理与挖掘应用，如何发挥好“他山之石”的作用，在检察办案中运用好第三方关联大数据，也是大数据技术与检察办案深度融合的重要内容。除了上述在职务犯罪案件侦查中对房产、银行、公安行政机关等提供的关联数据的常规运用外，当前一些地方检察机关正在进行创新运用第三方大数据方面的积极探索。如江苏省无锡市锡山区人民检察院对接社会治理公共服务管理平台和民情APP，推出检察民情APP的创新做法。自对接平台以来，锡山区人民检察院已查阅近6000条民情信息，从海量数据中了解掌握群众诉求，立足检察职能，从中发现老百姓对征地拆迁、环境保护、社会保障等方面的民生需求，聚焦群众关注的热点民生问题深入挖掘职务犯罪案件线索、诉讼监督线索、执行监督线索及公益诉讼线索，使第三方大数据真正成为辅助检察办案，拓展监督案源的新渠道。
短板
检察大数据系统的提升点
目前，检察大数据系统在建设与应用方面存在的主要问题：
“大数据时代的预言家”维克托近日在北京面对一万多名技术信徒再次预言。
显然，这三大经典的技术信条在大数据时代面临动摇，
技术信徒的思维模式也即将发生颠覆。
那么，大数据对技术信徒意味着什么？
他们又将如何面对这一颠覆性的变革？
“技术汇成一条大河，一波推动另外一波。”IBM中国开发中心首席技术官兼新技术研发中心总经理毛新生带着对技术的满腔痴迷这样形容道。
一波未平一波又起，移动、社交商务、云计算、大数据等先后涌现的新趋势正在融合成一股巨大的潮流，将所有的行业IT化，进而推动商业和社会的演进。这也就意味着“科技是第一生产力”在当下有了更深层次的涵义——“IBM认为，在由新一代技术组成的智慧运算时代，中国的企业家们需要更为战略地思考信息科技的定位，将其运用到自身的变革转型之中。” IBM全球副总裁兼大中华区软件集团总经理胡世忠为企业新发展出谋献策。
由2012年的“软件技术峰会”改名为2013年的“技术峰会”，在这么一个盛会上，IBM试图展示的内容涵盖范围更为广泛——移动应用、大数据、云计算、DevOps软件持续交付、应用整合、社交商务、专家集成系统等热议话题，上百场技术主题演讲、28场分论坛、22场动手实验室和80个未来产品的现场演示，再加上被誉为“大数据时代的预言家”的《大数据时代》作者维克托·迈尔-舍恩伯格以及数十位来自IBM的院士、杰出工程师、相关领域的全球首席技术官和首席架构师的现场分享，IBM 2013技术峰会再次成为技术精英们关注的焦点。 大数据的新信条
《大数据时代》作者、牛津大学网络学院互联网治理与监管专业教授维克托·迈尔-舍恩伯格的出现着实让场内数以万计的技术信徒激动了一把。作为深刻洞察大数据给人类生活、工作和思维带来的大变革的第一人，维克托以价格预测网站的例子作为开场白，论证了大数据已经悄然在大众的身边出现并给他们的生活带来改变。
“全体性、混杂性和相关性是大数据的三个主要特点，而且这三个特点是互相加强的。”维克托归纳出了大数据对应的思维变革。收集和分析更多的数据才能获取足够的数据隐含的细节，这些细节恰恰是随机抽样所错失的。“干净”的、高质量的数据不再是标的，大数据需要我们摒弃对宏观上精确性的追求，转而获得微观上的准确性，即接受混杂的数据。最重要的是，人们不再沉迷于追寻数据之间的因果关系，即不再纠结于为什么，而是直接获得“是什么”的答案，并通过应用相关关系，更好地捕捉现在和预测未来——抽样因错失细节得不偿失，盲目追求精确性已经过时，执着于因果关系丧失机遇。
如何在大数据时代生存？维克托指出了两个关键点：一是意识到技术或者规模并不是成功的充分条件。遗忘规模经济，因为它的效益会逐渐淡化。20年前，一个公司只有拥有上十万台的服务器才能提供搜索服务，但在大数据时代，由于云计算的便利性，不拥有实体服务器的公司，如前文提到的，它只有30个员工，但它有能力为其上10亿的用户提供数据分析。二是为了在大数据时代获得胜利，大数据的思维模式不可或缺，工具的力量不容小视，分析能力是必要的。蓝色被谷歌选为搜索窗口的色彩，但蓝色实际上有51种，而且这51种蓝色人依靠裸眼无法明确区分，却能在心理层面给人带来不同的感受。经过大数据分析，谷歌发现原本由人工选出来的蓝色会导致谷歌损失200亿～300亿美元的收入，因为这一种蓝色并不最具备诱惑力，无法激起人们点击的欲望。
大数据的力量需要具备大数据的思维模式，并有效利用大数据的工具去发掘。IBM杰出工程师、InfoSphere Stream高级开发经理James R Giles阐述了IBM对大数据的看法：“我们正一步步走到了一个新纪元——大数据时代。如同对待自然资源一样，我们需要开掘、转变、销售、保护大数据资源；不同的是，大数据资源是无穷无尽的，我们不能任由大数据淹没自己，而应该在获得洞察需求的驱使下获得价值。”
大数据的类型广义而言有移动数据和静态数据，还有结构性数据和非结构性数据，这对应着不同的处理方式。“技术人员的责任是，能够去管理这些数据，能够理解这些从不同的数据源而来、不同类型的数据，能够分析这些数据，得出结论，让其提供决策支持，为企业拥抱新的大数据时代提供技术支撑，以保证管理、安全、商业的持续性。” James R Giles号召技术人员积极行动，以大数据的思维模式展现技术的价值和魅力。
找到内在联系
技术的趋势总是融合，也只有有机融合才能形成合力，发挥更大的威力，而实现这一合力的前提是明确各个趋势之间的内在联系。
“实际上，社交商务、移动、大数据、云计算是一体化的。”毛新生建议技术人员用一个全面的、融合的范式来沉着看待和应对纷繁的热点技术，理解这些热点会如何影响整个IT的走向，进而明晰IT如何可以很好地支持各行各业的业务转型和创新，“让每个行业都可以从新的技术转型当中获得足够的原动力”。
从贴近最终用户的角度来看，移动技术、社交技术改变了商业机构与其雇员、客户进行互动的方式。“就我个人的经历而言，航空公司的移动应用可以提供更好的客户交互。我是西北航空公司的粉丝，因为它家的移动应用服务很贴心，比如查询航班信息、根据我的喜好预留位置、定制化地进行社交推荐等。”毛新生以一个普通消费者的感受证明了企业通过移动应用收集并利用用户行为数据所带来的服务质量的提升。
移动催生了“一种崭新的服务交付端点”，即为用户提供了更多样化的服务体验点，让用户随时随地可以利用碎片化的时间去获得业务服务，也为企业带来了全新的服务交付渠道。移动这个渠道提供了更为丰富的全样性数据，在此基础上，大数据分析就更可信。“移动所具备的碎片化特点会带来更大量的用户行为信息。当把所有的人的行为结合在一起，就可以做群体的社会性分析。社会性分析会得到比较准确的群体特征。而群体特征足以获得很好的交叉销售与线上销售机会。”毛新生认为移动与大数据结合给企业提供了新的商业机会。
移动的设备无处不在。人、汽车，甚至建筑物、道路、桥梁，它们无时无刻不在提供数据，这就是新的数据源，是它们引领我们来到维克托所描述的更为广阔的大数据世界。
移动和社交商务的便捷性使得企业的整个业务流程变得非常自动化，用户可以享受自助服务，对应到企业端就意味着业务流程对前端的需求要反应得更为迅速，也意味着各个业务系统之间无缝连接，否则没有办法支撑以最终用户为中心的服务体验，但跨部门和跨应用的整合实属不易。进一步延伸开来，对用户体验的追求是无止境的，合作伙伴的API和服务可以作为补充，这即是“跨企业边界”的行为。这种行为必然导致大规模的用户访问。这些整合和外部拓展都需要云计算提供灵活有效的基础。没有云计算，移动前端的体验、大数据分析的效果都会大打折扣。“云的基础设施使大规模互动、大规模数据处理、大规模应用可以更好地服务我们。”毛新生指出。
环境变化加速，竞争更加激烈，要求企业的反应速度越来越快，应用以及端到端解决方案快速改变。毛新生饶有兴致地介绍道：“这个改变有多快呢？我们有的客户尝试以天为周期去改变，这意味着应用和业务流程的设计、开发、部署、测试、维护的整个过程要大大加快，也就是所谓的DevOps。只有把敏捷的开发和运维结合起来，生命周期变得以天为周期，才能响应新的商业环境。”
“移动、云计算、大数据、社交商务之间的紧密联系让我们应该以整体的眼光来审视它们。”胡世忠坚信，它们的组合可以创造可持续的竞争优势，可以迸发变革的力量。
至于一个企业应该从哪里下手来实现这一幅宏伟蓝图？毛新生给出的答案是：“每一个企业，因为它所处的行业或者特定的情况而拥有不同的切入点，有一些企业需要从移动开始，有一些企业需要从云计算开始，有一些企业需要从大数据开始，但是它们是不可分割的整体，只有综合地运用它们，找到适合自己的切入点，一步一步脚踏实地，才能掌握先机，打造竞争力。在这个过程中，要拥有正确的思维，改变既有思维，理解趋势，制定策略。”
例如，银行、保险、零售业这一类和最终消费者打交道的服务业在很大概率上需要先从移动、社交商务入手，从而使其有机会改善和用户交互的过程。而以数据为生的行业会琢磨如何将自己的内容和资源数据增值，而传统的运营基础设施的重资产企业，会追求将资产数字化，得到数据并进行分析，以优化资产的生命周期管理来预防性地降低维护成本，这些企业是以大数据作为切入点的。还有一些企业希望跨行业整合进行业务创新，背后牵扯到它们自身现有的业务模式和新业务模式的整合，这种情况下需要以云的方式构建新的应用、服务、商业流程。
毛新生认为切入点不同只是表象，每一种场景到最后都是综合性的运用，要把这几个技术综合运用起来。从前端开始，首先是利用移动，并借助社交渠道交流，很快这些渠道会得到新的数据，这些新的数据和原有的交易数据和积累的数据结合起来做进一步的数据分析，这就是大数据分析。大数据分析以后可以做社交推荐、关联推荐了。随后，能不能跨界再实现更广泛的销售？跟别的价值链上的合作伙伴合作，那么引入云是解决之道。数据量增大，用户数增多，云的基础设施可以让成本更合理。“所以说，到最后都是综合性的应用，尽管起点不一样”，毛新生说。
对技术人员而言，IT就是交付业务流程的基础，是信息化的工具。它的目标无非是优化业务流程或者创新业务流程。创新到达一定程度后，业务流程的量变会导致质变。“这就解释了为何全球越来越多的CEO将技术视为驱动企业发展的首要因素。” IBM软件集团大中华区中间件集团总经理李红焰强调，技术人员有能力，也有责任将“看不见的技术转变为看得见的享受”。
移动开发的转变
在大数据的带领下我们进入移动时代，企业有了新机遇，技术人员却有了新挑战。为什么移动开发和之前不一样呢？有什么不一样呢？这成为了萦绕在技术人员脑子里最主要的两个问题。
IBM杰出工程师及IBM移动平台首席架构师Greg Truty解答了这两个疑问。他认为，很多企业现在所做的事情与在移动的状态下做的事情是不一样的，移动状态下的任务和规划更具有战略性。移动应用是在不稳定的网络上运行的，所占用的资源更少。用户在移动设备上和非移动设备上的体验是完全不一样的，他们会希望在不稳定的网络上仍然能够获得良好的体验。企业现在需要思考的是，怎么样把大量数据、大量体验变成一些有意义的体验。同时，移动管理的需求也不一样了，开发的特性也不一样了。比如对一个企业来说，移动开发周期更短，有更多设备需要支持，有更多开发方法可供选择，也有更多的工具和库可供选择，这时候企业就需要仔细斟酌，哪些开发方法和工具是自己需要的。
自然而然，对于设备的管理也有了变化，因为应用变化了。“一直以来，客户端服务器的应用架构是企业在使用的。你需要协调在服务器端的服务以及在客户端的服务，挑战非常大。你不可能强迫客户运行你的应用，而必须能协调和兼容原有的系统。这是非常关键的一点。” Greg Truty强调了设备管理的重要性。
此外，产品种类也非常多，新应用层出不穷。Greg Truty 认为多而新的局面下更需要冷静处理：“我们会把应用和数据结合起来，移动和社交网络结合起来，这样做会创造一些新的得到数据的机会，需要进行管理。新的机会、新的技术，给整个IT组织带来了更多的挑战。”
关键词：大数据 Hadoop Spark Spark 流
中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2015）09-0000-00
大数据远不止大量的数据（TB）和处理大量数据的技术，它以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务[1]。然而面对庞大的数据来获得有价值的信息是一个巨大的挑战。为了克服上述困难，近几年来推出了Hadoop、PureData和Exadata等多种大数据系统分析平台，以Hadoop平台最为突出，深受用户的欢迎。但是随着应用的不断深入，Hadoop暴露出了它的局限性。主要体现在以下几方面：第一，操作过于单一，仅支持Map和Reduce两种操作；第二，迭代计算效率较低，尤其在机器学习和图形计算方面[2]。 2013年底由Apache 软件基金会提出的Spark框架技术较好地解决了这些问题。
1 Spark技术架构
1.1 Spark设计思想
Spark是一种基于HDFS的并行计算架构。主要思想是通过一种新的作业和数据容错方式来减少磁盘和网络的I/O开销 其核心技术是弹性分布式数据集（RDD），是指在一组存储计算机中的只读数据集合，这个数据集合可以在分区对象丢失后进行重建[5]。也就是说RDD的元素不一定需要存储在物理介质中，相反，一个RDD的处理进程包含了如何从可靠的数据存储中去获取足够的信息来对这个RDD进行处理。如果RDDS的任务节点失败，总可以进行重建[3]。
1.2 Spark系统架构
与MapReduce不同，Spark并不仅仅局限于编写map和reduce两个方法，它为用户提供了更为强大的内存计算模型，使得用户可以通过编程将数据读取到集群的内存当中，这样可以快速在内存中对数据集进行多次迭代，支持复杂的数据挖掘算法和图计算算法使用Scala语言开发，以Mesos作为底层的调度框架，可以和 Hadoop和Ec2紧密集成，直接读取HDFS或S3的文件进行计算并把结果写回HDFS或S3，是Hadoop和Amazon云计算生态圈的一部分，项目的core部分代码只有63个Scala文件，执行效率高效。Spark主要由四个模块组成：Spark SQL、MLlib、Spark 流和GraphX。Spark SQL为了兼容主流关系型数据库系统（RDBMS）可以允许用户编写SQL和HQL两种脚本执行查询，其核心组件是JavaSchemaRDD，它是一个类似于RDBMS的一个Table，由Row和Schema对象来描述Table中行对象和列的DataType。
2 Spark运行模式
2.1 Spark任务调度方式
Spark的运行模式有多种，主要由SparkContext的MASTER环境变量所获得的值来决定，有些模式还需要程序接口来配合辅助决定。但概括起来，Spark运行都以Spark-Context为总调度驱动程序，负责应用程序的资源分配，期间分别创建作业调度和任务调度两级模块。作业调度模块是基于阶段的高层调度模块，每个Spark 作业计算通常有多个阶段，每个阶段分解为一组任务集，以任务组的形式提交给底层任务调度模块来具体执行实际计算任务，任务调度模块负责启动实际任务，监控和汇报任务运行情况。如果分配任务成功，SparkContext会将应用程序代码给指定的执行者完成一个或多个任务[4]。
2.2 Spark运行模式类型
Spark的运行模式，归纳起来有六种。
（1）Local[M]。该模式使用 LocalBackend 调用TaskSchedulerImpl 实现。LocalBackend 响应Scheduler的receiveOffers请求，根据可用CPU Core的设定值[M]直接生成WorkerOffer资源返回给Scheduler，并通过Executor类在线程池中依次启动和运行Scheduler返回的任务列表。
（2）Standalone。该模式使用SparkDeploySchedulerBackend调用TaskSchedulerImpl来实现 ，而SparkDeploySchedulerBackend同时继承了CoarseGrainedSchedulerBackend。是一个在Akka Actor上实现的粗粒度的资源调度类，在整个Spark Job运行期间，监听和拥有注册给它的Executor资源，比如接受Executor注册，状态更新，响应Scheduler请求等，并且根据现有Executor资源发起任务流程调度。
（3）Local-cluster。伪分布模式实际上是在Standalone模式上实现的，也就是在SparkContext初始化的过程中在本地启动一个单机的伪分布Spark集群，后面的执行流程与Standalone模式相同。
（4）Mesos。该模式主要根据颗粒度大小来区分，粗粒度的CoarseMesosSchedulerBackend继承了CoarseGrained SchedulerBackend，相对于父类额外做的工作还要实现MScheduler接口，注册到Mesos资源调度的框架中，用于接收Mesos的资源分配，在得到资源后通过Mesos框架远程启动CoarseGrainedExecutorBackend，以后的任务交互过程和Spark standalone模式一样，由DriverActor和Executor Actor直接完成。 细粒度的MesosSchedulerBackend直接继承SchedulerBackend，但同样实现了MScheduler接口，完成Mesos资源调度框架中的注册，接收Mesos的资源分配。不同之处是在接收资源分配以后，MesosSchedulerBackend启动的是远程Executor，通过在远程执行命令来启动MesosExecutorBackend，直接执行对应的任务。
（5）Yarn-standalone。Yarn-Standalone模式相对其它模式有些特殊，需要外部程序辅助启动应用程序。Client通过Yarn Client API在Hadoop集群上启动一个Spark App Master，Spark App Master首先为自己注册一个Yarn App Master，再启动用户程序，然后根据Client传递过来的参数，Spark App Master通过Yarn RM/NM接口在集群中启动多个Container运行CoarseGrainedExecutorBackend往CoarseGrainedSchedulerBackend注册。后面的任务调度流程跟其它Cluster模式类似，不再述说。
（6）Yarn-client。该模式的SparkContext运行在本地，适用于应用程序本身需要在本地交互的情景。这种模式下SparkContext在初始化时首先启动YarnClientSchedulerBackend，然后再调用客户端包远程启动一个作业作为Spark的App Master，相对于Yarn-standalone模式，此模式不再负责启动用户程序，而只是启动Backend便于跟客户端本地Driver进行数据传递，后面的任务调度流程跟其它模式类似。
3 Spark应用现状及发展
目前SPARK已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面的技术，并且是Apache顶级项目。虽然Spark对内存要求较高，推出时间较短未经过实践考验，但伴随着大数据相关技术和产业的逐步成熟，继Hadoop之后，Spark技术以集大成的无可比拟的优势，发展迅速，将成为替代Hadoop的下一代云计算、大数据核心技术。可以预计2015年下半年在社区和商业应用上会有爆发式的增长。
参考文献
[1] K. Shvachko， K. Hairong， S. Radia e R. Chansler. The Hadoop Distributed File System[C]. IEEE 26th Symposium on Mass Storage Systems and Technologies， 2010.
[2] Spark： Lighting-fast cluster computing[EB/OL]. http：///.
[3] M. Hirzel， H. Andrade， B. Gedik， et al. IBM Streams Processing Language： Analyzing Big Data in motion[J]. IBM Journal of Research and Development.2013，57（7）：1-7.
[4] T. Chardonnens， P. Cudre-Mauroux， M. Grund ，et al.Big data analytics on high Velocity streams： A case study[C]. IEEE International Conference on Big Data， 2013.
关键词：大数据；智能交通；数据技术
随着国民经济的不断发展，人们生活水平的不断提高，居民购买汽车能力加强。我国的汽车保有量随之增加，在一些大城市机动车拥有量以超过10%的速度加速，机动车成为每个家庭代步的交通工具，在有限的交通资源配置下，机动车的增加缩短了道路使用周期，城市主干道路超负荷使用，违法停车致使道路不能合理使用、行车不文明、乘车环境不良等现象有增无减。大数据时代，如何改善当前的交通状况是本文阐述的核心内容。文章从以下几个方面来阐述：大数据的现状、大数据的概述、大数据的应用、智能交通的需求、智能交通体系的建立、数据技术。
1 大数据的现状
据权威数据显示，大数据应用在我国还处在起步阶段。但在未来三年，通信、金融领域将在大数据市场突破100亿元。市场规模在2012年有望达到4.7亿元，到2013年增至11.2亿元，增长率高达138%，2014年，保持了与2013年基本持平的增速，增长率为114.38%，市场规模达到24.1亿元，未来三年内有望突破150亿元，2016年有望达到180亿规模。自从2014年以来，各界对大数据的诞生都备加关注，已渗透到各个领域：交通行业、医疗行业、生物技术、零售行业、电商、农牧业、个人位置服务等行业，由此也正在不断涌现大数据的新产品、新技术、新服务。
大数据行业“十三五”规划主要目标：在2020年，将大数据打造成为国民经济新兴支柱产业并在社会各领域广泛应用，推动我国大数据产业稳步快速发展，基本健全大数据产业体系，推动制定一批相关大数据的国标、行标和地方标准，引进具备大数据条件的企业，建设大数据产业孵化基地，提高全国信息化总体水平，以跻身世界先进水平。
2 大数据的概述
2.1 大数据定义
大数据即巨量数据集合，目前还没有一个统一的定义。大数据的概念最早是由全球著名的管理咨询公司麦肯锡提出，2011年Mckinsey研究称，大数据通常是指信息爆炸时代产生的海量数据，在各个行业和业务领域，数据已经渗透到行业中并逐渐成为重要的要素，人们能够从海量数据中挖掘出有用的数据并加以应用。对大数据定义的另一说法是利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。
随着信息时代的高速发展，大数据已经成为社会生产力发展的又一推动力。大数据被称为是继云计算、物联网之后信息时代的又一大颠覆性的技术革命。大数据的数据量巨大，一般10TB规模左右，但在实际应用中，多个数据集放在一起，已经形成了PB级的数据量，甚至EB、ZB、TB的数据量。
2.2 大数据的特点
2.2.1 数据量巨大
数据量级别从TB级别跃升到PB级别。随着可穿戴设备、物联网和云计算、云存储等技术的发展，用户的每一个动作都可以被记录，由此每天产生大量的数据信息。据有关人士估算：1986～2007年，全球数据的存储能力每年提高23%，双向通信能力每年提高28%，通用计算能力每年提高58%；2007年，人类大约存储了超过300EB
的数据；到2013年，世界上存储的数据能达到约1.2ZB。
2.2.2 数据类型多样化
即数据类型繁多，产生了海量的新数据集，新数据集可以是关系数据库和数据仓库数据这样的结构化数据到半结构化数据和无结构数据，从静态的数据库到动态的数据流，从简单的数据对象到时间数据、生物序列数据、传感器数据、空间数据、超文本数据、多媒体数据、软件程序代码、Web数据和社会网络数据[1]。各种数据集不仅产生于组织内部运作的各个环节，也来自于组织外部。
2.2.3 数据的时效性高
所谓的数据时效性高指以实时数据处理、实时结果导向为特征的解决方案，数据的传输速度、响应、反应的速度不断加快。数据时效性为了去伪存真，采用非结构化数据剔除数据中无用的信息，而当前未有真正的解决方法，只能是人工承担其中的智能部分。有些专员负责数据分析问题并提出分析后的解决方案。
2.2.4 数据真实性低
即数据的质量。数据的高质量是大数据时代重要的关注点。但在生活中，“脏数据”无处不在，例如，一些低劣的伪冒产品被推上市场，由于营销手段的成功，加之其他因素的影响导致评分很高。但是这并不是真实的数据，如果对数据不加分析和鉴别而直接使用，即使计算的结果精度高，结果都是无意义的，因为数据本身就存在问题出现。
2.2.5 价值密度低
指随着物联网的广泛应用，信息巨大，信息感知存在于客观事物中，有很多不相关的信息。由于数据采集的不及时，数据样本不全面，数据可能不连续等等，数据可能会失真，但当数据量达到一定规模，可以通过更多的数据达到更真实全面的反馈。
2.3 大数据的应用
2.3.1 医疗大数据
利用大数据平台收集患者原先就医的病例和治疗方案，根据患者的体征，建立疾病数据库并对患者的病例分类数据库。一旦患者在哪个医院就医，凭着医保卡或就诊卡，医生就可以从疾病数据库中参考病人的疾病特征、所做的检查报告结果快速帮助患者确诊。同时拥有的数据也有利于医药行业开发出更符合治疗疾病的医疗器械和药物的研发。
2.3.2 传统农牧业大数据
因为传统农牧业主要依赖于天气、土壤、空气质量等客观因素，因此利用大数据可以收集客观因素的数据以及作物成熟度，甚至是设备和劳动力的成本及可用性方面的实时数据，能够帮助农民选择正确的播种时间、施肥和收割作物的决策。当农民遇到技术市场问题可以请教专业人员，专业人员根据实时数据做出科学的指导，制定合理的优化决策，降低农民的损失成本，提高产品的产量，从而为转向规模化经营打下良好基础。
2.3.3 舆情大数据
利用大数据技术收集民众诉求的数据，降低社会，有利管理犯罪行为。通过大数据收集在微博的寻找走失的亲人或提供可能被拐卖人口的信息，来帮助别人。
3 智能交通的需求
随着城市一体化的快速发展，新时代农民工涌入大城市，促使城市人口的增大不断给城市交通带来问题。究其原因主要有：一是机动车的迅猛发展导致城市主次干道的流量趋于饱和，大量机动车的通行和停放占据主干道路。二是城市交通的道路基础设施供给不平衡导致路网承担能力差。三是停车泊位数量不足导致机动车使用者不得不过多依赖道路停车。四是公共设施的公交车分担率不高导致交通运输效率降低。五是城市的土地开发利用与道路交通发展不均衡。六是行人和机动车主素质不文明导致道路通行效率降低。为此，智能交通的出现是改善当前城市交通的必要需求，能够在一定程度上有效的解决城市交通问题。
大数据是如何在智能交通的应用呢？可以从两个方面说明：一是对交通运行数据的收集。由于每天道路的通行机动车较多，能够产生较大的数据，数据的采集并发数高，利用大数据使机动车主更好的了解公路上的通行密度，有效合理对道路进行规划，可规定个别道路为单行线。其二是可以利用大数据来实现主干道根据道路的运行状况即时调度信号灯，提高已有线路运行能力，可以保障交通参与者的生命和提高有关部门的工作效率，降低成本。对于机动车主可以根据大数据随时的了解当前的交通状况和停车位数量。如果交通拥堵，车主则可选择另一路线，节约了车主的大量时间。
4 智能交通体系的建立
4.1 智能交通建立的框架
主要包括感知数据层、软件应用平台及分析预测和优化管理的应用。物理感知层主要是采集交通的运行状况和对交通数据的及时感知；软件应用平台主要整合每个感知终端的信息、将信息进行转换和处理，达到支撑分析并做出及时的预警措施。比如：对主要交通干进行规划，对频发交通事故进行监控。同时还应进行应用系统建设的优化管理。比如：对机动车进行智能诱导、智能停车。
智能交通系统需要在各道路主干道上安装高清摄像头，采用先进的视频监控、智能识别和信息技术手段，来增加可管理的维度，从空间的广度、时间的深度、范围的精细度来管理。整个系统的组成包括信息综合应用平台、信号控制系统、视频监控系统、智能卡口系统、电子警察系统、信息采集系统、信息系统。每个城市建立智能交通并进行联网，则会产生越来越多的视频监控数据、卡口电警数据、路况信息、管控信息、营运信息、GPS定位信息、射频识别信息等数据，每天产生的数据量将可以达到PB级别，并且呈现指数级的增长。
4.2 智能交通数据处理体系的构成
主要包括交通的数据输入、车辆信息、道路承载能力等的数据处理、数据存储、数据检索。其中交通数据输入可以是静态数据或者是动态数据。数据处理是针对实时数据的处理。数据主要存储的是每天采集的巨大数据量。为了从中获取有用的数据，则需要进行数据查询和检索，还要对数据进行规划。
5 大数据技术
5.1 数据采集与预处理
数据采集与预处理主要对交通领域全业态数据的立体采集与处理来支撑交通建设、管理、运行决策。采集的数据主要是车辆的实时通行数据，以实现实时监控、事先预测、及时预警，完成道路网流量的调配、控。这些数据获取可以采用安装的传感器、识别技术并完成对已接收数据的辨析、转换、抽取、清洗等操作。
5.2 数据存储与管理
大数据的存储与管理是把采集到的数据存放在存储器，并建立相应的数据库，如关系数据库、Not Only SQL即对关系型SQL数据系统的补充。利用数据库采用更简单的数据模型，并将元数据与应用数据分离，从而实现管理和调用。
5.3 数据分析与挖掘
数据分析及挖掘技术是大数据的核心技术。从海量数据中，提取隐含在其中，人们事先未知的，但又可能有用的信息和知识的过程。从复杂数据类型中挖掘，如文本、图片、视频、音频。该技术主要从数据中自动地抽取模式、关联、变化、异常和有意义的结构，可以预测模型、机器学习、建模仿真。从而实现一些高级别数据分析的需求。
5.4 数据展现与应用
数据技术能够将每天所产生的大量数据从中挖掘出有用的数据，应用到各个领域有需要的地方以提高运行效率。
6 结束语
大数据时代，能对智能交通信息资源进行优化配置，能够改善传统的交通问题。对非机动车主而言，利用大数据可以更好的规划线路，更好的了解交通状况，在一定程度上可以对问题预先提出解决方案，起到节省大量时间、额外的开支。同时对交管部门而言，能够在限的警力情况下合理配置人员资源和交通设备，主干道路在高峰期出现的问题能够合理利用大数据信息配置资源，在刑事案件侦查中也能发挥更重要的作用。
全国要实现智能交通的联网，依然有问题需要突破，这都是大数据的数据技术应用所在。
关键词：烟草；数据中心；大数据；Hadoop；Impala
1.大数据技术现状
当前许多企业都已基本实现了信息化建设，企业积累了海量数据。同时企业间的竞争日益加剧，企业为了生存及发展需要保证自身能够更加准确、快速和个性化地为客户提品及服务。而大数据技术能够从海量的数据中获取传统数据分析手段无法获知的价值和模式，帮助企业更加迅速、科学、准确地进行决策和预测。
1.1大数据技术现状
广大企业的迫切需求反之也促进了大数据技术的飞速发展，涌现出了诸如Hadoop、Spark等实用的架构平台。其中，目前最主流的就是Hadoop。Hadoop的分布式处理架构支持大规模的集群，允许使用简单的编程模型进行跨计算机集群的分布式大数据处理。通过使用专门为分布式计算设计的文件系统HDFS，计算的时候只需要将计算代码推送到存储节点上，即可在存储节点上完成数据本地化计算。因此，Hadoop实现了高可靠性、高可拓展性、高容错性和高效性，可以轻松应对PB级别的数据处理。
1.2大数据技术对烟草数据中心建设的影响
当前，烟草企业基于多年的信息化建设已经积累了海量数据，同时每天还不断有新的各种数据产生。在高并发、大体量的情况下，需要在数据采集、存储和运算方面采用与以往完全不同的计算存储模式，这就不可避免地需要采用大数据技术。同时，除了购进单、卷烟交易数据、货源投放数据等结构化数据外，还产生越来越多的非结构化数据，利用大数据技术，对非结构化数据进行预处理，可为人工判断和机器学缩减范围。对海量数据以及非结构化的信息进行分析统计，仅仅依靠传统的技术手段很难实现，只有引入大数据技术才能充分的将所有的数据资源利用起来，成为企业决策的助力。
2.江苏烟草数据中心应用现状
2.1江苏烟草数据中心体系架构
目前江苏烟草数据中心以一体化数据中心、一体化数据管理和一体化数据分析三个部分为核心，构建了一套完整的数据中心架构。一体化数据中心是整个数据中心最核心的部分。通过数据仓库模型、数据存储、ETL工具等组成部分，构建了业务数据的收集、加工、存储、分发的总体架构。建立了按ODS（SODS、UODS）、DW、DM三层结构设计建设的数据仓库。一体化数据管理通过主数据管理、信息代码管理、ESB平台构建了企业主数据收集、标准化、同步分发过程。结合指标管理，全面管控企业的公用基础信息。通过数据质量管理，全面有效管控数据质量。通过数据服务管理，有效提升数据中心的对外服务能力与水平。通过元数据管理来管理数据中心元数据。一体化数据分析通过构建移动信息、业务分析、数据挖掘三大模块，针对性解决当前不同人员的决策、管理以及操作需求，发挥数据中心的数据、技术、平台优势。通过移动信息模块为各级领导提供决策支持；通过业务分析模块为业务人员的日常工作提供支撑；通过数据挖掘模块，发掘数据所蕴含的隐性价值。基于上述一整套架构的支撑，目前数据中心构建了全省范围的数据集成、交换体系，一方面提升了全省基础数据、业务数据的规范化程度和数据质量，另一方面为在建业务系统的实施、已有系统的改造提供了标准化的高质量数据保障。
2.2大数据技术的应用场景分析
随着江苏数据中心的不断运行，一些基于传统技术架构的功能逐渐暴露出种种问题。其中较为突出的问题有：一是使用者对于大数据量数据的查询需求。基于传统技术架构的查询功能响应较慢；二是分析支持灵活性的不足。传统统计分析应用的数据结构大多是预先定义好的，面对灵活的非传统的统计查询需求难以支撑，需要进行额外的加工处理。江苏烟草数据中心结合互联网大数据技术特性，引入Hadoop平台以及Impala等工具，搭建基于大数据的自定义数据查询平台，以补充基于传统技术架构的功能不足，并为未来进一步发展建设基于大数据技术和云环境的数据中心做好准备。
3.基于大数据的自定义数据查询平台实现
3.1设计思路及架构
基于大数据的自定义数据查询平台是在现有数据中心的建设成果之上，以数据中心的数据存储为基础，以Hadoop、Hive、Impala等大数据技术工具为手段，以简单灵活、快速高效的查询展现为目标，建立的数据查询分析支持平台。
3.2技术方案
自定义数据查询平台的建设主要涉及数据存储架构、后台数据加工准备、前端展现三块内容。自定义数据查询平台的数据存储分为两部分。一部分为KETTLE、Impala等工具以及自定义查询相关的元数据存储，另一部分则是查询所需的各种统计数据的存储。元数据的存储根据元数据库的不同主要分为两部分。第一部分为基于Mysql数据库的元数据存储。这部分元数据主要包括有ETL工具KETTLE的元数据，以及前端自定义查询需要定义的权限、数据源、表、列和表列关系等信息。第二部分为基于Hive的元数据存储。这部分存储的是前端查询需要使用的Impala工具的元数据。统计数据的存储则是使用Hadoop的HDFS实现的。根据Hadoop平台架构，自定义数据查询平台的HDFS建立在6台虚拟主机构建的集群上的。其中：2台虚拟主机作为NameNode，一台为主节点，另一台为备份节点；其余4台虚拟主机都作为DataNode用于存储数据。所有数据将会统一分块自动分配存储到4个DataNode上。自定义数据查询平台的数据加工，是通过开源ETL工具KETTLE实现的。通过KETTLE从数据中心现有数据仓库及数据集市中读取需要的数据，根据自定义数据查询平台的数据模型定义对数据进行处理，最终加载到Hadoop的HDFS文件系统中。自定义数据查询平台的前端展现功能，主要是基于JSP技术实现页面开发，通过JDBC或者ODBC对后台Mysql数据库进行访问。使用者在查询页面中组织定义查询的内容，查询服务自动根据获取的元数据信息将定义的查询内容拼接转换成为查询SQL，之后通过Impala执行查询SQL对HDFS文件系统中的统计数据进行查询。
3.3系统实现效果
利用大数据技术，自定义数据查询平台较好地解决了目前数据中心所面对的问题，满足了使用人员对于大数据量以及分析灵活性的需求。面对使用人员层出不穷的查询需求，自定义数据查询平台通过预先梳理、分类定义各种维度以及统计指标。使用者可以自由的根据实际需求选择分析所需的维度及统计指标，同时还可以基于这些基础的内容更进一步自定义过滤条件以及计算公式，并指定其展现形式。在大数据量查询效率方面，自定义查询平台相比传统架构的查询功能有了较大提升。
4.结束语
大数据技术的发展方兴未艾，应用前景无比广阔，对各行各业的巨大作用正在逐步展现。江苏烟草数据中心的建设既要看到大数据技术未来的前景，更需要明确地认识到大数据平台的建设并非一朝一夕，需要有明确而长远的规划，不断完善数据环境建设、云计算环境的构建以及数据服务的扩展。
参考文献
[1]陈鹏.大数据时代下的信息安全问题研究[J].电子制，2015,18：48
[2]刘忆鲁，刘长银，侯艳权.大数据时代下的信息安全问题论述[J].信息通信.2016,181-182
购物车(0)
