时间：2023-06-08 09:14:24
绪论：在寻找写作灵感吗？爱发表网为您精选了8篇大数据开发的过程，愿这些内容能够启迪您的思维，激发您的创作热情，欢迎您的阅读与分享！
关键词：大数据技术；大数据管理模块组成技术；技术分析；分支技术探析
自从我国各领域对大数据技术产生应用需求之后，已有多个企业并计算机技术开发应用领域人员开始对多个情境下的大数据技术的需求、应用以及发展做出了应有的贡献。在大数据技术日趋成熟之际，人们对大数据的认知成熟度需要得到普遍提升，而计算机技术领域的专业人员也需要站在专业角度，对大数据技术的构成进行深入了解。这不仅对大数据技术的普及应用和持续发展有益，更对各领域的个人发展、顺应时代潮流以及个人的专业素养提升有极大帮助意义。本文中笔者结合自身对于大数据相关技术的正确认知，对大数据技术发展认识基础上的分支技术体系展开深入讨论。
1基于分布式大数据管理模块构成的技术探究
我们在深入挖掘大数据技术对其进行了解之前，首先要了解它主要需要解决什么问题，以及能够解决什么问题。一方面，在大数据技术出现之前，IT行业各类技术发展速度不是很快，系统化应用过程中的各类软件框架体系也足够完善，普通的单个服务器为基础平台的数据库之计算能力，也足够支撑各类系统计算业务。但随着各行业数据越来越多，单机计算能力上限已经被多个行业的计算软件“触顶”。在这种情况下，大数据管理模块技术开始被人们所关注，下面分析支持它进行计算的细分技术。首先，在大量数据储存方面，HDFS的分布式储存可以解决数据储存的困难。它可以让多个主机对同一任务进行同时计算。那么，它的实现需要周边便衍生了许多与管理和缓存有关的技术。包括：“yarn”技术可以在程序开发中帮助人解决资源难资源调节难题；“flume”可以帮助解决传输数据的问题；“sqoop”可以转换分布式储存数据与传统数据库之间的数据；“oozie”可以帮助业务程序资源调节计算任务；“kafka”则提供了订阅机制的消息队列；“zookeeper”可以有效地帮助用户快速完成对主备服务的选择；“hive”在HDFS的基础上提供了数仓的功能。“hbase”基“hdf”来实现一个列式数据库。然后从数据处理过程来看，对于数据库计算技术方面的大数据相关技术应用，是在普通数据库技术存在和被应用基础上对计算业务进行逻辑处理的过程。对于单一的业务处理，可以通过编写健壮的代码进行定时的任务进行相应数据的结算。若业务冗杂，需要定时获取多种数据采集分析，则通过代码实现各个JOB维护成本太高。在“Hadoop2.0”完美解决该问题，采用HQL自动生成数据的mapreduce任务基础上，多个领域的项目实践过程中，就会出现多个reduce任务就会被批量删除掉的情况。因此，Hadoop技术正在走在被淘汰的路上。那么，Hadoop现在是一个可以用硬件集群上进行大规模数据处理的优秀工具，但是若开发人员需要处理动态数据集、点对点分析多进程数据，那么Google已经为我们展示了大大优于MapReduce范型的技术选择。因此毫无疑问，Percolator、Dremel和Pregel将成为大数据技术未来发展的主流技术。
2支撑大数据管理模块组成的各类技术详析
为了能够更好地架构大数据项目，技术人员、项目经理、架构师等大数据管理模块开发流程中不同角色人员为了选择合适的技术，必须了解大数据各种技术之间的关系，以便选择合适的语言，实现相应的功能。那么，笔者在下面对几点中提到的大数据分支技术进行详细分析。
2.1HDFS技术
与普通编程语言应用编写系统相比，HDFS主要改革在数据储存形式方面，HDFS即Hadoop是以流式的数据查找和提取模式对文件型数据进行规模化储存，而且大数据管理模块应用中的数据通常是占用内存过大的单元数据，HDFS运行于多个主机集群中，属于是管理网络中跨多台及其进行数据储存的文件系统支撑基础。我们从HDFS技术应用的过程来分析使用数据块的益处：在程序运行过程中，HDFS上的文件会被划成64MB大的多个分块，每一个数据块都可以存储不同的数据。文件型数据块不需要储存在同一个磁盘上，因此它们可以利用集群上的任意一个磁盘实现存储。所以这从根本上大幅提升了大量数据管理的效率。而HDFS技术也可以提高系统中对数据储存的容错力。在业务处理方面HDFS的优点更为明显：HDFS的应用可以做到简化储存子系统的设计，将每个服务器的储存子系统控制单元设置为“块”，因此可实现简化储存管理，用一个单独的系统就可以管理这些块的元数据，这就大幅减轻了服务器的数据管理压力。
2.2yarn技术
Hadoop集群管理员希望能根据不同的业务组或不同的用户对集群yarn作业的资源进行控制，也就是对yarn的资源池进行划分，达到资源管控、任务管控的效果。yarn技术管理分配资源细节如下：yarn默许提供了多种资源分配的策略，用于分配的资源可以是节点的数量、内存的大小、CPU核数，它主要将MP1中JobTracker的资源管理和作业资源调节两个功能分散，分别由ResourceManager和ApplicationMaster进程来实现管理，以负责整个集群的资源管理和资源调度，并负责处理应用程序提出的事件，比如调节任务及数据资源、监视运行任务情况和出错信息等，具体作用体现在“模块提交作业”“初始化作业”“分配任务和运行”“更新模块运行相关数据”等方面。而Flume可以通过运行可靠的服务模块，用于有效地收集和移动日志数据，使用简单的可扩展数据模型，被允许收集日志数据，导进到HDFS中并实现在线分析应用程序。因此，HDFS是Hadoop应用程序中主要的分布式储存系统。
2.3sqoop技术
sqoop解决了分布式寄存数据与普通数据之间的转换。它属于可以将Hadoop和关系型数据库之间实现数据导进导出的工具型技术。它可以通过sqoop把数据从普通数据库，包括Mysql数据库和Oracle数据库中导进到HDFS中，反之亦可。sqoop通过Hadoop的MapReduce导进导出数据库中的数据，因此它提供了很高的并行优势以及良好的容错性。通过sqoop技术的应用，开发大数据管理模块的人员可以将数据从普通数据库中导出，并导进到HDFS中。导进到HDFS的数据形式为数据库表、查询结果，以及从HDFS中导出的文件形式则是数据库表或者集合类型的文件。在HDFS导进数据的多个进程可以并发运行，这时的输出的可以是多个文件输出结果。这些文件可能是标准的文本文件，也可以是Avro或者SequeenceFiles的记录文件。总结来说，sqoop是可以在大数据系统运行模块中将db数据与hadoop之间交换数据，而将其应用于系统开发过程中，则需要开发人员参照较为冗杂的使用文档。在优点显著的同时，sqoop也有些许缺点。因为hbase技术显然采用的是基于HDFS为核心的列式数据库存储数据的形式，是多种分布式、可以扩展的大数据储存方式，它能够为各种大数据集上随机和及时的阅读、写数据进行访问功能，并且能够实现分布式的列型数据储存，能快速地索引查询数据。较其他普通的数据库处理技术而言，hbase对于写入的时间更为随意，因此hbase总会有很多超时的现象，这成为了许多开发者在程序开发后的运行测试中的诟病。因此，此项技术目前仍然正在进行持续的优化。最后是接收数据的“Hive”技术应用模块，acheHive提供完整的HiveQL查询功能之外，还是一个数据仓库系统。而zookeeper可以实现类似“主从后台事件列序”“分配事件”“协调负载”等多种功能。
2.4Oozie的应用特点和优点
Oozie是用于Hadoop平台开源的技术，用工作流资源调节引擎，用来管理Hadoop作业，它是属于Web应用程序。因为Oozie的工作流必须在一个有固定流程的无环结构中，所以，使用Oozie时，若前一个任务执行失败，后一个任务将不会被资源调节。优点是当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml文件，然后使用Oozie提交本次任务，Oozie会托管此任务流。而Oozie对工作流的指定，与JbossjBPM提供的jPDL一样，提供了类似的流程定义语言hP⁃DL，它可以利用XML文件格式来定义流程。对于工作流系统，一般会有很多不同功能的节点，比如分支，并发等等。Oozie的控制流节点和动作节点可以让开发者定义流程的开始与结束，并能够以及控制流程和定位具体数据地址。
2.5Kafka的特点和应用优点
Kafka可以用于即时构建数据流传输程序以及流式数据处理、应用程序。它具有水平可扩展性、容错性、速度极快的特点。此外，它的运行过程具备三个特点：“消息”“持久化”“流处理”。客户端服务器通过使用TCP协议进行模块间的数据交互，具体的数据流的写入过程则有支持多种语言的特征，此外，它还支持主题和日志功能，一个主题可以有零个、一个或多个用户写入数据。对于每个主题，Kafka可以维护一个模块日志，每一个分区都成为一个有序且不可变的记录序列，不断添加到结构化的提交日志中，这使得Kafka技术应用有“用户在应用程序过程别容易使用”的特点。
3大数据管理模块技术成熟之上的应用领域
严格意义上讲，大数据技术是数据分析的前沿技术，那么，从大量、各类的数据中，及时获取有价值的信息的技术应用，就是大数据技术得到发展的缘由和最终意义，对于大数据技术在实际生产和生活中的应用领域大致分为以下几个方面：第一，移动互联网出现后，为了提升移动设备用户的用体验，在移动设备的用户点击行为数据记录过程中，应用到了大数据技术。第二，在数据记录、保存方面，大数据技术在音乐文件保存、视频资料保存、监控录像数据保存方面对大数据技术进行了应用。第三，在交通方面，如百度、高德、Google等电子地图为了人们出现更加便利，在应用大数据技术过程中同样利用大数据技术挖掘并提取、计算了大量有价值的信息。第四，随着移动设备的加入，人们的社交行为产生了大量的数据，这为人们生活环境安全性的巩固促进了大数据技术发展。第五，人们使用搜索引擎搜索数据期间，搜索引擎为向用户提供更多有价值的信息，应用了大数据技术。
4结束语
综上所述，对于大数据技术的成熟的认识，要从大数据技术应用过程以及解决问题过程中应用的不同技术展开分析，这不仅能让我们在当下社会跟上IT行业发展的步伐，更能减轻我们学习、实践、应用大数据技术过程中的恐惧心理和畏难情绪，助力我们的专业能力步步高升。
参考文献：
[1]彭宇,庞景月,刘大同,等.大数据:内涵、技术体系与展望[J].电子测量与仪器学报,2015,29(4):469-482.
关键词：大数据：软件工程技术：数据分析
1大数据技术和软件工程技术
大数据技术事实上是将人类日常生活中产生的各种数字信息，将这些信息收集起来之后分类处理，设定不同类别的存储空间，按照类别存储。大数据技术从功能的角度出发可以划分为多个类别，诸如分析技术、机器学习技术、遗传算法技术、自然语音处理技术等。应用大数据技术分析，就是基于当前的科学技术发展起来的一种分析技术。它主要依靠现代科技手段发挥技术的作用，特别网络技术发挥着基础性的作用。整理基础数据，对数据信息进行分类整理，应用相应的计算机算法，将相似特性的数据划分为一类，最终得到大量的数据，应用大数据技术对这些数据进行分析。大数据分析应用于互联网行业中，所发挥的优势是有目共睹的，而且还不断地引入新技术，在软件工程技术中应用，对该技术的发展起到了促进作用[1]。大数据时代，社会各个领域都已经实现了信息化发展，人们对软件工程的概念越来越熟悉。事实上，软件工程的历史始于20世纪的中期，其研究重点是软件技术和工程管理。将相关工程内容引入其中，使得工程系统化运行，其中所涵盖的研究内容包括软件的生命周期、软件工程设计、软件的技术维护等方面。因此，在软件设计的过程中，要控制好技术开发成本，保证工程质量，使其生命周期不断延长，不同项目的技术需求和用户的各种技术需求都能够得到满足。
2大数据背景下的软件工程基础
处于大数据时代环境中，软件工程的发展中关乎到不同的领域，需要高度重视。大数据技术具有专业性的特点，还具有很强的实用性价值。在软件工程技术的研究中，要从应用需求出发不断创新软件技术，对于传统的技术要不断摒弃，对软件工程的发展创造良好的客观条件。大数据技术环境下，软件工程基础是基于互联网技术建立起来的，对各种数据信息系统化管理，根据需要进行处理，对工业的发展非常有利[2]。在软件工程技术中，大数据的安全性问题是需要高度重视的，否则，就会对软件工程技术造成不良影响，引起严重的后果。
2．1软件服务工程
在软件工程的研究范畴中，软件服务工程的数量不断增多。软件工程服务化方向发展，就是发挥服务的作用，使其成为软件开发的基本原则，按照服务项目内容为用户展开服务。由于软件工程发展的主题有所，服务内容也要做出相应的调整，同城是对软件工程的进行技术维护。在具体的服务工作中，需要软件开发人员使用分布式应用程序，在管理工作中采用虚拟操作的方法为用户2019.08提供服务[3]。软件工程技术应用中，结合使用大数据技术，可以对网络数据进行编程，使得软件具有互操作性，对于数据主动协调，使其符合动态场景的变化节奏，软件系统的集成度有所提高。
2．2软件开源
软件开源更为注重用户对软件技术的体验。在对软件开源进行研究的过程中，采用常规的方法，虽然获得一定的成果，但是应用价值不是很高。一些研究人员在研究软件工程技术的时候，就是将软件开源作为突破口，将开发项目划分为多个模块，将每个模块分给指定的研究人员进行开发。
2．3群体软件工程
群体软件工程是通过网络的方式进行软件开发，具体的实施中采用工程众包的形式，使得软件开发技术发挥作用。群体软件工程是一个分布式软件开发模型，这个工程项目的运行中，可以通过网络实现，对各项任务进行分配，也可以进行创造性的查询，通过众包解决软件开发过程中遇到的一些困难和重要问题。同时，在软件工程开发过程中，软件工程可以在任何阶段通过众包进行开发[4]。
3大数据与软件工程技术的未来发展方向
3．1大数据与软件工程技术开放式的发展
大数据技术的主要前提是大量的数据流，需要技术不断地升级和创新，寻求开发的研究途径是非常必要的。计算机网络的发展意味着计算机可以在开放的环境中相互通信，共享数据资源，软件等信息的有效利用能力也会有所提升。通过网络运行可以增加利润，使得用户的各种需求得到满足，提高资源的利用率。
3．2大数据与软件工程技术融合到其他领域
软件工程技术在当今许多科学领域有着广泛的应用。由于软件工程技术给予各个领域非常大的帮助，从航空到生活中都发挥着软件工程技术的作用[5]。应用程序的运行，可以使用数据平台对信息进行收集并分析。比如，用户在进行股票交易的过程中应用大数据技术，可以使用软件工程技术构建数据模型，通过对数据模型的分析，预测股票的变化趋势。
4众包软件服务工程中的大数据技术
在软件开发过程中，必须有足够的硬件和软件基础来支持数据流，随着数据流的量逐渐增多，对硬件和软件就有了新的要求。专家学者在分析数据流的时候，还对在线服务进行了研究。数据流是重点内容，主要是对数据流的使用方法进行研究，对支撑数据流的软件和硬件进行研究[6]。从软件工程开发的角度而言，软件运行中都会产生大量的数据流，包括服务端、用户端等，都会有很多的数据信息产生，这些数据流对软件和硬件的使用寿命起到了决定性的作用。软件工程的开发中，要做好数据流的管理工作。有必要对原始数据进行深入的研究，为提高软件的使用寿命创造条件，对数据流的分析要高度重视[7]。
5密集型数据科研第四范式
第四种科学研究范式是指根据实际情况建立独立的科学研究方法，探索第四种范式的理论基础，以及大型数据存储设备在发展中的重要性。软件工程中，采用传统的大数据研究方法，大数据的有效分析是不可能的，大数据的研究还没有取得突破性的成果。因此，目前大多数软件不能在短时间内同时实现数据信息的存储、数据信息的传输和有效识别。在探索第四范式理论和研究方法的过程中，首先需要对集成大数据的软件服务价值进行估计，抛弃传统的大数据统计方法，建立新的大数据信息统计方法和分析方法[8]。此外，有必要从多个方面研究大数据的处理，对大数据信息进行管理并深入分析，讨论大数据的价值以及存在的可变性，这对软件工程的发展起着重要的作用。在研究软件工程技术的时候，必须更新传统的软件开发理念，重视软件处理和分析大数据能力的发展，使得软件产业呈现出新的发展面貌。
6结语
在当今大数据时代，软件工程技术的研究已经区域复杂。随着数据的指数的不断增长，软件技术对硬件设备数据处理能力产生一定的影响。因此，在对软件工程技术的研究中，就需要对大数据技术的特点进行研究，基于此研究软件工程技术，使得硬件设备的数据处理能力有所提高。在研发开发软件技术的过程中，要从应用领域的需求出发对大数据技术进行分析，在大数据开发理论的基础上创新软件开发理论，促进软件技术更好地发展。
关键词：能力本位；大数据专业；课程体系
高职大数据专业教育的本质是为了培养在大数据采集、存储、传输、分析、处理、应用等领域实践能力强、综合素养高的技能型人才[1-4]，以能力为本位的大数据专业课程教学始终贯穿于高职大数据专业教育的全过程，这也是促进新常态下高职大数据专业教育教学发展的主要因素。但是，就目前的发展态势来看，高职培养的大数据专业人才的数量和质量远远未能达到市场和企业的需求，究其原因，主要是因为高职大数据专业课程尚未形成体系，未能在有限的教学课时内有机整合交叉重复的课程内容，从而未能突出体现学生综合能力的培养[5-9]。因此，构建基于能力本位的高职大数据专业课程体系势在必行。
1高职大数据专业课程体系构建的必要性
国务院于2015年8月印发的《促进大数据发展行动纲要》指出，“建立健全多层次、多类型的大数据人才培养体系……重点培养职业工程师等大数据专业人才”。为了在一定程度上满足市场和企业对大数据技术相关人才的需求，截至2020年12月，全国共有289所高职院校开设了大数据专业。由于我国高职院校大数据专业开设的时间短、起步晚、底子薄，大数据技术专业人才总体上来说是短缺的[1-4]。此外，由于人才培养目标和就业定位仍然不够明确，尚未形成系统性的师资团队、高效的实践教学平台和标准化的课程体系，未能有效构建和运用交叉学科的知识体系和课程内容。因此，不完善的课程体系和课程内容导致教师只着重计算机领域知识的教学，缺乏适合学生学习系统性的大数据课程教学计划，忽略了大数据专业学生技能的培养，不能适应大数据时代市场和企业对大数据专业高技能型人才的需求。目前我国高职院校大数据专业教学和人才培养仍处于摸索阶段，如何从培养学生深度的思维能力和解决广度问题综合能力的角度出发，构建基于能力本位的大数据专业课程体系是摆在高职院校面前的一个重要课题[1-9]。
2基于能力本位高职大数据专业课程体系构建的可行性分析
2.1面向计算思维能力的高职大数据专业课程体系。计算思维能力即在管理学和教育学基本理论的基础上，充分、综合运用计算机专业领域的基本概念、基本方法、基本手段和基本过程对所需求解的问题进行深度上和广度上的抽象、挖掘、归纳，从而求得最优解的一种思维能力[5]。高职大数据专业教育的培养目标本质是为了培养在大数据采集、存储、传输、分析、处理、应用等领域实践能力强、综合素养高的技能型人才。计算思维能力完美地诠释了高职大数据专业课程教育教学的内在本质，即将高职大数据专业课程划分为一种包括通识教育、大类教育、基本认知等模块课程在内的螺旋递推式的计算思维课程体系，通识教育课程包括数据科学数学基础、人工智能导论、操作系统、统计学、管理学基础、计算机组成原理、数据科学导论、大数据结构、数据库原理、大数据编程算法等课程，充分、综合运用管理学领域、教育学领域、计算机专业领域的基本概念、基本理论、基本方法、基本手段和基本过程对所需求解的大数据分析、处理、应用问题进行深度上和广度上的抽象、挖掘、归纳。因此，通过构建面向计算思维能力的高职大数据专业课程体系并在实际的教学活动中加以实践，促进学生熟练掌握大数据的基本概念、基本理论、基本知识、基本方法、基本手段、基本过程和基本技能[6]，从而具备初步的项目开发经验和能力。2.2面向应用能力的高职大数据专业课程体系。高职大数据专业教育的本质是为了培养在大数据采集、存储、传输、分析、处理、应用等领域实践能力强、综合素养高的技能型人才，即高职大数据专业教育的本质是以能力为本位的。基于面向计算思维能力的高职大数据专业课程体系，面向应用能力的高职大数据专业课程体系是指将大数据主干课程划分为专业骨干、专业实践等模块课程，它们属于应用能力培养的范畴，专业骨干课程可开设的课程主要包括大数据程序设计、大数据采集、存储与传输、数据库应用技术，专业实践课程可开设课程包括大数据核心平台技术、大数据挖掘、分析与处理、大数据应用、大数据可视化技术等。这是高职大数据专业基于能力本位的课程体系整体框架中的核心课程，也是后期以“专业拓展”“综合拓展”等模块课程为标志的工程能力培养课程开设的前提[5-7]。面向应用能力的高职大数据专业课程体系侧重于大数据应用框架的部署和理解，课程内容完美地体现了培养学生的大数据编程算法、大数据程序设计、大数据核心平台技术、大数据可视化应用技术等方面的核心能力。2.3面向工程能力的高职大数据专业课程体系。工程能力是指在计算思维能力和应用能力的基础上，学生通过团队协作解决实际工作中较为复杂综合性的工程项目开发问题的能力。因此，面向工程能力的高职大数据专业课程体系包含专业拓展、综合拓展等模块课程，它们属于工程能力培养的范畴，即培养多元化的具有广度创造技术、深度人工智能开发技术的大数据分析师、大数据架构师、大数据运维工程师、大数据开发工程师、大数据科学家等工程项目设计与开发人才[6]。面向工程能力的高职大数据专业课程体系通过项目小组团队协作的形式，以工程项目与企业真实案例为驱动，促使学生搭建大数据工程项目设计与开发的框架，细化框架内部细节，集思广益，形成最终的工程项目解决方案，并充分运用所学的专业骨干、专业实践等模块课程中的大数据程序设计、大数据采集、存储与传输、数据库应用技术、大数据核心平台技术、大数据挖掘、分析与处理、大数据应用、大数据可视化技术等课程的核心知识，实施大数据工程项目的大数据采集、存储、传输、分析、处理、应用、作业调度、工程维护、代码调错等，从而完美地实现培养学生解决实际工程问题能力的目标[7-9]。
3基于能力本位的高职大数据专业课程体系构建途径
3.1构建支撑计算思维能力培养的立体化课程资源。面向计算思维能力的课程体系是高职大数据专业发展的一个基础性课程体系，这是大数据专业能力向应用能力与工程能力纵深发展的延伸性课程，目的在管理学和教育学基本理论的基础上，充分、综合运用计算机专业领域的基本概念、基本方法、基本手段和基本过程对所需求解的问题进行深度上和广度上的抽象、挖掘、归纳，使学生掌握大数据专业的通识教育、大类教育、基本认知等模块课程，从而为学生拓展应用能力与工程能力打下基础。因此，需要构建支撑计算思维能力培养的立体化课程资源，其主要形式是利用移动互联网设置集课程资源、线上线下资源、实践课程资源为一体的立体化课程体系教学资源模式[5]，并利用移动互联网构建多样化的线上线下网上教学环境、学生线上线下学习平台。课程教学资源以线上线下和任务与项目驱动的实践课程形式为主，学生在教师的启发和引导下自主学习，时时讲解、时时操作。在此立体化课程资源支撑下，按照“计算思维形成→基本技能训练→计算思维能力培养”的要求，充分运用混合式翻转教学方式，对一些重点难点的课程内容进行反复教学，实施数据挖掘与人工智能结合的大数据专业基础知识的实际操作，对学生进行个别指导，加深学生对基本知识点的掌握和理解。3.2搭建支撑应用能力培养的实训平台。高职大数据专业实践性、应用性极强，面向应用能力的高职大数据专业课程体系要求搭建适当的支撑应用能力培养的实训平台以强化学生的应用能力。搭建支撑应用能力培养的实训平台，重点是学校应根据大数据专业人才培养目标和计算思维能力培养需求，从硬件环境、软件环境、线上线下网络教学平台等方面入手，构建集大数据编程算法、大数据程序设计、大数据核心平台技术、大数据可视化应用技术等于一体的核心能力培养平台[5-6]，大数据编程算法、大数据程序设计、大数据核心平台技术、大数据可视化应用技术课程采用线上线下模式、理实一体化的教学方式，主要用于大数据专业的“专业骨干”“专业实践”等模块课程的实训教学；软件条件方面，利用搭建的实训环境，以学生分组协作形式，可以选择并行分布式处理软件Hadoop和Spark，实施大数据预处理、模型的建立模型、参数的选择，为学生提供大数据编程算法、大数据程序设计、大数据核心平台技术、大数据可视化应用技术方面的实训项目，使学生掌握基本方法和技巧，理解基本工作原理，从而可以较好地培养学生应用能力。3.3设计支撑工程能力培养的综合性工程项目。面向工程能力的高职大数据专业课程体系即培养多元化的具有广度创造技术、深度人工智能开发技术的大数据分析师、大数据架构师、大数据运维工程师、大数据开发工程师、大数据科学家等工程项目设计与开发人才，它是围绕学生的工程项目开发能力而设置的。因此，学校应结合大数据专业的人才培养总体目标、计算思维能力培养目标和应用能力培养目标，设计支撑工程能力培养的综合性工程项目[6-9]，在每个项目中设置相应的实验，力求做到课程与岗位能力对接，检验学生对实践知识的掌握情况以及解决问题的思想、手段和方法，从而为工程项目开发打下坚实的基础。在综合性工程项目类型方面，把支撑工程能力培养的综合性工程项目分为设计性实验和综合性实验，合理规划工程能力培养计划、培养标准以便较好地适应工程能力培养的新形势，让学生在“练中学、学中练”，考察学生的实际工程项目开发能力，力求工程项目开发能力与企业标准对接。3.4创新基于学生能力本位的教学模式和教学方法。面向计算思维能力、应用能力、工程能力培养的高职大数据专业课程体系是一种螺旋递推式的课程体系，它完美地诠释了高职大数据专业课程教育教学的内在本质。基于学生能力本位的教学模式和教学方法是实现高职大数据专业课程教育教学内在本质的重要条件。因此，高职院校要从大数据专业人才培养和学生实际需求出发，制作精美的教学视频，充分利用微课、翻转课堂、多媒体、远程协作、虚拟现实、系统仿真、探究式、启发式、逆向式、互动式等教学方式、方法和手段[1-4]，按照“思维培养—应用细化—工程开发”的教学模式，围绕大数据专业的课程教学内容，充分利用网络资源，随时调整教学细节，合理安排课时，及时记录教学过程中的反馈信息，使得师生之间的良好互动和沟通达到一定的广度和深度，为学生掌握大数据专业课程的精髓和将来适应工作岗位打下坚实基础。3.5加强基于学生能力本位的师资队伍建设。高质量的专业教师队伍是构建基于能力本位的高职大数据专业课程体系构建的良好保障，因此高职院校要围绕学生的计算思维能力培养、应用能力培养、工程能力培养[5-9]，加强基于学生能力本位的师资队伍建设，让教师在教学与科研中取长补短，丰富知识结构，相互促进，相互提高，从而为教师专业素质和创新实践能力提供保障，提升教师授课水平。
4结语
高职大数据专业课程体系的构建为提升学生的计算思维能力、应用能力、工程能力提供了科学的发展平台，对高职专业人才培养和课程改革具有重要的意义，同时也能使学生成为有知识、有能力的社会主义事业建设者和接班人。大数据对当今社会的重要意义以及大数据专业人才的不足决定了大数据专业人才培养任重道远，但是不足也是动力，也给未来高职大数据专业预留了很大的发展空间。
参考文献:
[1]林宛杨.“职教20条”建设背景下大数据课程体系改革[J].电脑知识与技术,2020,16(36):170-171,176.
[2]刘建华,胡文瑜,唐郑熠,等.数据科学与大数据技术专业课程体系探索[J].科教文汇,2021(2):115-116.
[3]周黎鸣,林英豪,李征,等.新工科背景下大数据专业课程建设[J].计算机时代,2021(1):102-105.
[4]马晓磊,霍恩泽.面向“互联网+产学交融”的交通大数据课程体系建设[J].高教学刊,2021(7):86-89.
[5]崔琳,吴孝银,张志伟.面向学生计算思维培养的数据科学与大数据技术专业课程体系建设模式探究[J].无线互联科技,2020(4):121-122.
[6]戴牡红.面向工程能力培养的大数据教学研究[J].软件工程,2021,24(1):47-50.
[7]袁利平,杨阳.基于能力本位的教师教育课程体系建构[J].河北师范大学学报（教育科学版）,2020,22(5):85-92.
[8]王姝,苏志东.基于能力本位的反向课程设计方法应用研究[J].微型电脑应用,2020,36(9):77-82.
关键词：大数据； 职业岗位； 工作任务； 培养目标
中图分类号：G712 文献标识码：A 文章编号：1009-3044（2016）33-0154-02
Abstract： By investigation and study， analyze the occupational positions of big data technology and application major in higher vocational education， describe each post job， sift typical work tasks from these jobs， refine the professional ability of work tasks， finally determine the personnel training goals and specifications， lay a foundation for the subsequent specialty construction.
Key words： Big Data； occupational positions； work tasks； training objective
1 引言
S着云时代的来临，大数据产业规模逐年扩大。2016年教育部增补了“大数据技术与应用”高等职业教育（专科）专业，正是适应市场行情需求做出的正确抉择。面对高职学历层次，如何有效定位大数据专业面向岗位和培养目标，成为要开设该专业的高职院校需要考虑的问题。下面将结合本校调查探讨该专业的建设。
2 职业岗位分析
高职“大数据技术与应用”专业人才培养所面向的职业岗位应该是应用型技术人才所从事的岗位，经过调查和讨论分析，适合面向下列岗位进行培养，具体实施时可以选择其中2～3个方面的岗位重点培养。
2.1 大数据运维工程师
保证大数据平台的正常运行，通过系统监控、集群配置等技术手段，保证大数据平台能够长期稳定的支撑企业大数据业务的工作任务。要求会部署大数据平台、监控大数据平台、测试大数据系统以及具有一定安全管控能力。
2.2 ETL工程师
主要从事数据的预处理工作。通过数据抽取、整理、传输、加载、校验等技术手段，结合工具，实现数据的清洗，保证高效地为大数据分析提供高质量的数据资源的工作任务。
2.3 大数据应用开发工程师
主要从事软件应用开发工作。通过对大数据进行分析处理、结合软件开发流程，按照业务需求完成大数据应用开发的相关软件设计与实现的工作任务。具备文档编写、系统测试等方面的能力。
2.4 数据可视化工程师
主要从事大数据可视化设计与开发。通过数据可视化报表技术、商业智能报表工具、常用web开发框架以及程序开发语言，能够进行可视化应用的设计、开发与展示，直观的为客户呈现大数据的价值。
2.5 大数据售后/技术支持工程师
主要从事售后服务及技术支持工作。熟悉大数据平台的搭建和维护工作，能够阅读和理解平台日志，能够快速分析和定位故障，对大数据平成故障排查，采取相应措施，保障大数据平台稳定运行。
2.6 大数据实施工程师
主要从事大数据平台部署工作。通过综合运用服务器、交换机、存储、虚拟化、云计算、大数据等基础知识，保证快速、高效地完成大数据平台环境等搭建和部署的工作任务。涉及大数据系统以及云平台的搭建、测试及安全管控。
3 典型工作任务分析
从以上职业岗位分析概况为以下9个典型工作任务。
1）大数据平台部署：配置和管理网络设备，完成网络搭建；配置和管理服务器和存储，设备维护；操作系统的安装和配置；大数据平台的搭建、部署、测试及调优。
2）大数据平台运维：大数据平台的日常维护，使用工具完成大数据平台的软硬件平台运行状态监控，大数据平台的故障应急处理，保证平台正常、稳定、高效运行。
3）大数据售后技术支持：根据项目售前技术方案与客户沟通业务具体需求，撰写项目实施方案和测试方案；熟练操作使用Hadoop、Spark等大数据组件和模块的功能，根据组件安装手册进行系统部署并解决安装部署中的问题；能够进行项目整体规划、执行、风险管理、项目验收等项目管理相关工作，熟练使用常见项目管理工具；具备网络的规划与设计能力，熟练操作网络操作系统、主流数据库。
4）大数据系统测试：完成测试文档编写（如测试用例、测试报告等），完成测试文档编写（如测试用例、测试报告等），使用自动化测试工具完成大数据系统相关测试工作。
5）大数据安全管控：对数据进行细粒化授权管理与配置，熟练管理系统认证kerberos组件和通过LDAP、AD对用户进行统一认证管理，对大数据系统进行审计管理，对HDFS数据、元数据和其他敏感数据进行加密操作，制定和实施大数据安全策略。
6）数据预处理：使用工具从数据源采集或抽取所需数据，使用工具对数据进行转换、清洗、校验操作，使用工具完成数据传输、建库、校验和加载，分布式ETL过程调优。
7）可视化设计与开发：使用web开发框架进行可视化应用开发，根据行业领域需求进行可视化设计，使用BI工具进行商业智能报表设计、开发与展示。
8）大数据应用开发：搭建好大数据程序开发的环境，根据用户需求利用开发语言进行大数据分析和预处理，进行大数据应用程序开发，完成功能性测试，集成和展示开发成果。
9）大数据文档编写：按照正确格式和行业要求书写文档，熟练对文档进行编辑、排版。
4 培养目标定位
通过对典型工作任务所需职业能力的分析，本校侧重于大数据运维、数据清洗、应用_发这些方面能力的培养，进而得出该专业的培养目标：本专业培养适应生产、建设、服务、管理第一线需要的，具有市场急需的大数据分析、数据仓库管理、数据可视化、应用开发等能力的应用型人才，培养具备大数据平台搭建与运维、数据采集、数据加工、数据分析、数据挖掘、数据可视化等专业实践能力，具有良好的职业道德、创业精神和健全的体魄，适应我国社会大数据应用发展所需的应用型专门人才。
该培养目标对专业素质要求如下：
1）具有敬业精神和职业道德观念，具有创新精神；
2）具有良好的职业素养，有团队合作精神，有较高的职业行为能力；
3）善于观察，勤于思考、勤于学习，有良好的查阅科技文献、手册、工具书及进行检索的能力，具有大数据文档编写能力。
4）具有大数据平台部署能力，能通过综合运用服务器、网络、存储等设备完成大数据平台环境等搭建和部署的工作能力。
5）能够通过系统监控、集群配置等技术手段，保证大数据平台能够长期稳定的支撑企业大数据业务的工作能力。
6）能够进行数据的抽取、整理、传输、加载、校验、清洗等处理。
7）具有大数据应用开发能力，按照业务需求完成大数据应用开发的相关软件设计与实现的工作能力。
5 结语
专业建设是一个系统工程，从调查所面向的职业岗位开始，再分析典型工作任务，得出完成工作任务所需的职业能力以及所需的知识、技能，确定培养目标和规格，再确定学习领域开设的课程，完成人才培养方案的制订。前面对“大数据技术与应用”专业进行了人才培养目标定位研究，为后期的专业建设奠定了基础，当然专业建设还需要在实践中不断探索和改进。
参考文献：
[1] 傅伟，等. 基于工作过程系统化的高职专业建设内涵探析[J]. 职教论坛，2010（9）：40-42.
1、软件服务下的大数据
随着互联网运用的逐渐广泛化，社会中的各个行业都具有了自己的数据种类，这就致使大量的数据在互联网的服务中产生。软件服务工程会产生密集型数据，其中包括流式密集型的数据以及历史密集型的数据。如世界最大的电信数据仓库中心目前已经建立超过1200TB的数据；中国移动通信的业务流程超过8190个，实现了办公自动化和标准化的业务流程。“程序=数据结构+算法”的程序设计思想为传统软件工程的管理思想模式，集程序的运行过程就是数据结构的组织与算法的问题，这种模式将程序运行过程中的数据忽视，而将重点放在了程序的正确性和效率性，在很大程度上把程序的生命周期缩短。纵观软件理论的漫长发展史，诸多学者一致认为详细的文档和完整的程序构成了软件，其中完善的文档信息为软件的核心部分，包括工程数据、文档以及通用规范等等，把整个软件的设计重点放在了文档是否质量合格以及开发模式是否具备标准化上面。由此，推动了软件设计的标准化，从整体上把软件的质量有效提升[1]。
随着系统业务的扩容和用户的使用，对软件进行大规模的数据处理提出了更为严格的要求。越来越多的大型互联网企业更加重视软件服务中的历史密集型数据和流式密集型数据，将大数据分析作为服务，更加注重从用户的体验上进行数据的收集。大数据背景下，行业逐渐加大了数据的处理难度，使得处理数据更具精细化，对技术的标准要求也更为严格。当前大数据时代下软件工程的研究课题为，如何更好的把大数据平台作为服务，把大数据的分析作为服务、把数据的价值作为服务[2]。要从软件发展创新模式来进行海量数据的处理，PaaS服务平台、服务提供方以及服务消费者三方，会产生海量离线密集型数据和线上流式数据。各项级别的用户在进行交流或者进行操作以及各项系统日志数据等，其通常对软件的有效开发、运行、管理等各方面都有着重要影响，另外，大数据还对软件服务的具体周期具有决定性作用。
从根本上讲，只是在规模和量上来进行数据的衡量，对其的研究没有标识，尤其是比较缺乏语义化的处理。因此，要对研究思维及方法进行不断创新，以此对相关数据实施组织与处理，并形成具有领域性的智能主体。通过对大数据的有效创新，将知识作为载体，可以提供相应的数据平台，从而确保以大数据为中心来进行现代软件工程管理的创新[3]。
2、大数据时代背景下软件工程管理模式
软件工程的发展经历了三个阶段，经典的CS模式-BS模式-软件服务工程。其中产生于大数据背景下的面向服务的软件工程，以服务为基础，能够以较快的速度进行应用和共享服务的构建，对于分布式程序的开发具有很好的适应性。这种模式的不同之处在于能够把应用服务化，资源虚拟化，将外界服务接口统一化，有效解决大数据环境背景下的一系列问题。这种软件服务工程设计模式广泛应用于移动互联网、大数据等新兴领域。项目管理是受到进度、费用以及品质的影响，满足客户的需求而进行的活动规划、指导和监督。其中项目控制与系统工程为项目管理两个至关重要的研究领域，二者有交叉重叠部分，项目控制主要负责输入进度、规划和费用，而系统工程蛀牙负责技术层面的输入。通过文档的形式来体现工程的管理，其中包括系统工程管理计划和系统文档树[4]。
系统文档树通过树形结构来描述项目所需要的，以系统工程为对象的各个系统工程文件之间的相互关系。在提案阶段，由系统工程师根据合同数据需求清单和工作说明书来进行系统文档树的准备，从而为根据后续的进度和成本来进行文本化任务的确定提供便利的条件。由项目经理进行系统文档树的批准，并更新维护项目管理的全生命周期。而系统工程管理计划主要用于描述系统工程的进度与任务的，在提案过程中，由系统工程师根据合同数据需求清单和工作说明书来进行系统工程过程的描述，以及如何有效计划、组织、集成、测量系统工程需求。项目管理计划同样由项目经理进行批准，并更新维护项目管理的全生命周期。系统工程管理计划主要由软件系统工程过程、开发项目规划与控制，以及软件工程专业集成三类关键要素构成，其中开发项目规划与控制为必须要实现的系统工程任务[5]。
3、总结
综上所述，面临着互联网的进一步发展，其促使软件的更新速度相应加快，大数据背景下通常对软件的自身安全及性能具有更高的要求。因此，要想打造一个健壮、高效且安全的软件工程，不仅仅要加大技术的支持力度，还需要不断创新软件工程管理办法，形成一套科学的配套理论以及技术标准。当前规模较大的软件重用技术不断发展，并实现了应用，再加上大量积累的软件资源，未来软件的集约化生产以及软件数据的挖掘将会变的至关重要。传统化的软件工程的管理方式已无法满足当前生活的相关需要，大数据环境背景下探究新型的软件工程管理方法具有十分重要的现实意义。
【软件工程硕士论文参考文献】
[1]张宇航.大数据系统中的软件工程管理方法探究[J].中国高新技术企业，2016，(23):93-94.
[2]杨淼.面向商业模式的大数据信息管理方法研究[D].天津大学，2014.
[3]梁峰.基于数据仓库技术的电力公司营销数据分析梳理平台的设计与实现[D].电子科技大学，2015.
[4]王建民.领域大数据应用开发与运行平台技术研究[J].软件学报，2017，28(6):1516-1528.
关键词：大数据；人力资源；网络共享
一、“互联网+”的重要标志：大数据时代
“互联网+”行动计划日益渗透到各行各业，它代表着时展方向，对人力资源管理带来了创新变革。随着科学技术水平的不断提高，大数据应用已经在各行各业中体现出不可替代的价值，形成了“大数据+人力资源管理”的管理思维方式。大数据应用的出现意味着数据能够广泛渗透到各行各业及各个业务职能领域中；同时海量数据的应用掀起了新一轮的消费者盈余浪潮，并使得生产率有所增长。随着互联网及云计算等科技的兴起及普遍使用，大数据作为新时代的产物，在越来越多、越来越复杂的海量数据下成功塑造出这一全新的概念。大数据的主要特征有数据体量巨大、数据类型繁多、价值密度低和处理速度快。大数据作为海量数据的集合体，存在三种分类方式：（1）半结构化数据。例如用windows系统进行处理的文字、电子邮件及在网上阅览的新闻等信息。（2）结构化数据。例如企业财务系统、人事系统等数据都是结构化的数据。（3）非结构化数据。例如移动终端、传感器及社交网络等产生的数据。大数据时代给人力资源管理带来了新的思维和机遇，以大数据的思维模式，整合各类数据，挖掘数据价值。因此，“大数据+人力资源管理”必定是人力资源管理的发展趋势
二、大数据应用在人力资源管理中的作用
1.大数据应用使数据具有广泛的可获取性及高透明度。
部分制造商正在试图通过集成多种系统的数据，并试图通过从客户和外部供应商获取数据来共同完成产品的制造。例如汽车制造行业，汽车的零部件通过全球供应商集中提供。企业及其供应链合作伙伴通过这种高度集成的平台可以在产品的初期设计阶段就开始相互协调工作。
2.大数据通过改变决策的制定方式对竞争产生影响。
大数据应用能够使决策制定产生根本性的转变。大数据可以通过利用可控实验，使企业能够对假设进行验证，并对数据显示的结果进行分析，从而达到利用大数据指导投资决策及运作方式的目的。大数据应用对面向用户的企业有着极其重要的影响作用，面向用户的企业通过对数据的分析和划分来对用户进行定位，而大数据应用可以使用户质量实现质的飞跃，使用户的实时性及个性化制定成为现实。新一代的零售商已经采取利用大数据应用，并且通过互联网的点击量对用户进行定位和跟踪，同时能够影响并更新用户的个人爱好，通过实时模仿其可能发生的行为对自己的产品进行改进和完善。
3.大数据对数据管理所做的改变及替代趋势。
大数据应用通过提高机器的分析能力及算法，能够使制造商获得更高的生产率。例如部分制造商利用大数据算法对生产线的传感数据进行分析，为减少及避免损失创建自动调节过程，以达到减少成本过高的人工干预并实现生产率的提高。
4.基于大数据应用的新型商业模式产生。
大数据的广泛应用促使许多在价值链中生存的新型公司产生，通过商业交易创建具有高价值的“排出数据”，这种商业模式已被大量新型公司采用[1]。
三、大数据应用在人力资源管理中的价值
大数据应用使得人力资源管理系统的数据来源得到拓宽，并使人力资源的信息采集能力得到提升，使数据量最大化。大数据应用对人力资源管理的精确性、客观性及针对性都有十分重要的作用。大数据应用为人事工作提供更加全面的量化参考基础。在组织人事工作的过程中，利用大数据的分析方式可以对人员流动、绩效考核结果及人员培训需求等进行有效分析。利用大数据的优势结合全面的人力资源信息并对其进行反复持续地深入挖掘，利用人才分析或人力资源核算等方法，使大数据为人力资源管理工作发挥出战略性的预判能力。在大数据时代下，人力资源管理系统已经打破了传统的组织形式并开始向普通员工靠近，从而在与员工交流的过程中产生更多的交互性数据，这样不仅可以优化人力资源的组织结构，同时为员工服务创造出有利的条件，使员工能积极参加到认识管理工作中，并且使人力资源管理有更加规范的工作流程。人才的核心竞争力在大数据时代下正发生着巨大的变化，利用大数据可以建立高效的人才数据管理模式。在大数据新时代下数据已成为企业的核心资产之一。通过对大数据应用的使用使得企业的一切信息都能够被录入和存储，并且通过对企业及员工群体的信息进行有效分析和总结。
四、大数据下人力资源共享网络的组织模式设计
1.人力资源共享网络的构建框架。
人力资源共享网络的构建包括以下四个部分：确定共享网络的目标、选择共享伙伴、组织共享网络结构和共享网络的运行及反馈与平台的设计开发。其中选择共享伙伴与构建共享网络平台的设计开发是人力资源共享网络建设的核心部分，因此，对二者进行深入分析[2]。
2.人力资源共享网络的伙伴选择。
在人力资源共享网络的建设过程中，共享网络的伙伴可能是任何行业的人员或企业，因此，在选择过程中，通过对人力资源状况进行识别与评估，对候选共享伙伴进行初步确定，同时在此基础上根据海量信息及经验制定合理的共享伙伴评价体系与指标，从多方面对伙伴进行综合性的评价，最终确定合适的共享伙伴名单。影响人力资源共享网络选择共享伙伴的因素有很多，根据不同的人力资源情况会出现不同的选择侧重点，在选择过程中应根据共享网络的建设目的及各组织进行合作的宗旨，从而确定对共享伙伴选择中的评价体系。
3.人力资源共享网络的平台设计及组织结构。
在确定网络共享伙伴之后，开始对网络组织进行详细设计，其中包括网络共享平台的设计及组织结构设计：
（1）人力资源共享网络组织结构。
在人力资源共享网络组织的运行过程中，应建立各项功能机构并且执行网络共享合作协议，使共享成员组织之间能够有效而具体地开展人力资源共享活动。人力资源网络共享组织一般具有两个层次的功能机构：一是从微观上根据具体的人力资源网络共享需求及合作项目、目标组建人力资源网络共享合作团队，并且形成人力资源共享体系，运用不同的网络共享方式实现需求者与人力资源拥有者之间的网络共享；二是从宏观的层次上建立由共享成员组织共同参与的高层管理机构，对整个人力资源网络共享组织内部的工作负责并进行协调[3]。
（2）人力资源网络共享平台的设计开发。
人力资源网络共享的平台设计开发工作主要有以下几个环节：利用网络服务器将人力资源拥有的能够进行编码的知识及每个成员组织提供的相应人力资源信息进行传递；通过网络共享平台的各个内部子系统的运作，对人力资源编码化的知识进行处理加工并且对共享成员间人力资源的需求进行匹配；最后通过网络或人工传输，对每个网络共享团队的实践活动进行指导。人力资源共享网络平台由以上各环节共同构成。
五、大数据下人力资源网络的协调机制
人力资源网络共享平台的开发设计作为共享成员之间进行人力资源及知识共享的基础平台环境，还需要能够支持整个网络共享组织运行的协调机制，通过与协调机制的配合才能够使得共享网络组织的运行目标得到实现。协调机制在人力资源网络共享组织中主要强调以下几点：配合并协调人力资源网络共享平台的运作过程；通过网络共享文化培养及激励机制等方式对各共享成员组织间的合作关系进行协调，达到使每个共享成员都能够以有效的目标优化方式与其他成员合作共同达成目的。协调机制主要包括网络目标分解、网络组织结构及具体执行等层次的内容。因此，人力资源网络共享组织的协调机制主要在向前协调及向后协调两个方面进行作用[4]。
1.人力资源共享网络组织协调机制的向前协调作用。
人力资源网络共享组织的向前协调主要强调根据各共享成员的差异在共享网络组织构建过程中预先设计合理的协调机制，以达到协调管理各共享成员组织与人力资源网络共享整体运作的关系。
2.人力资源共享网络组织协调机制的向后协调作用。
人力资源网络共享的向后协调机制主要包括发现、分析及解决问题三个部分。协调机制在人力资源网络共享组织中主要着手解决在共享网络运行中已经存在的冲突或问题。作为一种反馈模式被动地对事后出现的问题进行解决。在人力资源网络共享组织的运行过程中存在大量需要处理的共享伙伴之间的制约及依赖关系，因此，全面、正确地对其进行形式化描述并对整个运行过程进行有效的维持，从而减少共享成员组织间出现冲突的情况以降低协调工作量。
六、结束语
在大数据时代背景下，人力资源的管理工作已经不仅仅是人与人之间的交流合作，对海量数据的分析整理越来越重要。在大数据应用的帮助下人力资源管理部门对员工的了解及考核变得更加方便，通过对数据的利用将员工的表现以科学化、数据化的考核方式进行，使得人力资源管理部门对员工的分析更加客观、科学。实现大数据应用对人力资源管理的价值最大化，同时建设人力资源共享网络，使人力资源管理工作能够利用大数据的应用价值促进自身的发展。
参考文献：
[1]王卫明，孙剑平，陈昊，等.制造业发展中人力资源及资金投入的影响研究[J].南京理工大学学报：自然科学版，2013，（6）.
[2]董小华.人力资源服务业发展问题初探[J].中国人力资源开发，2013，（5）.
[3]王艳辉，陈建安.以人力资源审计工具提升战略人力资源准备度[J].中国人力资源开发，2013，（1）.
大数据挖掘
大数据涉及到存储、计算、发觉、安全这样的过程，往往数据来自三个层面：网络数据，网络传感器上面的数据，还有一些既不是网络也不是传感器，比如政府以及企业部门所收集的很多数据。
三源数据在数据库里应根据所需应用进行选择有用的数据，在应用的时候还需选用可用的数据，然后通过变换，把复杂度降下来，以便利用，再抽出所需的数据，最终融合得出关键的东西。数据挖掘涉及到这么一个过程。
实际上大数据的产业涉及到许多方面，首先是大数据平台。涉及到大数据平台，便需要宽带的存储设施，需要有云计算平台。首先是光纤宽带系统，如今光纤传输能力不断增加，我们还希望光网络能力提升，自动交换光网络便应运而生。
现在移动通信也发展很快，去年年底4G牌照被批准发放，现在LET在国内多处布网和商用。而国际上已经启动了第五代通信网络应用，光纤的发展为大数据提供了很好的平台。
除了光纤和通信以外，计算机也是少不了的。50年代大型计算机，60年代小型计算机，80年代个人计算机，90年记本电脑，现在手机就相当于一个计算机。世界上第一台计算机于1946年诞生，当时占地面积170平方米，其能力相当于会计手上拿的计算机；1975年美国国防部拿500万美元买了一台当时最先进的超级计算机，相当于现在的iPhone 4；1985年美国防部更新了超级计算机，相当于iPad 2；90年代买1G的闪存要1800美元，而现在只要0.25美分，所以随着计算机能力提升，大数据处理能力也相应提升。
另外大数据也离不开软件，软件发展从单机到网络。软件的代码在早期阿波罗登月飞行器软件时整个只有4000行代码，现在波音飞机的软件有2万行，高铁有上十亿的行代码，我们用的智能手机操作系统也是上百万行的代码。随着软件能力的提升，也方便了对大数据的挖掘。
当然，除了软件以外，云计算也是大数据里会用到很重要的一个基础设施。事实上，我们需要使用的是云服务，云计算下面有基础设施，称为基础设施之服务，提供服务器、存储器和网络。
现在每个单位都可能会有信息化系统，自建信息化系统很不划算，利用率不高，因此委托第三方进行信息化系统，这样就构成了云计算的基础设施之服务。在云计算上面通常都会增加平台之服务，里面提供很多工具，有利于用户在里面利用这些工具开发所需软件，尽管提供了这些工具，但是对于一些中小企业来讲，它仍然没有能力利用这些工具开发软件，因此在云计算上面可以向更多公司提供可以租用的软件，像客户关系管理、HR人力资源管理等等，对于一些更大企业可以自身在云计算开发自己事务性企业管理上用的很多软件。
大数据处理
有了前面说的宽带化、软件、计算机和云计算之后，是不是就一定能完全处理大数据呢？大数据比较难处理的是怎么实现语义的分析，我们从数据上可以收集很多数据，但是如何让计算机来理解这些东西还是有一定困难的，比如一个公司可能做不到每个员工一台计算机，而有个岗位员工觉得一台单独计算机对他来说很重要，他跟老板申请一立电脑，后台网络一扫描――“”。这说明它没有语义理解，只是简单根据某个词的组合，这实际上不是大数据所需要的，我们需要加上理解。
更重要的不仅仅是对文字，比较困难的是对图象。当然现在有一定的进展，例如Google与斯坦福的合作，让计算机去“看”猫，用很多张图让计算机“看”，计算机“看”了10天以后就发现很多图片里面都有一只动物，尽管样子不一样，但是基本是一个类型，所以计算机学会了这是猫，然后再把2万张从来没有看过照片给计算机“看”，它的识别率是15%。从应用上来说这还是远远不够的，但是这也表明训练计算机识别图象仍然是有可能的，未来大数据分析就是要训练我们的计算能力能够代替人去处理有需要理解的一些文字、照片、图片、视频。
此外，大数据还有虚拟化和可视化。收集的数据，只有通过可视化、虚拟化方式才能被大多数人理解。
大数据的产品包括了软硬件服务，关系数据库的软件，以及一些数据集成、数据资料服务，还有大数据开发平台，数据可视化平台，应用分析和应用视频服务以及一些视频软件和大数据专业咨询培训服务。
那么，大数据的产业设施究竟有多大呢？按照相关咨询公司估计，到2017年全世界大数据市场大概超过500亿美元。到2016年，中国大数据应用的市场大概是100多亿，这里主要是应用，还没有完全包括所有的产品设施。
大数据产业
狭义的大数据产业主要与大数据分析和建立的设施有关，广义的大数据产业更广泛，包括大数据硬件，网络设备、存储器，关系数据库、非关系数据库一些分析软件，还有跟大数据有关的服务，但是广义大数据产业里还要再拓展两层，首先是传统的产业，利用了的大数据应用而增值，可以用到工业、农业、商贸、交通、建筑，以及教育、环保等等，此外大数据在制造业上，有丰田公司利用数据分析车的切线的例子。
大数据在风电行业也有很好的应用，通过风电的检测能很好地发现风怎么样，怎么样很好的利用；在零售业大数据也有广泛应用，沃尔玛通过大数据分析知道买A商品的用户、买B商品的用户有多少，凭这些大数据开发很好有助于零售业的开发。
大数据在医疗研发上一年可以减少200亿美元的开支，在医疗商业模式上也会节省几十亿美元。总的来讲有很大的成本节省。
麦肯锡公司总结，大数据可以给美国医疗保健每年提供3000亿美元的价值，给欧洲公共管理提供2500亿美元管理上的价值，给服务提供商带来6000亿美元年度盈余，零售商带来60%的利润增加，给制造业带来50%成本的下降。所以很多人都说，大数据是新财富，价值堪比石油。
那么，谁将从大数据里面受益呢？第一便是制造业，因为企业多；第二就是政府，我国大数据的一个特征就是希望是开放的，如果政府能够适当开放所掌控的数据，全世界都会从开放的数据当中受益，麦肯锡公司认为这大概会给全球经济每年带来23000亿到53000亿美元的红利。
关键词：计算机网络专业；大数据；云计算；Hadoop
中图分类号：G642.0；TP393 文献标识码：A 文章编号：2095-1302（2016）12-0-02
0 引 言
随着云计算、物联网以及“互联网+”技术的兴起，数据正以前所未有的速度在不断增长和累积，互联网大数据正在实时影响人们的工作、生活乃至社会发展。2012年 3月，美国奥巴马政府公布“大数据研发计划”，旨在提高和改进人们从海量、复杂的数据中获取知识的能力，发展收集、储存、保留、管理、分析和共享海量数据所需要的核心技术。2014年大数据高速发展，中国互联网三巨头BAT（百度、阿里、腾讯）纷纷建立大数据研究院、大数据实验室等，提供大数据专业服务，一批大数据专业分析公司应运而生。我国的开放、共享和智能的大数据时代已经来临，同时对专业人才的需求也日益增长。
大数据的发展与计算机网络密切相关，因此适时调整高职计算机网络专业方向的培养目标，可以更好的适应大数据发展要求。大数据背景下计算机网络专业学生的目标是培养具有计算机网络、大数据及云计算的专业知识，实践能力强、职业道德素养高，具备云平台的管理能力和网络软件开发能力，能够从事网络工程设计实施、网络高级管理维护、网络开发、云平台组建及管理以及大数据存储、计算及分析等岗位的高级技能型人才[1]。
1 大数据与云计算
根据维基百科的定义，大数据[2，3]是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据主要具有4V特征[2]，即数据体量巨大（Volume）、数据种类繁多（Variety）、流动速度快（Velocity）、价值密度低（Value）。
从技术角度上看，大数据必然无法用单台计算机处理，必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。目前应用最为广泛的大数据分布式处理平台就是Hadoop，Hadoop是由Apache基金会所开发的分布式系统基础架构，能够对大量数据进行分布式存储、分析和处理的云计算平台，已经在网络大数据领域得到了广泛运用。例如Yahoo使用4 000个节点的Hadoop集群来支持广告系统和Web搜索的研究；Facebook使用1 000个节点的集群运行Hadoop，存储日志数据，支持其上的数据分析和机器学习；百度用Hadoop处理每周200 TB的数据，进行搜索日志分析和网页数据挖掘工作；淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。
2 课程体系改革研究
2.1 课程体系现状
目前，高职院校计算机网络专业类课程大多围绕计算机网络工程和计算机网络开发两条主线，主要课程包括网络基础、路由器及交换机配置与管理、Windows网络服务器配置与管理以及动态网站开发相关技术等。这些课程内容传统，课程内容严重同质化，教学内容已不能满足大数据时代人才培养的要求，这些将直接影响学生的理论实践能力和就业机会。
大数据、互联网+、物联网及云计算技术的发展和应用给高职计算机网络专业人才培养带来了新的要求与挑战，与市场需求存在脱节现象。计算机网络专业应紧跟大数据、云计算等先进技术的步伐，不断进行专业课程的创新性研究，重视实践类课程和教材的研发，适时调整人才培养目标和专业教学计划，以期满足工作岗位的实际要求。
2.2 研究思路
计算机网络专业经过多年的发展，其课程体系比较成熟，形成了各自的特色教学。因此，本文的研究内容是对原有课程体系的补充和完善。
2.2.1 有针对性的进一步优化传统的专业职业技能课程
传统的专业职业技能课程已经比较成熟，经过了实践的考验，也已得到了学生的认可。尽管如此，还要有针对性的进一步优化，使得课程体系的理实比达到更优，提升课程教学实施的效果。
2.2.2 采用增加模式，补充完善课程体系
基于大数据和云计算技术研发新的职业技能课程，充实现有的课程体系。大数据和云计算紧密相联，因此要增加云计算和大数据的理论和实践课程。在研发课程的过程中，以岗位需求为导向，以培养技能型人才为目标，合理安排理论教学内容和课时，着重开发实践教学案例和内容，明显区别于本科课程教学设置。
2.2.3 课程体系相互作用，相互促进
网络技术是大数据、云计算技术的基础。因此计算机网络传统课程也是新研发课程的基础。新研发课程既是传统课程的有效实践，又是对传统课程的有效扩展和提升。
2.3 具体内容
由于大数据、云计算技术是基于网络的技术，因此，计算机网络专业人才培养具有先决条件。根据以上研究思路，具体方案主要包括强化现有课程体系，增加基础理论课程、完善知识体系，增加实践课程、锻炼岗位能力三个部分。
2.3.1 强化现有课程体系
针对现阶段存在的问题，学校应强化现有课程体系，使学生具有扎实的网络管理能力和一定的网络开发能力。现有的课程体系使学生具备了相关能力。熟悉ISO/OSI互联网模型，并掌握常见的互联网协议如TCP/IP、ARP、OSPF、SSL、DNS、DHCP及HTTP等。能够配置管理Windows和Linux服务器，熟悉使用常见的网络命令，具备远程网络控制学习能力。掌握程序设计语言Java，具备Windows和Linux下的程序开发能力，包括编写shell程序。能够配置交换机和路由器，具备组建局域网的能力。熟悉信息安全、系统安全及网络安全攻防技术。
2.3.2 增加基础理论课程，完善知识体系
针对人才需求，增加大数据、云计算等基础理论课程，完善知识体系。虽然大数据、云计算等课程教学的最终目的是培养实践技能，但基础理论仍非常重要，主要包括熟悉大数据的基础概念和常见技术架构；熟悉云计算原理和架构，并了解虚拟化技术如KVM；熟悉分布式系统和分布式计算原理；了解大数据、云计算的最新应用。
2.3.3 增加实践课程，锻炼岗位能力
在课程体系设置中，实践课程比例应超过理论课程。增加大数据、云计算等实践课程，锻炼学生的岗位能力。主要包括主流云平台管理软件的使用，如华为FusionSphere、VMWARE等；分布式系统管理、分布式并行计算以及Map/Reduce编程；Hadoop集群、HBase分布式数据库的构建与管理；Hadoop、HBase等案例实践与应用。
通过以上方法，使得计算机网络专业学生在原有专业基础上，掌握大数据和云计算的原理，具备云平台的管理能力，并能基于Hadoop等云计算平台实现大数据程序，对大数据进行计算分析。
2.4 Hadoop课程实施
通过以上分析可知，增加的课程内容主要是大数据、云计算相关课程，最终采用Hadoop云计算平台相关技术实现大数据的存储、计算与分析。通过理论教学，使得学生深入了解掌握大数据技术、云计算原理及Hadoop架构。通过实践教学，使得学生能够掌握Hadoop集群的配置与管理，并且能够基于Hadoop实现大数据程序设计，使得学生具备基本的大数据处理能力。因此Hadoop课程是核心课程。
2.4.1 Hadoop原理
Hadoop是把大数据集分发到计算集群中各个节点上共同处理以实现大数据的快速处理。用户无需了解分布式底层细节就可开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop最核心的设计是HDFS文件系统和MapReduce编程模型。HDFS为海量数据提供存储，而MapReduce则为海量数据提供了计算。如图1所示，Hadoop运行的基本过程如下[4，5]：
（1）客户端可以将文件上传至HDFS文件系统，NameNode则会根据文件大小和Block大小配置将文件的物理属性分成若干个Block文件块，并分布式存储至DataNode数据节点，同时将块存储信息保存至NameNode节点，以方便文件进行资源管理。
（2）文件上传完成后，客户端提交具体Job任务至Hadoop集群，各DataNode节点根据任务要求可以读取相应的文件Split，并完成Map和Reduce计算任务，将结果作为输出文件传输至HDFS文件系统。
（3）在任务执行过程中，可以通过JobTracker、TaskTracker及ResourceManager监控任务的执行情况和资源消耗信息等。
2.4.2 Hadoop教学平台配置与部署
Hadoop教学平台需配置、部署一些部件。基于现有实验室的计算机和网络环境，网络服务器系统采用Linux Ubuntu，构建Hadoop集群网络。基于Cloudera Hadoop开源框架实现Hadoop教学平台。
2.4.3 Hadoop分布式文件存储及大数据处理实现
Hadoop分布式文件存储及大数据处理实现包括：HDFS文件系统的使用；HBase的使用；MapReducer程序实现；大数据案例分析与实现。
3 结 语
本文分析了大数据背景下高职计算机网络专业的培养目标和课程体系的改革思路，在优化计算机网络专业传统课程的基础上，增加大数据、云计算等相关课程，并以Hadoop课程的具体教学实施来培养学生的实践能力，使得学生能够紧跟大数据、云计算的技术步伐，满足工作岗位的要求。
参考文献
[1]赵伟艇，夏栋梁.基于岗位能力培养的云计算课程群知识体系构建研究[J].电脑知识与技术，2016，12（2）：167-169.
[2]陶雪娇，胡晓峰，刘洋.大数据研究综述[J].系统仿真学报，2013（S1）：142-146.
[3]孟小峰，慈祥.大数据管理概念技术与挑战[J].计算机研究与发展，2013，50（1）：146-169.
[4]王铮.基于Hadoop的分布式系统研究与应用[D].长春：吉林大学，2014.
[5]陈吉荣，乐嘉锦.基于Hadoop生态系统的大数据解决方案综述[J].计算机工程与科学，2013，35（10）：25-35.
[6]曾文英，吴积军，曾文权，等.基于云计算的IT课程体系改革[J].计算机教育，2014（17）：40-44.
[7]鲍爱华，陈卫卫，刘鹏，等.云计算课程内容体系的建设与实践[J].计算机工程与科学，2014，36（A02）：42-45.
购物车(0)
