大数据应用论文:大数据应用的交通管理论文

一、上海市公安交通管理信息化的基本情况与“大数据”应用的初步探索和实践

（一）数据深度挖掘与预测研究对海量数据进行挖掘，分析、提炼出有价值的信息，一直是交警总队在常态交通管理中努力和不断尝试并力求达到的分析动态化、管理精细化的目标。在交通事故预警方面，我们通过对370余万条交通事故的地点、人员、车辆等信息分析，每年市、区两级事故易发或死亡人数较多的“黑点”，由总队定期督促属地交警支（大）队限期整改。针对一段时间内本市欺诈性交通事故（俗称“碰瓷”）高发的情况，我们建立并不断补充完善了事故“碰瓷”嫌疑人员和车辆黑名单，通过提前预警、发案比对等方式累计锁定相关嫌疑人415人，取得了很好的成效。在交通状况评价方面，我们以道路拥堵程度、交通事故数量为主要评价要素，创新性地将各区（县）地面道路和快速路的整体交通情况以“指数”的形式分色展现，供业务部门和支（大）队参考。为掌握全市快速路交通流结构和集散规律，我们利用分布在中环及中环以内快速路上约300个断面构成的车牌识别系统实时采集流量数据，开展了集散性OD分析的探索，即将全市快速路网划分成20个“小区”，通过数学建模和车辆信息的跟踪，展现各“小区”间交通流转移的时空分布特征，为拥堵成因分析、排堵预案制定等提供参考。在道口安保方面，我们通过对历史数据的分类统计、比较，研究制定了重大活动安保工作的道口查控方案。2010年上海世博会举办前夕，时任市委书记的俞正声同志在G15沈海高速公路朱桥检查站现场，对“车驾查控系统”的技术架构、实时运作以及海量数据的采集、分析及应用状况进行了详细调研，当即要求我们研发“世博道口通行证管理及不停车安检系统”。上海世博会期间，该系统累计实时关联10多个数据库，核发297.7万余张通行证，不仅将进沪车辆安全审核检查关口前移，还通过利用“车驾查控系统”的实时比对功能，既做到了“持证”车辆的快速通行，又实现了“逢疑必查”的目标。世博期间，系统比对命中有关车辆1.5万余辆次，有效提升了民警的工作效率和打击度，同时也对预防和缓解全市各道口因安检引发的大面积拥堵问题起到了积极作用，减少了道口现场安检压力及对交通的影响，得到了各级领导和社会的一致肯定。在为“大公安”服务方面，我们尝试定期将网上追逃人员信息与本市机动车档案进行关联比对，筛选出在逃人员可能驾驶的机动车信息，累计抓获在逃人员329名，探索出了“先由人查车、再由车查人”的信息提炼新方法，取得了很好的实战效果。

（二）数据可视化随着各类统计、分析数据的不断增多，各级领导、基层民警都希望通过直接的“可视化”界面展示各类数据和信息。2009年，我们构建了基于GIS地图的应用平台，并将采集或共享的实时路况、“110”交通类报警事件、视频监控、快速路入口匝道控制、停车场泊位等信息在电子地图上进行分层次展现，这些实时、动态的信息可按需随时调阅。2010年上海世博会期间，根据安保工作的需要，我们制作了两张专题图。“进沪陆路道口流量专题图”实时展示当日全市进沪道口的机动车流量、“持进沪通行证”机动车流量、5分钟进沪流量等信息和道口排队区、安检区的视频监控信息。此外，通过对各道口历史流量的数据统计，提供流量预警信息。“世博园区管控区周边道路流量专题图”除整合了全市快速路、高速公路、地面主干道路的实时路况和快速路匝道开闭状态等信息外，实时展示当日进出世博管控区的机动车流量、5分钟流量等。两张图的应用，为市公安局“二指”坐镇指挥的领导以及民警实时掌握交通流量、科学指挥、调配警力等提供了依据，受到了充分肯定。

（三）参与“交通指数”的研究经过多年的建设，上海已经完成市区重要道路的交通流信息的采集，并实现以红、黄、绿三种颜色代表路况的信息。为使交通参与者、客观地了解本市道路交通的实时通行状态，向其提供了量化的拥堵指标。2009年，交警总队在数据应用上的视野不再仅着眼于自身，而是跨出一步，会同市政府相关部门，将手中的静态数据和市政府相关部门可共享的动态数据关联起来。继参与了荣获上海市科技进步一等奖的“上海世博智能交通系统关键技术及应用”项目研发之后，2011年起，交警总队积极配合上海市城乡建设和交通发展研究院（原上海市交通信息中心）研究“道路交通指数”。通过对大量采集的各类交通实时数据、历史数据进行统计、分析、比较，最终用“道路交通指数”这一数值方式来量化描述道路交通运行状态，同时结合GIS地图加以分色、分块展现，并通过网站、微博、手机APP等向公众实时，力争做到既能客观地评价交通拥堵状况，又能方便出行者的理解与记忆。

二、与当今“大数据”应用的差距

目前，“大数据”的应用处于发展初期，在我国更是刚刚起步。通过多年的实践和积极探索，交警总队“大数据”的应用成效明显，但我们感到，与当今国内外成功的“大数据”应用相比，我们还存在差距，主要表现在：

（一）在理念和思维上仍存在差距随着互联网、云计算、移动互联等相关智能技术的飞速发展，可以预见，“大数据”陈志康：公安交通管理“大数据”的应用与研究在公安交通管理方面的应用也将愈加广泛。但与其“4V”（即Volume大量、Velocity高速、Variety多样、Veracity真实性）特点相比，未来“大数据”的应用与发展绝不是简单依赖数据采集量的扩大，也不仅仅是服务器性能、数据的简单扩容或累加，而是对于其中蕴含的理念、思维的转变和突破。与“小数据”时代相比，“大数据”时代的转变是多方面的。例如，传统统计方法追求，但“大数据”只预测宏观趋势；传统的统计、研究关注因果关系，而“大数据”更强调数据之间的关联等。

（二）在技术和手段上仍较为匮乏就我们目前拥有的各类交通管理数据而言，其体量并不能称之为“大数据”。如果要同各警种的数据相关联，与市政府相关部门的数据相融合，将数据的应用转化为生产力，其所面临的困境还十分明显，这也直接反映了我们在技术和手段上的匮乏。2009年，我们便已利用“数据仓库”技术等当时较为成熟和先进的技术开展交通管理核心数据的深度挖掘，力求为业务部门提供更丰富、有效的统计数据，但受限于传统关系型数据库的架构，无论在计算效率还是结果表现上均无法得到“质”的突破。此外，我们对于海量视频的快速检索、车辆照片关键特征的提取等方面仍缺少高效的手段，使得对于这类非结构化数据的应用、管理仍处于初级阶段，对其中蕴含的有深层次应用价值的信息无法加以进一步挖掘。“大数据”的处理流程一般可概括为四个步骤，即“采集、预处理、统计分析、数据挖掘”。其中，“预处理”是当前传统数据处理中被忽视或被弱化的部分，除了受限于主流的关系型数据库（如Oracle）、集中式存储等架构外，还与缺少将非结构化数据（例如视频、图片、文本、声音等）向结构化数据（即可以用二维表结构来表达的行数据，例如存储在数据库中的记录）转换的有效技术手段有着重要关系。所以，现有的统计分析、数据挖掘等绝大多数针对的是结构化数据（目前仅占所有数据量的10%至20%，其余均为非结构化数据），难以真正体现“大数据”多样性的特点。

三、今后公安交通管理“大数据”的研究与应用方向

（一）研究和建立“公安交通管理大数据应用平台”结合市公安局“十三五”信息化建设规划，研究和建立“公安交通管理大数据应用平台”。不断学习研究Hadoop、虚拟化等新技术，构建全新的数据存储、处理技术架构，不但要使数据的存储容量更大、运算速度更快、展现形式更丰富，更要突破同类数据的局限，从看似毫不相干的数据之间发现关联性，真正体现“大数据”的精髓。

（二）满足数据采集的需求，提升管理水平“大数据”应用的核心是数据挖掘，为公安交通管理中遇到的难点问题提供原因分析依据，但其基础却是所采集数据的质量和种类。因此，一是要不断提高各类交通管理相关基础信息的采集质量，为后续数据处理奠定坚实的基础。二是要积极建立与市交通委员会、市保监会等社会相关部门的数据共享机制，扩充与机动车、驾驶人、特定行业管理、道路等相关的数据类型。三是依托高校、科研院所等专业力量进行深入研究，力争突破图片、视频等海量非结构化数据的管理难题，运用有效的数据模型和架构，实现类似结构化数据的统一描述、查询和处理。四是积极会同市公安局相关部门，在数据层面加强与市公安局“警综平台”“情报综合研判实战平台”“视频监控平台”“治安卡口信息综合管理平台”等的对接，为公安交通信息研判分析提供支撑。

（三）抓住重点，突破四个阶段的核心技术应用“瓶颈”我们要选择合适的软件、工具，真正将数据转化为信息，并提炼出有价值的信息。在数据采集方面，重点解决高并发数的访问、操作问题，使服务器、数据库负载均衡并分片处理。在预处理阶段，重点做好“生产库”向“资源库”的转移和数据清洗等工作，满足后续数据处理的实时计算需求。在统计分析阶段，要在了解业务需求的基础上，着重在不同数据的“关联性”上下工夫，找到规律。在数据挖掘阶段，要力争实现数据从“事后统计”到“事前预测”的突破。

（四）以管理为中心、应用为导向，建立配套的专业队伍和管理机制“大数据”的决策不能仅凭经验，而真正要“拿数据说话”，从深层次看，还需要建立科学的、与之相适应的管理机制。同时，“大数据”的研究、建设、运行、维护、应用等每个环节都需要由会技术、善管理、懂业务的复合型专业人员来承担。“大数据”时代才刚拉开序幕，目前，其许多技术瓶颈尚未取得突破，数据共享绝非易事，数据安全、共享和隐私保护等方面缺乏法律保护，配套的管理和运作机制尚未形成。但是，“大数据”作为生产力，随着其不断发展、应用，必将对公安交通管理工作产生深远的影响，有力地推动各项业务工作向更高的层次发展。

作者：陈志康单位：上海市公安局交通警察总队

大数据应用论文:大数据时代的职校计算机应用论文

一、大数据时代对学生计算机应用能力的要求

在大数据时代环境下，信息的获取和选择、信息技术的掌握应用，直接影响知识的生产、科技的创新和成果的转化。大数据时代对高校的教学、学生的计算机应用能力提出了新的要求。产业界需求与关注点发生了重大转变，企业关注的重点转向数据，计算机行业正在转变为真正的信息行业，从追求计算速度转变为关注大数据处理能力，软件也将从编程为主转变为以数据为中心。学生要学会对数据的去冗分类、去粗取精，从数据中挖掘知识，要能够把大数据变成小数据，要在不明显增加采集成本的条件下尽可能提高数据的采集质量。要研究如何科学合理地抽样采集数据，减少不必要的数据采集。

二、大数据时代背景下的教学策略

（一）营造适合学生发展的软硬件环境信息时代的发展使得高职院校图书馆和数据中心具备了大数据的特征。科学研究和科技创新越来越依赖于对数据的管理和利用，打造良好、适宜的软硬件环境是提高职业院校学生信息素养的基础。目前互联网技术及应用普及度较高，建设智慧校园可为学生提供更多的接触信息资源的机会。加强高职院校数据中心和网络中心的建设力度，在依托传统图书馆文献存储量的基础上，增加馆藏图文电子数据、电子文献与多媒体文献，打造信息化图书馆，为学生提供多元化的信息资源与服务。加强校园社交网络平台的建设，利用微信等新型传播媒介，采用主动推送的方式传递正能量，提供有益于学生健康成长的信息，监控、屏蔽不良信息的传播，过滤影响学生身心健康的不良信息，构建适合高职院校学生学习的良好环境。

（二）发挥数字化图书馆在教育过程中的核心作用数字化图书馆的建设是图书馆业今后发展的主要方向。数字化图书馆也是一个科技含量较高的系统工程，高职院校各级领导应正确认识，加强资金投入，充分发挥其对教育过程的支持作用。数字化图书馆的典型特征是存储数字化、操作计算机化、传递信息网络化、信息存储自由化和结构连接化，可与高职院校的基础建设可以同步推进。在建设与发展过程中，教师要积极引导学生充分利用数字化信息资源。学生在使用数字化图书馆的过程中会产生一系列的行为特征数据。通过对学学习路径和学习偏好的数据分析，根据其特点与实际量身设计合理的信息资源智慧导航，从而为学生学习新技术、新知识提供个性化的服务。

（三）加强学生创新能力的培养在知识经济时代，创新决定着一个国家和民族的综合实力和核心竞争力。培养具有创新能力、实践能力的高素质技能人才，是高职院校人才培养的一个重点方向，也是高职办学的特色及亮点。创新能力培养的关键是创新思维的培养，而创新思维的核心在于思维的独特性和新颖性。在大数据时代，学生面临众多数据资源。教师需要对学生提供专业的指导，让学生学会利用互联网技术和计算机软件工具解决实际问题，在解决问题的过程中培养创新思维。高职院校应努力营造创新教育环境，结合创新教育，大力推进素质教育。将“小发明、小创造”“大学生实践技能展演”“大学生才艺展示”等活动纳入校园文化活动中。组织学生参加各行业举办的职业技能大赛，实现从应试教育向素质教育的转轨，培养实用型、创新型的复合技能人才。充分重视学生的个性发展，建立专业的师资队伍对学生的创造发明活动给予强有力的技术指导。对于技术含量高的、有市场推广价值的创造发明活动，要引导学生进行自主创业，带动就业。加大创新教育课程的开发与建设力度，强化学生创新能力的培养。

（四）培养学生对信息技术的兴趣与爱好兴趣是好的老师，是激发学生学习积极性的动力，是激发创新能力的必要条件。学生只有对身边的事物发生了兴趣，才会活跃思维，激发潜力。在课程设计中加入了生动、形象、贴近工作、贴近生活的典型案例，可以有效地激发学生的学习兴趣，让学生乐在其中，愉快地完成学习任务。教学实践环节也应紧密围绕着学生熟悉的事物、案例来开展教学。授课教师应了解信息技术在行业的实际应用状况，根据不同专业的特点，结合学生，的知识体系结构精心准备授课内容，确定课程的重难点。在教学过程中，通过师生互动了解学生对课程内容的掌握程度，因材施教、精选案例、突出重点，从培养学生兴趣与爱好入手，让学生在轻松、愉悦的课堂教学中学习信息技术在专业领域的近期应用，了解近期的前沿学科理念，学握较新的实用技术。教师如果在教学活动中能及时、地解决学生在学习实践中遇到的疑难，并指导他们完成实训内容，将有助于学生在学习过程中获得成就感，激发学习的积极性、主动性和创造性。教师动手实践能力将使得更多的学生得到有效指导和帮助，实现高质量的课堂教学。

（五）探索高效教学模式根据高职人才培养目标的要求，计算机课程的教学需要与时俱进，随着各行业大数据产业的不断发展与应用而不断进行调整、创新。通过对学生在校期间学习、生活的轨迹进行搜集、整理，形成基础数据，进而分析他们的学习行为、学习喜好和思维模式，制定适合他们发展的教学方法，有针对性地培养和提高他们的计算机应用能力。利用各种辅助软件，开展行之有效的教学实践活动，让学生在“做中学，学中做”。提高各专业学生的计算机应用操作能力，使他们掌握互联网技术、计算机信息技术、电子商务等。以医学影像技术专业为例，学生既要学会影像阅片操作，又要掌握近期的X线机、CT、MRI等先进检查设备的使用与操作。如果能够将医学影像技术专业与计算机应用实践教学相结合，找出两者的学科交叉点，构建适合时展需要的复合型人才培养模式，将会起到事半功倍的作用。在大数据的背景下，各行各业都需要利用信息技术，特别是数据库技术、大数据分析技术，用以改变生产、经营、管理、工作、生活等的方式。因此各专业的毕业生都面临着行业对大数据的使用与开发的迫切需求。培养学生解决问题的实际操作能力，显得尤为重要。在专业课程的教学中，通过对大数据的应用与计算机应用技术的渗透，不但能激发学生学习专业技能的积极性，而且可以引导学生形成应用计算机解决专业问题的思维模式，对他们将来适应大数据环境下工作具有积极的引导意义。以专业培养目标为基础，合理对计算机课程进行设置与安排教学，将大数据知识、信息技术知识、计算机应用知识融入到各课程的教学中，构建适合高职类学生学习特点的高效教学模式。

（六）加强师资队伍建设加强师资队伍建设是提高学生计算机应用能力的关键。计算机应用基础课程的教师，首先应该是计算机应用方面的专家，既能掌握扎实的理论基础知识，又能熟练地操作计算机，善于使用相关行业软件。在教学中能够起到良好的操作示范作用，给予学生无形的感染力和号召力，增强学习的主动性与积极性。在实践教学过程中，计算机任课教师不仅要与专业课教师紧密合作，整合校内已有的专业资源和信息技术资源，充分利用好大数据，而且要与行业、企业加强联系，采取走出去、引进来的方式，让学生在校期间就能充分接触各种面向实际应用的信息技术产品与工具。学校要制定行之有效的师资队伍培养计划，紧密结合企业、行业的实际需求，建设“双师型”教师队伍，加强现代信息技术应用能力培训。教师应深入企业、行业，了解企业人才需求，了解企业使用的近期应用软件动态与进展，充分利用好企业、行业大数据资源的研究近期成果，更新知识结构，提高实践操作水平。

大数据时代是信息化社会发展的必然趋势。高职院校在教学实践中要跟随时展的潮流，在教学思想、教育理念上做出迅速调整，并跟进制定适合学生发展的计算机应用能力培养实施方案，有效提高学生的计算机应用能力，增强就业竞争优势，满足行业、企业及社会对复合型职业技能人才的需要。

作者：冯桥华单位：安顺职业技术学院招生与就业指导处

大数据应用论文:大数据应用物流企业论文

一、物流行业大数据的特点

物流行业的大数据，可以从多个维度进行解构：结构化数据、半结构化数据、非结构化数据（刘禹，2013；ElenaGeaninaUlaruetal.,2012）。物流行业的大数据既包括存储在数据库里的结构化数据，也包括日志文件、XML文档、JSON文档和电子邮件等半结构化数据，而更多的数据类型是办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等非结构化数据，半机构化、非结构化数据约占大数据总量75%-85%。内部数据与外部数据。物流企业的大数据既有来自企业经营的内部交易数据、CRM数据，也有来自其他数据源的外部数据。物流企业的大数据兼具公共、私密二重属性。外部数据的公共性特征比较明显，而内部数据由于和行业标准和商业机密密切相关，因而具有私密性。与数据结构的多维特征相对应，物流企业大数据的格式也是多样的。除了传统的纸质文件、档案、报表、表格、记录、信函等之外，更多的是以数字数据存在的Web文本、视频、短信、音频、视频、邮件，存储信息、配置文件、符号、图片、档案等。数据格式的多样性和互不兼容、数据访问的随机性，为数据的采集、存储、分析、应用带来了困难。

二、物流行业大数据的应用特征

（一）大数据的应用潜力巨大

在大数据概念兴起之前，企业主要借助内部数据、结构化数据进行决策。商业智能（BI）技术的应用似乎将企业带入了“智慧世界”，但BI仍然对外部数据、非结构化数据无能为力，没有“走完一公里”，无法有效满足决策需求。在大数据时代，企业的外部数据权重急剧上升，决策价值越来越突出，这意味着仅仅依据占数据总量15%左右的结构化数据进行决策越来越失之偏颇（T.K.Dasetal.,2013），物流企业决策者驾驭业务的战情数位仪表盘其实是残缺的。事实上，一些沿袭原来的IT解决方案的物流企业，普遍遇到数据处理系统扩展困难、处理时间长、传输效率低、成本过高的问题（ElenaGeaninaUlaruetal.,2012）。大数据应用技术就是能够妥善解决这些问题的性价比比较高的数据计算与存储方式。据ICT研究机构CCWRE-SEARCH的研究结论（2012年），无论是从信息技术应用的契合度还是从短期内投资大数据的可能性进行测度，物流行业都具有大数据应用技术推广的优越条件。但他们同时还指出，虽然物流行业对“大数据”概念的知晓率为91.8%，但究其应用而言，总体上还处于“认知”阶段，这意味着大数据在物流行业应有较大的应用潜力。

（二）大数据的供应链特征明显

物流行业大数据的应用正越来越呈现出供应链特征。这个“数据供应链”，存在着数据收集、数据处理、数据分析、数据价值提取、数据价值消费等多个环节（HsinchunChenetal.,2012），参与者包括原始数据提供者、数据收集者、数据平台商、数据应用技术开发者、数据服务提供者、数据产业投资者，数据价值消费者等多个主体。就物流企业而言，在这个数据供应链中，可以承担多重角色：既可以是原始数据供应者（主要是内部数据、结构化数据），也可以是数据产业投资者、数据价值消费者。实力雄厚者甚至可以向其他角色拓展，具有的数据供应链整合能力的企业将会赢得较大竞争优势。图1给出了物流行业数据供应链的简化模型，并借用MichaelPorter的五力分析模型对数据供应链各个环节的竞争态势进行了分析。

三、大数据应用对物流企业竞争力的影响

（一）大数据应用影响物流企业竞争力的机制

图2给出物流企业竞争力影响因素的分析框架（王海燕，2012；静涛，2010）。物流企业的竞争力影响因素涵盖环境、资源、能力三个方面，其中环境要素可以进一步细化为：行业经济发展水平、宏观调控、社会人文、物流技术等；资源要素可进一步细化为物质资源和无形资源等；能力要素可细化为战略决策能力、运营管理能力、市场营销能力、品牌管理能力、创新发展能力等（张莉，2012）。这里以前文论述为基础，分析大数据应用对物流企业竞争力提升的影响机制，如图3所示：大数据通过影响物流企业竞争力的环境、资源、能力三个要素，提升其竞争力，而物流企业竞争力的提升则表现为快速反应、稳定、灵活性和弹性提升，顾客满意度提升，经济效益提高等等（ElenaGeaninaUlaruetal.,2012）。

（二）大数据应用提升物流企业竞争力分析

在物流企业竞争力三个影响因素中，环境因素是外部、不可控要素，资源和能力属于内部要素、可控要素，因此，这里重点分析大数据在物流企业的应用对两个要素的影响及其表现。1.对资源要素的影响。大数据时代，数据被许多人士比作“新型石油”，日渐成为一种战略性资源和企业的核心资产。大数据及其所承载的知识和信息作为一种具有战略价值的经济资源，通过参与企业的经济活动和营运过程，正在充分地发挥其独特的整合效应，促进物流企业提高组织效率、降低成本、创新服务、维系良好的品牌形象和客户关系、增进经济效益等。其作用机制如下：及时，盘活物流企业的人力资本。在大数据日益进行着渗透性应用的背景下，将推动人力资源决策由“经验+感觉”模式向“事实+数据”模式转型，人才测评和任职匹配将更高效、更精准；处于休眠状态的企业内部营运数据将被唤醒，培训需求的甄别将更便利。过程数据和结果数据的空前丰富使得“过程+结果”的绩效考核方式将更容易导入，对绩效辅导和绩效提升更有利。第二，直接增加物流企业的结构资本。大数据应用技术将推动物流企业的组织结构的进一步优化，与战略的匹配度更高，组织内外信息流动更顺畅，协调机制更完善，内部沟通更“智慧”，资源管控和利用率水平更高，对市场机会和环境变化的动态适应能力更强。不仅如此，对物流企业信息技术的升级应用、知识产权的保护、品牌推广和商誉提升也将产生巨大影响。这些都会直接增加企业的结构资本。第三，为企业赢得更多关系资本。在企业内部沟通更舒畅、更外向的情况下，面向客户的、创新型的共有价值观更容易形成和维护，员工所期望的个性化关怀更容易实现，这将推动物流企业的文化建设。同时，大数据的应用还将推动物流企业创新业务模式，主动采用整合传播，提升品牌美誉度，更好地开展公共关系。物流企业在推行个性化定制化服务、高效的商业伙伴和顾客关系管理会更主动，这些都会为物流企业赢得关系资本。2.对能力要素的影响。及时，提升物流企业的战略管理、战略决策能力。大数据的应用有利于企业推行数据驱动的敏捷决策，从长远来看，还会推动企业组织架构和业务流程的变革，企业决策权力的配置将更合理，决策的制度化、流程化程度更高，决策更公开、透明、精准、有效、可追溯。基于数据的决策有助于消弭主观偏见和思维定势的消极影响，提升企业的战略洞察力，把握行业发展的新趋势，抓住战略性投资机会。在物流企业竞争力的变现越来越取决于供应链的整体效能的背景之下，物流企业还可以在确保顾客隐私和商业机密的前提下，通过与供应链上各合作伙伴的数据共享、交换或者交易，动态检测行业趋势、聚焦优先目标、优化服务组合、避免无端浪费、探索全新的业务模式等。第二，增强物流企业的运作管理能力。大数据的应用可以提升企业业务营运的可视化程度，推动知识和信息在组织内部的共享；掌控企业各项资源的运行情况，比如人员的作业状况，设备运作状况，车辆的位置、时间、速度、性能等，有利于企业高效调度各项资源，提升运作效率。以快递企业为例，大数据的应用可以为企业满足个性化订单、开展定制化服务、实施弹性配送等提供技术支撑。它们可以在业务营运的特殊时期，比如“双11”到来之前，基于大数据的分析，适时调配物流资源，实现业务营运的主动性、前置性，提升配送运作效率和顾客满意度。第三，拓展物流企业的市场营销能力。大数据应用技术有助于提升市场研究的效率，有关顾客偏好、情绪、消费体验等真实信息将更容易取得，有利于对目标客户的细分、重点客户和高价值客户高效筛选（徐艺欣，2013）。大数据所承载的有关资源、成本、服务、定价等即时性关键信息，有助于企业动态监测市场动态，有效率开展竞争，更好地赢得客户，增加市场份额。在物流服务营销方面，可以实施针对高价值的顾客的精准营销、广告的精准投放、广告或者促销效果的精准测定等（胡玉萍，2011）。大数据应用技术还有利于物流企业摆脱繁杂的中间环节、传统的营销模块式营销组织的依赖，极大地降低营销成本。第四，提升物流企业的品牌管理能力。物流企业可以有效利用大数据技术进行舆情监控、品牌健康度动态监测、品牌声誉管理，高效监控可能有损品牌形象和企业声誉的负面信息，有效应对恶意炒作或商业欺诈、从容地进行危机管理（ChrisSnijdersetal.,2012）。另一方面，可以通过口碑营销在较低成本的投入情况下扩大品牌影响力。第五，增强物流企业顾客管理和客户关系维护能力。企业可以根据大数据所承载的信息与顾客进行深度沟通，改善顾客体验，取得他们对本企业、竞争对手物流服务的真实评价，有效应对竞争压力，提高快速响应能力，培育顾客粘性和忠诚度，通过建立稳定的忠实客户群，实现客户价值的链式反应增值，支撑企业长期、稳定、高速、可预期的发展。第六，增进企业创新发展能力。大数据应用有助于企业建立广泛的外部合作伙伴网络，推进整体创新战略，将问题的“搜索者”和“创意者”、“解决者”结合在一起，为合作创新机制的建立提供了动力源泉（MerjaMahrtetal.,2013）。大数据的较大价值在于从海量数据中发现新知识，创造新价值，其中的重要体现就在于有助于推动业务模式的创新，比如物流企业在条件成熟时就可以通过数据交易、数据应用辅导等业务获取经济利益、提升竞争优势。

四、物流企业推动大数据应用的思路

物流企业应抓住大数据所带来的机遇，主动借力大数据提升企业竞争力（闫成印，2012）。本文推出涵盖战略（Strategy）、领导（Leadership）、流程（Process）、技能（Skill）、人员（Personnel）的（SLPSP）模式。战略（S）：建立数据资产管理战略，作为物流企业总体战略的一部分，围绕“资源管控”和“服务优化”两个基本命题，在企业整体战略中要有大数据应用的总体方案。这一方案既要着眼企业的实际情况，又要有长远的规划，在软件和硬件投入方面都要有指导性的日程表安排。在保障机制方面，还要通过有效的“顶层设计”打破组织壁垒，促进数据资产的沟通、融合。领导（L）：大数据的应用是“一把手”工程，领导的重视是成败的关键。企业领导层应主动变革思维模式，进行实质性的资源投入支持大数据技术的深入应用。摒弃那种仅仅用数据来粉饰决策、支撑既有观点的做法，从战略高度对数据资产的价值进行再思考、再认识，把大数据的应用、云计算等作为战略实施的有力推手，而不仅仅是将其视为传统IT管理的一个方面。流程（P）：优化数据资产管理和大数据应用的流程。在数据的收集和处理方面，要做好整合，认真发掘组织内部的“休眠数据”并认真评估其价值，同时要高度重视外部数据对企业的战略价值，推动企业内部的数据处理系统与合作伙伴的相关系统的集成，实现顺畅的数据交换和信息交流。在数据的存储与处理方面，优化企业的IT的服务器、存储设备和网络设备，引入能与硬件设施设备无缝对接、合乎大数据应用需求的数据管理和分析软件，必要时要借力基于开发架构的、具有灵活的扩展能力、性能的第三方平台（姚尧，2013）。不断深化大数据的应用，实现人、机、系统等要素的有机化。技能（S）：促进大数据应用技术在组织内的扩散，并内化为组织整体技能。推动员工熟悉数据驱动决策下的业务运作，将数据应用视为业务营运的工具和助手。采取措施推动员工数据应用技能的持续进步，促进企业决策者、管理者、业务人员和数据工程师基于数据分析和数据应用的沟通、共享、协同，消除“数据孤岛”现象。人员（P）：有计划地培养大数据应用的专业人员。这些专业人士应成为“数据工程师”，兼具数学知识、IT技能、业务知识，并能够作为大数据应用的“先锋”，引领企业跨越“数据鸿沟”，并能提供专业的数据应用技术服务。

作者：魏继华单位：河南交通职业技术学院

大数据应用论文:大数据应用技术和潜在问题研究

大数据应用的技术体系

1.云计算及其编程模型MapReduce

1)云计算简述:大约从2007年下半年开始,云计算由于其能提供灵活动态的IT平台,服务质量保障的计算环境以及可配置的软件服务而成为热门话题。文献中给出了云计算的比较完整的定义:云计算一个大规模的由规模经济驱动的分布式模型,位于其中的抽象的、虚拟的、动态可扩展的、可管理的计算能源、存储、平台、服务等通过因特网交付给客户。由上述云计算的定义我们知道,云计算首先得是大规模的、分布式的,少量的计算处理用不着云计算;其次,它是跟规模经济相关联的,比较形象的说法是,云计算资源跟“电”和“水”一样,是按需收费的,并且是大规模式销售的,通常在建立数据中心时会考虑成本因素;,它从广义上说是给客户的一种服务,可以包括提供存储、计算等资源。云计算可以按服务的内容和交付形式分为基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)等。在单机芯片集成度已进入极小尺度级别,指令级并行度提升也已接近极限的今天,纵向扩展似乎已经不够现实,这也远远不能满足大数据处理的要求,而云计算的要求比较宽松的允许异构网络的横向扩展,无疑给大数据处理带来了方便。云计算能为大数据提供强大的存储和计算能力,可以迅速、方便地为大数据提供服务,另一方面,大数据的处理需求也为云计算提供了更多更好地应用场景。由此,云计算作为大数据的支撑技术而倍受业界关注。

2)MapReduce简述:关系数据库作为一门发展了近40年的主流数据管理技术,主要用于联机事务处理(OLTP)应用、联机分析处理(OLAP)应用和数据仓库等,然而扩展性方面的局限使得其在大数据时代遇到了极大障碍。2004年,谷歌公司提出的MapReduce技术,以其利用大规模廉价服务器以达到并行处理大数据的目的而倍受学术界和工业界的关注,广泛应用于机器学习、数据挖掘等诸多领域。基于MapReduce的大数据分析处理研究也在不断深入,MapReduce作为一种非关系数据库的数据管理工具代表,克服了关系数据库扩展性方面的不足,将计算推向数据也迎合了大数据时代的内在需要,成为大数据处理的基本工具。而Hadoop作为模仿MapReduce而实现的一个云计算开源平台,目前已成为最为流行的大数据处理平台。MapReduce对于大数据处理的基本构思是分而治之,将大数据任务分解为多个子任务,将得到的各个子结果组合并成为最终结果。MapReduce对大数据的处理可抽象为两个主要阶段,Map阶段对初始的键-值(Key/Value)对进行处理,产生一系列的中间结果Key/Value对,然后通过Reduce阶段合并所有具有相同Key值的Key/Value对,得到最终结果。MapReduce对数据进行处理的应用思路如图2所示。

2.大数据获取技术

每天都有大量数据产生,并且这些数据通过不同的途径,以不同的形式被接收和记录。本节将简单介绍几种常见的大数据获取途径。

(1)传感器技术:近年来,传感器技术蓬勃发展,无论是道路交通方面,还是医疗机构方面甚至是个人工作和生活场所,传感器无处不在,大量的数据源源不断地被传感器所接收。可以说,传感器的迅速普及,为大数据的获取提供了有力地保障。传感器技术的快速发展,也促进了传感器网络的逐步完善。由于构建传感器网络的设备、数据收集、数据存储等方面的差异性,网络孤岛普遍存在,如何解决异构网络所带来的数据共享问题一度成为研究者们面临的极大挑战。不过随后美国国家技术标准局(NIST)和IEEE共同组织了关于制订智能传感器接口和连接网络通用标准的研讨会,产生了IEEE1451传感器/执行器、智能变送器接口标准协议族,试图解决传感器市场上总线不兼容的问题。2005年,开放地理空间联盟(OGC)提出了一种新型的传感器Web整合框架标准,让用户能透过Web的界面来进行节点搜寻、数据获取及节点控制功能。文献[12]对无线传感器网路的路由协议进行了研究,指出多路径路由发展的趋势和挑战,而文献[13]则从生物学、商业、环境、医疗、工业以及军事等领域探讨无线传感器的重要用途。

(2)Web2.0技术:“Web2.0”的概念2004年始于出版社经营者O'Reilly和MediaLiveInternational之间的一场头脑风暴论坛,所谓的Web2.0是指互联网上的每一个用户的身份由单纯的“读者”进化为了“作者”以及“共同建设人员”,由被动地接收互联网信息向主动创造互联网信息发展。Web2.0伴随着博客、百科全书以及社交网络等多种应用技术的发展,大量的网页点击与交流促使了大数据的形成,给人类日常生活方式带来了极大的变革。

(3)条形码技术:条形码的使用给零售业带来了革命性的改变,通过内嵌ID等信息,条形码在被扫描之后,快速在数据库中进行ID匹配,便很快就获知该产品的价格、性能、产商等具体信息,条形码被广泛应用于零售商店的收银以及车站售票等业务中,每天大量的商品销售记录通过扫描条形码而产生。近年来的智能手机的盛行,手机应用如微信中的二维条形码也随处可见,文献[14]中设计了一种应用于手机应用的彩色二维条形码,改善了用户对应用程序的感受。

(4)RFID技术:RFID与条形码相比,扩展了操作距离,且标签的使用比条形码容易,携带一个可移动的阅读器便可收集到标签的信息,被广泛应用于仓库管理和清单控制方面。RFID标签可以分为两类,一类是被动的,如今被广泛使用,其造价便宜,但是没有内部电源,依靠阅读器的射频波产生能量,操作距离也很近,因而其适用性也受到了制约;另一类是主动的,其拥有内部电源,因此造价较贵,但是操作距离远,存储能力强,因而适用范围广,在未来这种标签会受到普遍欢迎的。学术界在RFID技术的研究上已经取得巨大的进步。较早的工作重心大多集中在对标签进行搜集的问题上,即尽可能快地在大量标签中搜集他们的ID,而这方面较大的挑战是解决多标签同时竞争较窄的信道引起冲突的问题。研究者们提出了两类解决思路,即基于ALOHA的协议[15-17]和基于树的协议[18-20]。而其他的工作专注于标签评估问题,即使用统计学的方法来评估一个庞大系统中的标签数目[21-23]。总之,RFID由于具有操作范围广泛、性能稳定以及高存储能力等特性,在工业界中将具有巨大的潜力。

(5)移动终端技术:随着科学技术的发展,移动终端诸如手机、笔记本、平板电脑等随处可见,加上网络的宽带化发展以及集成电路的升级,人类已经步入了真正的移动信息时代。如今的移动终端已经拥有极强的处理能力,通信、定位以及扫描功能应有尽有,大量的移动软件程序被开发并应用,人们无时无刻不在接收和发送信息。目前,智能手机等移动设备的数量仍然在迅猛增长中,移动社交网络也会日益庞大和复杂,海量的数据穿梭其中,针对移动数据的处理也将越来越复杂。

3.文件系统

文件系统是支撑上层应用的基础,本小节将简要介绍面向大数据处理的文件系统如谷歌分布式文件系统(GFS),以及一些其他的分布式文件系统。

1)分布式文件系统GFS:谷歌自行开发的文件系统GFS[24],是一个基于分布式集群的大型的分布式文件系统,它为MapReduce计算框架提供底层数据存储和数据性。GFS采用廉价普通磁盘,并把磁盘数据出错视为常态,其自动多数据备份存储也增加了性。GFS基本构架中,GFSMaster保存了GFS文件系统的3种元数据:命名空间、Chunk与文件名的映射表、Chunk副本的位置信息,前两个数据通过，！操作日志提供容错处理能力,第3个数据存储在ChunkServer上,可在Master失效时快速恢复Master上的元数据;GFSChunkServer是用来保存大量实际数据的数据服务器。GFS基本工作过程如下:(1)在程序运行前,数据已经存储在GFS文件系统中,程序执行时应用程序会告诉GFSServer所要访问的文件名或者数据块索引是什么。(2)GFSServer根据文件名和数据块索引在其文件目录空间中查找和定位该文件或数据块,并将这些位置信息回送给应用程序。(3)应用程序根据GFSServer返回的具体Chunk数据块位置信息,直接访问相应的ChunkServer。(4)应用程序直接读取指定位置的数据进行计算处理。后来谷歌对GFS进行了改进,并对新版本命名为Colosuss,主要对原有的单点故障、海量小文件存储等诸多问题进行了修正和改进,使得系统更加安全和健壮。

2)其他文件系统:除了谷歌的GFS,业界其他针对大数据存储需求的文件系统也层出不穷。Hadoop的文件系统HDFS[25]作为模仿GFS的开源实现,同样也为Hadoop的底层数据存储支撑,提供数据的高性和容错能力,拥有良好的扩展性和高速数据访问性;SUN公司开发的Lustre[26]是一个大规模的、安全的、具备高可用性的开源集群文件系统,美国能源部在此基础上实现了新一代的集群系统,显着提高了输入输出速度,已在高校、国家实验室和超级计算研究中心产生了深远影响;Facebook推出的针对海量小文件的文件系统Haystack[27]有效地解决了海量图片存储问题,它实现多个逻辑文件共享一个物理文件功能,并且增加缓存层,部分元数据直接被加载到了内存。

4.数据库系统

1)上在索引、数据压缩、可视化等技术方面的不断扩展,使其具有了高性能的优势。但是诸多因素导致了其扩展性面临严峻的挑战,主要体现在:(1)单机方面,并行数据库基于高端硬件设计,认为查询失败是特例且纠错复杂,不符合大规模集群失效常态的特性;(2)集群方面,并行数据库对异构网络支持有限,各节点性能不均,容易引起“木桶效应”。总之,并行数据库的扩展性方面的缺陷使其面临大数据的处理往往力不从心。

2)MapReduce分布式数据库BigTable:由前述知,并行数据库由于扩展性方面的缺陷无法胜任大数据的处理工作,以谷歌公司推出的BigTable为代表的未采用关系模型的NoSQL(NotonlySQL)数据库由此诞生,NoSQL数据库具有模式自由、简易备份、接口简单和支持海量数据等特性,对于大数据的存储和处理十分有效。谷歌在GFS之上又设计了MapReduce的分布式数据库BigTable[28],为应用程序提供了比单纯地文件系统更方便、更高层的数据操作能力,BigTable提供了一定粒度的结构化数据操作能力,主要解决一些大型媒体数据(Web文档、图片等)的结构化存储问题。BigTable主要是一个分布式多维表,表中数据通过行关键字、列关键字和时间戳来进行索引和查询定位,并且BigTable对存储在表中的数据不做任何解释,一律视为字串,具体数据结构的实现由用户自行定义。BigTable的基本构架如图3所示,BigTable中的数据均以子表形式保存在子表服务器上,最终以GFS文件形式存储在GFS文件系统中。客户端程序直接和子表服务器通信,Chubby服务器完成对子表服务器的状态监控,主服务器通过查看Chubby服务器目录来终止出现故障的子服务器并将其数据转移至其他子服务器。另外,主服务器还完成子表的创建和负载均衡等操作。当然,由于MapReduce将本来应由数据库管理系统完成的诸如文件存储格式的设计、模式信息的记录、数据处理算法的实现等工作转移给了程序员,从而导致程序员负担过重。另外,MapReduce是面向非结构化的大规模数据处理的,往往是一次处理,因而同等硬件条件下的性能也比并行数据库低[29]。

3)数据库的深层探讨:并行数据库具有高性能的优势,但扩展性问题阻碍了其在大数据处理上的进一步发展,而MapReduce性能和易用性上提升空间较大,因此目前两种方案均不理想。业界经过长时间的探讨,基本一致认为并行数据库和MapReduce各取其长,相互融合,也许是一种不错的道路[30]。由此诞生了并行数据库主导型、MapReduce主导型以及并行数据库与MapReduce集成型3类大数据处理数据库。

(1)并行数据库主导:型这类数据库的基本思路是在并行数据库上增加MapReduce的大数据处理能力,将数据分析过程转移到数据库内进行,使得原系统同时获得SQL的易用性与MapReduce的开放性。但是,并行数据库的扩展能力与容错能力并未得到改善,典型的系统如Greenplum[31]、Asterdata[32]等。

(2)MapReduce主导型:这类数据库的基本思路是利用关系数据库的SQL接口和模式支持技术改善MapReduce的易用性。通过SQL接口,可以很简便的完成查询分析等操作,大大减轻了程序员的负担,但MapReduce的性能方面仍有待提升,典型的系统如Facebook的Hive[33]和Yahoo!的PigLatin[34]等。

(3)并行数据库与MapReduce集成型:这类数据库兼顾并行数据库与MapReduce的长处,主要分两种思路:按功能将并行数据库与MapReduce分别设计到相应的部位以形成一个完整系统,以及整合并行数据库和MapReduce这两套完整的系统以构成一个混合系统。及时种思路典型代表是耶鲁大学提出的HadoopDB[35],它将Hadoop作为调度层和网络沟通层,关系数据库作为执行引擎,尽可能地将查询压入数据库层处理,Hadoop框架的应用可以获得较好的容错性和对异构环境的支持,库内数据查询的使用则可获得关系数据库的高性能优势。第二种思路的代表是Vertica数据库[36],它拥有两套独立完整的系统,Hadoop负责非结构化数据和耗时的批量复杂数据的处理,Vertica负责结构化数据的处理以及高性能的交互式查询。当然,这些思路仍非理想的方案,例如,HadoopDB丧失了MapReduce较低的预处理和维护代价等,Vertica则依旧存在Vertica扩展性问题和Hadoop的性能问题。因此,在大数据面前,数据库系统的研究还有很长的路要走,我们在 总结传统的数据库经验的同时,还要积极了解新兴的数据库系统,才能更好地促进适应现今大数据发展的优良数据库的面世。

5.大数据分析技术

用于大数据集的分析方法很多,包括统计学、计算机科学等各个领域的技术。本小节将简要介绍其中几种典型的大数据分析技术,当然,这些技术同样适用于少量数据集的分析,但大数据集环境下的应用无疑会发挥更加明显的作用。

(1)A/B测试:传统的A/B测试,是一种把各组变量随机分配到特定的单变量处理水平,把一个或多个测试组的表现与控制组相比较,进行测试的方式。现在的A/B测试主要用于在Web分析方面,例如通过对比统计新旧网页的用户转化率,来掌握两种设计的优劣等。大数据时代的到来为大规模的测试提供了便利,提高了A/B测试的性。由于移动设备及技术的迅猛发展,移动分析也逐渐成为A/B测试增长最快的一个领域。

(2)聚类分析聚类分析:

指将物理或抽象的集合分组成为由类似的对象组成的多个类的分析过程。聚类分析是一种探索性的数据挖掘分析方法,不需事先给出划分的类的具体情况,主要用在商业、生物学、因特网等多个领域中。对于大数据的分析处理,通过聚类可以简化后续处理过程,并且可以发现其中隐藏的某些规则,充分发挥了大数据的作用。

(3)集成学习:集成学习指的是使用一系列“学习器”进行学习,并使用某种规则把各学习结果进行整合从而获得比单个“学习器”更好的学习效果的一种机器学习方法。对于大数据的集成学习,可以更好地提炼和把握其中的本质属性。

(4)神经网络:神经网络是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型,它依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,来达到处理信息的目的。神经网络作为一门新兴的交叉学科,是人类智能研究的重要组成部分,已成为脑科学、神经科学、认知科学、心理学等共同关注的焦点。神经网络对于大数据的并行处理,无疑也是一种比较可行的方式。

(5)自然语言处理:自然语言处理是计算机科学领域与人工智能领域中的一个重要方向,它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。人与计算机的通信交流往往存在很多歧义,如何消除这些歧义,将带有潜在歧义的自然语言输入转换成某种无歧义的计算机内部表示,是自然语言处理的主要问题。大数据时代意味着有大量的知识和推理来完成消除歧义现象的可能,这也给自然语言处理带来了新的挑战和机遇。大数据分析技术还有很多,例如模式识别、空间分析、遗传算法等等,并且研究者们还在不断地寻找新的更有效地分析方法,另外通过结合多个方法来实现数据分析往往也能达到非常明显的效果。

6.大数据的可视化

面对海量的数据,如何将其清晰明朗地展现给用户是大数据处理所面临的巨大挑战。无论是学术界还是工业界,对大数据进行可视化的研究从未停止。通过将大数据图形化、图像化以及动画化等展示出来的技术和方法不断出现,本节将介绍几种典型的案例。

(1)宇宙星球图:俄罗斯工程师RuslanEnikeev根据2011年底的互联网数据,将196个国家的35万个网站数据整合起来,并根据200多万个网站链接将这些“星球”通过“关系链”联系起来组成了因特网的“宇宙星球图”[37]。不同颜色代表不同的国家,每个“星球”的大小根据其网站流量来决定,而“星球”距离远近根据链接出现的频率、强度等决定。类似地,对于具有复杂结构的社交网络,“宇宙星球图”同样也十分适用,可以根据个人的知名度、人与人之间的联系等进行绘画星球图。

(2)标签云:“标签云”的设计思路主要是,对于不同的对象用标签来表示,标签的排列顺序一般依照字典排序,按照热门程度确定字体的大小和颜色。例如对于某个文档,出现频度越高的单词将会越大,反之越小。这样,便可以根据字母表顺序和字体的大小来对各单词的具体情况一目了然。文献[38]通过将地图上的各个物理位置根据描述的具体程度用“标签云”表示,使得用户对各个场所的知名程度有个清晰的认识。

(3)历史流图:文献[39]提出了一种用于可视化文档编辑历史的“历史流图”,对于一个面向大众的开放文档,编辑和查阅都是自由的,用户可以随时自由的对文档进行增加或删除操作。“历史流图”中,横坐标轴表示时间,纵坐标轴表示作者,不同作者的不同内容对应中间部分不同颜色和长度,随着时间的推移,文档的内容不断变化,作者也在不断增加中。通过对“历史流图”的观察,很容易看出各人对该文档的贡献,当然,除了发现有人对文档给出有益的编辑外,也存在着一些破坏文档、删除内容的人,但总有逐渐被修复回去的规律。像维基百科等的词条注释文档,“历史流图”的可视化效果十分明显。关于大数据可视化的方面努力还有很多,不同的“源数据”有不同的可视化策略,大数据可视化的研究工！作仍有待进行下去。

大数据应用所面临的问题

大数据时代面临的首要问题是人力和财力问题,IDC分析称,大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素。据调查,仅美国就缺少大约14万到19万的具有深层次数据分析技巧的专业技术人员以及150万针对大数据的经理人。据阿里巴巴称,虽然其各类业务产生的数据为数据分析创造了非常好的基础条件,然而却招聘不到合适的数据科学家而影响了研发进展。高德纳公司预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。其中有190万个工作岗位将在美国,每一个与大数据有关的IT工作,都将在技术行业外部再建3个工作岗位,这将在美国再创建将近600万个工作岗位。数据科学家是复合型人才,是对数学、统计学、机器学习等多方面知识的综合掌控,能对数据做出预测性的、有价值的分析。因此,各国对大数据人才的培养工作应当快速有效地着手执行。大数据的接收和管理也需要大量的基础设施和能源,无论是传感器还是数据中心的服务器,都需要大量的硬件投入和能源消耗,这也就意味着大数据处理的财力需求极为可观。如何处理好大数据产生的资金投入比例,也成为了各国和各企业决策者面临的难题。另外,大数据还将面临严重的安全和隐私 问题。首先,随处可见的传感器和摄像头等设备,会监视并记录人们位置等信息,通过海量数据的分析,便可轻易了解人们的行踪规律,从而可能给人们带来生命和财产安全;其次,“云设施”的经济划算,推动了僵尸网络的发展及海量并行处理破解密码系统的可能性;,由于云计算要求我们放弃自主计算能力,当整个社会的信息,包括个人信息、商业信息都存储在巨头们提供的“云”上时,我们只能寄希望于这些巨头们都是道德高尚的圣人,否则我们将面临灾难性损失。面对这些安全威胁,学术界和工业界也都纷纷提出自己策略。针对基于位置服务的安全性问题,文献[40]提出了一种k-匿名方法,即将自己与周围k-1个用户组成一个范围集合性对象来请求位置服务,从而模糊了自己的位置。文献[41]提出的策略是,搜集周围的k-1个用户的位置信息,并以其中的某一个的名义发送位置服务请求,从而也达到隐藏坐标的目的。Roy等人将集中信息流控制和差分隐私保护等技术融入云中的数据生成与计算阶段,提出了一种隐私保护系统Airavat[42],防止MapReduce计算过程中将非授权的隐私数据泄露出去,并且支持对计算结果的自动除密。Mowbray等人在数据存储和使用阶段使用一种基于客户端的隐私管理工具[43],提供以用户为中心的信任模型,帮助用户控制自己的敏感信息在云端的存储和使用。苹果最近申请了一项专利,叫做电子分析污染技术,能够将用户在苹果产品上产生的行为数据进行污染和混淆,让其他厂商获取不到真正的用户数据。这类信息安全保护的思路是:当各种加密措施无法彻底保护个人信息时,不如将大量的垃圾信息、错误信息充斥在真实有效的信息之中,让窃取者不得不耗费巨大的成本从中分析。高德纳公司分析指出,大数据安全是一场必要的斗争,并且大数据本身更可用来提高企业安全。因为解决安全问题的前提是,企业必须先确定正常、非恶意活动是啥样子的,然后查找与之不同的活动;从而,发现恶意活动,基于大数据来建立一个基线标准就很好地达到了这个目的。

,大数据的出现会促使IT相关行业的生态环境和产业链的变革。传统的网络公司运营模式是在自己的服务器上来管理若干产品和服务,并通过网络连线提供给用户终端,产生的数据归公司独有。然而,在大数据时代,这种模式已经难以胜任,服务公司往往会选择租赁第三方的开放平台来运营自己的业务。这样,用户提供数据,服务方处理数据,但数据的实际存储地却在第三方。大数据影响的IT产业链大致包括数据资源、应用软件、基础设施三大部分。数据资源方面,各大信息中心、通信运营商等积极研制和引用大数据技术,挖掘大量数据分析相关人才,数据资源的收集和开发产业逐步完善;应用软件方面,随着高性能云平台的出现,云应用软件也不断被开发出来,用户再也不必烦恼复杂的软件安装和配置过程,便可以轻松享受各种网络应用服务;基础设施方面,大数据对硬件的依赖,迫使高性能硬盘、低能耗服务器、小巧化个人终端等行业的快速发展。另外,大数据技术的日益成熟也会促使跨行业经营模式的发展。第三方可以将用户的各种服务请求进行打包,然后利用大数据分析来寻求好的服务商的组合以反馈给用户。对服务提供方来说,借助第三方可以更好地推销自己的服务。而对第三方而言,可以获得大量的分析数据,其中的利益也是可观的,真正的实现了“双赢”,同时也使得用户获得更好的服务体验。

结束语

大数据时代挑战与机遇并存,正确处理好大数据,不仅符合企业的利益,也给人们日常生活带来极大的便利。本文对大数据的基本概念、处理流程以及相关技术进行了简要的探讨,并分析了大数据可能带来的一些问题及应对策略。云计算目前是处理大数据的基础技术,但其在安全和隐私方面的保障工作仍让不少人感到怀疑,根本原因还是个人和商业的信息都存放在远端的巨头们提供的看不见的“云”上。大数据时代已经到来,但是,相应的技术体系和社会保障仍是亟需研究的应用课题

大数据应用论文:参加大数据审计应用培训心得

近日，__市审计局开展了面向全体业务人员的大数据应用审计业务培训会，旨在提升业务人员在项目审计过程中的审计效率，运用大数据审计思维和计算机审计手段，充分发挥审计功能。通过培训，审计人员不仅学习了新的技术，还对当前我国审计事业的发展有了新的认识,为共同创造我省审计事业的新成绩，打下了基础。

2015年12月12日，国家行政学院常务副院长马建堂在国家行政学院召开的“大数据与国家治理”圆桌论坛上表示“要积极拥抱使用大数据，以提高政府公共管理能力、公共服务水平、公共政策质量。”随着当代信息技术的蓬勃发展，各行各业均所产生的数据量将呈指数级增长，数据种类和格式也日渐丰富，除了储存这些数据，审计人员更多是要利用这些大数据，对它们进行收集，整理，清洗，分析，利用这些数据创造新的价值。随着被审计单位财务软件和业务软件的不断更新升级，审计人员运用“低成本、低风险、高效率”的审计技术变得尤为重要。__省审计厅审计云系统的搭建，为基层审计工作者节约了数据采集、整理及转换的时间，同时通过云系统进行数据分析，进一步的提高了审计工作效率，变审计工作重点从“现场审计找疑点”为“现场审计核实疑点”，实现“快、准、稳”的审计目标要求。

计算机审计的效果，取决于审计人员将计算机技术与审计方法结合能力的高低。要推动大数据审计的落实与发展，基层审计机关必须建立高素质的计算机审计队伍。加强审计人员计算机操作技能的培训，是推进基层大数据审计的重要手段。此次__市审计局开展的业务培训会，除了对word￥excel及审计软件的基本操作进行解析外，着重强调了审计人员应当培养充分应用计算机审计的工作意识。在此基础上，加入了计算机软硬件及网络应有的安全控制方法、计算机知识与审计知识的融合两方面培训内容，旨在培养具备计算机常识、网络知识以及掌握信息系统审计技术的现代审计业务人员，促使审计人员在审计工作中将审计知识与计算机技术进行有效结合。

2015年12月8日，中国政府网公布中共中央办公厅、国务院办公厅印发《关于实行审计全覆盖的实施意见》，是对国家审计监督提出实现审计监督全覆盖的时代要求。面对一个个数量庞大、种类繁杂的数据信息源，如何整合审计数据中心数据资源、挖掘跨行业、跨单位、跨系统的核心数据就变得十分重要。此次__市审计局开展的业务培训会，以本级财政预算审计为例，将财政四大业务系统与财务系统进行跨系统数据整理及对比分析方法及操作核心详细解读，为审计业务人员提供了跨系统数据比对分析思路，激发了审计业务人员对进一步实现跨单位、跨行业的全覆盖审计思路。

在大数据时代，挑战与机遇并存，计算机信息技术的广泛运用和审计业务已经深度融合，为审计事业带来了新发展。

大数据应用论文:国务院办公厅关于促进和规范健康医疗大数据应用发展的指导意见

国办发〔2016〕47号

各省、自治区、直辖市人民政府，国务院各部委、各直属机构：

健康医疗大数据是国家重要的基础性战略资源。健康医疗大数据应用发展将带来健康医疗模式的深刻变化，有利于激发深化医药卫生体制改革的动力和活力，提升健康医疗服务效率和质量，扩大资源供给，不断满足人民群众多层次、多样化的健康需求，有利于培育新的业态和经济增长点。为贯彻落实《国务院关于印发促进大数据发展行动纲要的通知》（国发〔2015〕50号）要求，顺应新兴信息技术发展趋势，规范和推动健康医疗大数据融合共享、开放应用，经国务院同意，现提出如下意见。

一、指导思想、基本原则和发展目标

（一）指导思想。深入贯彻落实党的十八大和十八届三中、四中、五中全会精神，牢固树立并切实贯彻创新、协调、绿色、开放、共享的发展理念，按照党中央、国务院决策部署，发挥市场在资源配置中的决定性作用，更好发挥政府作用，以保障全体人民健康为出发点，强化顶层设计，夯实基层基础，完善政策制度，创新工作机制，大力推动政府健康医疗信息系统和公众健康医疗数据互联融合、开放共享，消除信息孤岛，积极营造促进健康医疗大数据安全规范、创新应用的发展环境，通过“互联网+健康医疗”探索服务新模式、培育发展新业态，努力建设人民满意的医疗卫生事业，为打造健康中国、建成小康社会和实现中华民族伟大复兴的中国梦提供有力支撑。

（二）基本原则。

坚持以人为本、创新驱动。将健康医疗大数据应用发展纳入国家大数据战略布局，推进政产学研用联合协同创新，强化基础研究和核心技术攻关，突出健康医疗重点领域和关键环节，利用大数据拓展服务渠道，延伸和丰富服务内容，更好满足人民健康医疗需求。

坚持规范有序、安全可控。建立健全健康医疗大数据开放、保护等法规制度，强化标准和安全体系建设，强化安全管理责任，妥善处理应用发展与保障安全的关系，增强安全技术支撑能力，有效保护个人隐私和信息安全。

坚持开放融合、共建共享。鼓励政府和社会力量合作，坚持统筹规划、远近结合、示范引领，注重盘活、整合现有资源，推动形成各方支持、依法开放、便民利民、蓬勃发展的良好局面，充分释放数据红利，激发大众创业、万众创新活力。

（三）发展目标。到2017年底，实现国家和省级人口健康信息平台以及全国药品招标采购业务应用平台互联互通，基本形成跨部门健康医疗数据资源共享共用格局。到2020年，建成国家医疗卫生信息分级开放应用平台，实现与人口、法人、空间地理等基础数据资源跨部门、跨区域共享，医疗、医药、医保和健康各相关领域数据融合应用取得明显成效；统筹区域布局，依托现有资源建成100个区域临床医学数据示范中心，基本实现城乡居民拥有规范化的电子健康档案和功能完备的健康卡，健康医疗大数据相关政策法规、安全防护、应用标准体系不断完善，适应国情的健康医疗大数据应用发展模式基本建立，健康医疗大数据产业体系初步形成、新业态蓬勃发展，人民群众得到更多实惠。

二、重点任务和重大工程

（一）夯实健康医疗大数据应用基础。

1.加快建设统一、互联互通的人口健康信息平台。实施全民健康保障信息化工程，按照安全为先、保护隐私的原则，充分依托国家电子政务外网和统一数据共享交换平台，拓展完善现有设施资源，建成互通共享的国家、省、市、县四级人口健康信息平台，强化公共卫生、计划生育、医疗服务、医疗保障、药品供应、综合管理等应用信息系统数据采集、集成共享和业务协同。创新管理模式，推动生育登记网上办理。消除数据壁垒，畅通部门、区域、行业之间的数据共享通道，探索社会化健康医疗数据信息互通机制，推动实现健康医疗数据在平台集聚、业务事项在平台办理、政府决策依托平台支撑。

2.推动健康医疗大数据资源共享开放。鼓励各类医疗卫生机构推进健康医疗大数据采集、存储，加强应用支撑和运维技术保障，打通数据资源共享通道。加快建设和完善以居民电子健康档案、电子病历、电子处方等为核心的基础数据库。建立卫生计生、中医药与教育、科技、工业和信息化、公安、民政、人力资源社会保障、环保、农业、商务、安全监管、检验检疫、食品药品监管、体育、统计、旅游、气象、保险监管、残联等跨部门密切配合、统一归口的健康医疗数据共享机制。探索推进可穿戴设备、智能健康电子产品、健康医疗移动应用等产生的数据资源规范接入人口健康信息平台。建立全国健康医疗数据资源目录体系，制定分类、分级、分域健康医疗大数据开放应用政策规范，稳步推动健康医疗大数据开放。

（二）深化健康医疗大数据应用。

3.推进健康医疗行业治理大数据应用。加强深化医药卫生体制改革评估监测，加强居民健康状况等重要数据精准统计和预测评价，有力支撑健康中国建设规划和决策。综合运用健康医疗大数据资源和信息技术手段，健全医院评价体系，推动深化公立医院改革，完善现代医院管理制度，优化医疗卫生资源布局。加强医疗机构监管，健全对医疗、药品、耗材等收入构成及变化趋势的监测机制，协同医疗服务价格、医保支付、药品招标采购、药品使用等业务信息，助推医疗、医保、医药联动改革。

4.推进健康医疗临床和科研大数据应用。依托现有资源建设一批心脑血管、肿瘤、老年病和儿科等临床医学数据示范中心，集成基因组学、蛋白质组学等国家医学大数据资源，构建临床决策支持系统。推进基因芯片与测序技术在遗传性疾病诊断、癌症早期诊断和疾病预防检测方面的应用，加强人口基因信息安全管理，推动精准医疗技术发展。围绕重大疾病临床用药研制、药物产业化共性关键技术等需求，建立药物副作用预测、创新药物研发数据融合共享机制。充分利用优势资源，优化生物医学大数据布局，依托国家临床医学研究中心和协同研究网络，系统加强临床和科研数据资源整合共享，提升医学科研及应用效能，推动智慧医疗发展。

5.推进公共卫生大数据应用。加强公共卫生业务信息系统建设，完善国家免疫规划、网络直报、网络化急救、职业病防控、口岸公共卫生风险预警决策等信息系统以及移动应急业务平台应用功能，推进医疗机构、公共卫生机构和口岸检验检疫机构的信息共享和业务协同，提升公共卫生监测评估和决策管理能力。整合社会网络公共信息资源，完善疾病敏感信息预警机制，及时掌握和动态分析全人群疾病发生趋势及全球传染病疫情信息等国际公共卫生风险，提高突发公共卫生事件预警与应急响应能力。整合环境卫生、饮用水、健康危害因素、口岸医学媒介生物和核生化等多方监测数据，有效评价影响健康的社会因素。开展重点传染病、职业病、口岸输入性传染病和医学媒介生物监测，整合传染病、职业病多源监测数据，建立实验室病原检测结果快速识别网络体系，有效预防控制重大疾病。推动疾病危险因素监测评估和妇幼保健、老年保健、国际旅行卫生健康保健等智能应用，普及健康生活方式。

6.培育健康医疗大数据应用新业态。加强健康医疗海量数据存储清洗、分析挖掘、安全隐私保护等关键技术攻关。积极鼓励社会力量创新发展健康医疗业务，促进健康医疗业务与大数据技术深度融合，加快构建健康医疗大数据产业链，不断推进健康医疗与养生、养老、家政等服务业协同发展。发展居家健康信息服务，规范网上药店和医药物流第三方配送等服务，推动中医药养生、健康养老、健康管理、健康咨询、健康文化、体育健身、健康医疗旅游、健康环境、健康饮食等产业发展。

7.研制推广数字化健康医疗智能设备。支持研发健康医疗相关的人工智能技术、生物三维（3D）打印技术、医用机器人、大型医疗设备、健康和康复辅助器械、可穿戴设备以及相关微型传感器件。加快研发成果转化，提高数字医疗设备、物联网设备、智能健康产品、中医功能状态检测与养生保健仪器设备的生产制造水平，促进健康医疗智能装备产业升级。

（三）规范和推动“互联网+健康医疗”服务。

8.发展智慧健康医疗便民惠民服务。发挥品质医疗资源的引领作用，鼓励社会力量参与，整合线上线下资源，规范医疗物联网和健康医疗应用程序（APP）管理，大力推进互联网健康咨询、网上预约分诊、移动支付和检查检验结果查询、随访跟踪等应用，优化形成规范、共享、互信的诊疗流程。探索互联网健康医疗服务模式。以家庭医生签约服务为基础，推进居民健康卡、社会保障卡等应用集成，激活居民电子健康档案应用，推动覆盖全生命周期的预防、治疗、康复和健康管理的一体化电子健康服务。

9.建立远程医疗应用体系。实施健康中国云服务计划，建设健康医疗服务集成平台，提供远程会诊、远程影像、远程病理、远程心电诊断服务，健全检查检验结果互认共享机制。推进大医院与基层医疗卫生机构、全科医生与专科医生的数据资源共享和业务协同，健全基于互联网、大数据技术的分级诊疗信息系统，延伸放大医疗卫生机构服务能力，有针对性地促进“重心下移、资源下沉”。

10.推动健康医疗教育培训应用。支持建立以国家健康医疗开放大学为基础、中国健康医疗教育慕课联盟为支撑的健康医疗教育培训云平台，鼓励开发慕课健康医疗培训教材，探索新型互联网教学模式和方法，组织品质师资推进网络医学教育资源开放共享和在线互动、远程培训、远程手术示教、学习成效评估等应用，便捷医务人员终身教育，提升基层医疗卫生服务能力。

（四）加强健康医疗大数据保障体系建设。

11.加强法规和标准体系建设。制定完善健康医疗大数据应用发展的法律法规，强化居民健康信息服务规范管理，明确信息使用权限，切实保护相关各方合法权益。完善数据开放共享支撑服务体系，建立“分级授权、分类应用、权责一致”的管理制度。规范健康医疗大数据应用领域的准入标准，建立大数据应用诚信机制和退出机制，严格规范大数据开发、挖掘、应用行为。建立统一的疾病诊断编码、临床医学术语、检查检验规范、药品应用编码、信息数据接口和传输协议等相关标准，促进健康医疗大数据产品、服务流程标准化。

12.推进网络可信体系建设。强化健康医疗数字身份管理，建设全国统一标识的医疗卫生人员和医疗卫生机构可信医学数字身份、电子实名认证、数据访问控制信息系统，积极推进电子签名应用，逐步建立服务管理留痕可溯、诊疗数据安全运行、多方协作参与的健康医疗管理新模式。

13.加强健康医疗数据安全保障。加快健康医疗数据安全体系建设，建立数据安全管理责任制度，制定标识赋码、科学分类、风险分级、安全审查规则。制定人口健康信息安全规划，强化国家、区域人口健康信息工程技术能力，注重内容安全和技术安全，确保国家关键信息基础设施和核心系统自主可控稳定安全。开展大数据平台及服务商的性、可控性和安全性评测以及应用的安全性评测和风险评估，建立安全防护、系统互联共享、公民隐私保护等软件评价和安全审查制度。加强大数据安全监测和预警，建立安全信息通报和应急处置联动机制，建立健全“互联网+健康医疗”服务安全工作机制，完善风险隐患化解和应对工作措施，加强对涉及国家利益、公共安全、患者隐私、商业秘密等重要信息的保护，加强医学院、科研机构等方面的安全防范。

14.加强健康医疗信息化复合型人才队伍建设。实施国家健康医疗信息化人才发展计划，强化医学信息学学科建设和“数字化医生”培育，着力培育高层次、复合型的研发人才和科研团队，培养一批有国际影响力的专门人才、学科带头人和行业领军人物。创新专业人才继续教育形式，完善多层次、多类型人才培养培训体系，推动政府、高等院校、科研院所、医疗机构、企业共同培养人才，促进健康医疗大数据人才队伍建设。

三、加强组织实施

（一）强化统筹规划。建立党委政府领导、多方参与、资源共享、协同推进的工作格局。国家卫生计生委要综合统筹、强化实施，各有关部门要密切配合、形成合力，推动重点任务落实。各地区要重视健康医疗大数据应用发展，切实搞好总体规划、基础建设、安全监管，确保各项任务措施落到实处。推进健康医疗大数据军民融合发展，促进军地健康医疗数据规范衔接、互通共享、协同应用。加强对健康医疗大数据应用发展的指导，强化对技术研发、新业态构建、应用推广的统筹协调，研究建立专家委员会，组织研究制定发展战略及相关政策、法规、标准。

（二）抓住重点着力突破。从人民群众迫切需求的领域入手，重点推进网上预约分诊、远程医疗和检查检验结果共享互认等便民惠民应用。加快推进基本医保全国联网和异地就医结算。支持发展医疗智能设备、智能可穿戴设备，加强疑难疾病等重点方面的研究。选择一批基础条件好、工作积极性高、隐私安全防范有保障的地区和领域开展健康医疗大数据应用试点，总结经验，扎实有序推进。

（三）加大政策扶持力度。研究制定政府支持政策，从财税、投资、创新等方面对健康医疗大数据应用发展给予必要支持。推广运用政府和社会资本合作（PPP）模式，鼓励和引导社会资本参与健康医疗大数据的基础工程、应用开发和运营服务。鼓励政府与企事业单位、社会机构开展合作，探索通过政府采购、社会众包等方式，实现健康医疗大数据领域政府应用与社会应用相融合。充分发挥已设立的有关投资基金作用，充分激发社会资本和民间资本参与热情，鼓励创新多元投资机制，健全风险防范和监管制度，支持健康医疗大数据应用发展。

（四）加强政策宣传普及。加强健康医疗大数据应用发展政策解读，大力宣传应用发展的重要意义和应用前景，积极回应社会关切，形成良好社会氛围。积极引导医疗卫生机构和社会力量参与开展形式多样的科普活动，宣传普及健康医疗大数据应用知识，鼓励开发简便易行的数字医学工具，不断提升人民群众掌握相关应用的能力和社会公众健康素养。

（五）推进国际交流合作。有序推进健康医疗大数据应用发展的人才技术交流与合作。鼓励相关企业和科研单位开展对国际先进技术的引进、消化吸收和再创新，推动我国自主技术与全球同步发展。加大对国际健康医疗大数据应用标准的跟踪、评估和转化力度，积极参与国际标准制定，增强相关规则制定的话语权。坚持以我为主、加强监管、确保安全原则，稳步探索国际健康医疗大数据应用发展合作新模式，不断提升我国健康医疗大数据应用水平、产业核心竞争力和国际化水平。

大数据应用论文:大数据在现代旅游管理中的应用

［摘要］大数据是近年来非常火热的一个词汇。大数据的利用可以更好地服务广大消费者，因而有着极大的应用价值。结合旅游管理工作，探讨现代旅游管理实践中的大数据应用。

［关键词］现代；旅游管理；大数据；服务

随着近些年来游客们的出行方式越来越多样化，各种丰富多样的旅游主题网站、微博、微信等等社交媒体层出不穷，人们在旅游方面生产的数据越来越多。相应的，多种来源收集数据、储存数据、分析数据的能力也在飞快的发展，在现在旅游管理工作中，大数据的技术能够应用于多个方面，本文就这一问题进行简要分析。

1结合大数据内涵，突出旅游价值

总的来说，所谓大数据就是数量特别庞大的数据资料，不能通过已有的软件工具进行提取、储存、分析、共享等处理的复杂数据的集合。而对于旅游业来说，其核心内容即旅游服务供应链的每一个组成分支，都在连续不断地持续生产着数据，不论是从提供基础设施的合作商、提供衣食住行的旅游合作商、介绍旅客的中介商甚至是出行的游客以及管理的旅游部门无一例外，在整个旅游供应链中，数据类型的类型众多并且十分庞大，产生数据的题量大、数据的类型多、数据的流速高且能提供参考价值的数据密度低。对于旅游管理部门来说，合理利用旅游大数据，积极进行数据深度挖掘，对于旅游的可持续发展具有较高的价值，能够有效地通过人民的出行以点带面地带动整个经济。在我国多个文化产业方向都由十分巨大的经济潜在价值和应用前景。旅游大数据主要分为两个主要部分，结构化大数据和非结构化大数据，结构化大数据就是按照已经规定好的格式进行数据的整理，存储到数据库中以便能被核心管理系统进行分析。而非结构化的大数据就是指其他类型的数据格式，例如一些办公文件、文本、图片、音频、报表等。非结构化的旅游大数据一般包括旅游景点的监控视频、社交媒体上的音频、视频、出行数据、线上旅游的营销状况等。

2利用大数据分析，推动旅游决策

利用旅游大数据可以有效地分析游客的需求，这样的预测可以更好地帮助旅游运营商设计旅游路线，为推出新的旅游决策提供强有力地依据。究其根本，针对旅游需求的预测不仅仅可以帮助管理局更有目的的规划旅游决策，制定旅游方案，还可以使得旅游服务链上的各个环节衔接得更加紧密，上下协调一致，大大提高旅游业循环效率。旅游需求一般包括以下两个方面的内容，一方面是旅游者对于旅游过程中享受的硬件设备的要求，另一方面是旅游服务人员等软件的需求。但是旅游产业是一个较为独特的工作链，首先，旅游设施的建设是一个长期的过程，由于其地理位置的特殊性和所需材料的庞大，必定需要长期的时间和大量的工程技术人员 ；其次，在旅游行业中，季节性十分明显，并且不具有其他服务行业的可储存性、无形性等特点，这就造成了旅游行业的不确定因素太多，很容易就造成了成本风险，使得行业内部的竞争变得越来越明显。因此，利用大数据进行预测未来旅游业发展趋势是一项非常必要的工作，能够为整个旅游业指明发展的方向，并在一定程度上降低投资风险。其次，大数据还可以在拟定好的运营方案正式上线之前进行模拟，模拟投入运行时市场可能出现的多种情况，分析其特征和规模，进行有效的市场分析以及定位，预测未来可能会出现的运营状况，并通过市场分析进行定位，尤其是对于旅游热门地区来说，对于改变旅游行业规划晚于市场发展这一现状有显著的作用。

3通过大数据特征，优化旅游营销

当完成了预测任务后，旅游管理部门可以利用大数据对整个旅游市场进行细致的划分，分析大数据中游客们的基本属性、需求、共同的行为特征，以及一些特定人群的偏好，例如青少年、老年人等，进行多个角度的分析，从而做到精准定位旅游行业，设计出更具有针对性的旅游项目，以达到大幅度提高旅游业发展的最终目的。具体来说，游客的基本属性是指性别、年龄、财产状况以及受教育程度等自身属性，需求则是旅客们期望的出行方式、热门出行地点，各个旅游网页的实时搜索热度等。对于旅游管理部门来说，可以通过统计各个景区内部的大数据，例如周围酒店入住情况、景区门票销售情况等，管理部门可以与网络营销平台、景区做到三方联合，进行大数据的整理，根据旅客的基本属性进行资源的预备，应对未来可能出现的庞大客流量和客流需求。管理部门可以与每个景区的监控系统实现网络互通，以便当发生一些突发紧急事件，如踩踏、堵塞等进行实时监控并及时给出建议和反馈。从整个旅游管理行业的宏观方向来看，大数据的信息引导往往比其他的理想规划引导、行政干涉、法律规范等其他调控工具来说更加敏捷迅速，因为大数据具有庞大的数据分析作为先天优势，能够较为地帮助旅游业各个环节精准定位。这也说明了，旅游服务行业如果想成长成为一个完整的不可撼动的整体，必须要实现各个环节之间的无缝对接，多个部门同时运作，协调一致，达到旅游大数据信息的共享与合理分配。总之，将大数据的管理思想融入到旅游服务行业中去，是提高旅游管理水平、实现高效旅游的一个有力途径，但正如事物都有两面性一样，大数据也不可避免地会泄露一些游客的个人隐私，导致游客提供的数据不能确保真实性，因此如何攻克这一点，做更的大数据分析是目前旅游市场需要攻克的难题。

作者:高璐 单位:江苏省南通市旅游局办公室

大数据应用论文:大数据技术在企业战略管理的应用

摘要：随着企业的发展和信息技术的不断发展，企业逐渐进入了大数据时代。如何对纷繁复杂的数据进行分析，从中找出对企业的发展有用的信息来促进企业的发展在科学技术现代化的今天越来越中重要。企业管理者只有采用先进的科学技术对企业的各项活动进行管理。企业的管理者要根据大数据分析技术进行战略决策。在现代化科学技术比较发达的今天大数据技术与企业的管理融合是未来的发展趋势。

关键词：大数据;企业管理战略;信息技术;大数据时代

大数据的发展改变了社会的生活方式生产方式及企业的管理方式。大数据改变了企业的营销方式，使企业能够从繁复的信息中找新的经济增长点。只有利用好大数据才能够使企业的核心竞争力适应环境的不断变化。大数据时代科学技术在企业中的广泛应用,不断改变了人类社会的生活方式和生产方式。企业要不断提高自身对数据的分析能力才能够提高对数据综合分析能力。

1大数据时代下的企业管理战略

1.1企业通过大数据技术的分析进行企业战略决策

大数据时代的到来企业已经改变了企业原有的生产管理方式。企业已经逐渐通过大数据的分析进行企业战略决策。企业庞大的信息库已经不是人力所能够分析的，企业必须要采用现代化的科学技术进行数据分析提供科学的战略决策。大数据的分析与数学模型的建立有着千丝万缕的联系。企业要提高数据分析的性就要建立更多的数学模型让数据能够找到适应的模型。同时数学模型要能够适应数据的不断增长和发展。管理者要通过多种数学模型分析数据不断提高企业的竞争能力。随着社会的不断发展企业家都希望通过挖掘数据找到商业的价值，帮助企业快速发展实现利益增长。大数据的分析技术可以使企业发展更加良性化。

1.2大数据分析技术有助于优化企业的战略决策

大数据推动了企业进行深入的变革，现代的企业逐渐的朝着科技革命和创新管理模式方向发展。企业要提高自身的经济利益就要对企业内部和外部的环境都进行分析，通过对企业的数据进行预测、分析、规划和控制等的处理使自身利益得到较大化。针对企业内部和外部的环境因素纷繁复杂、数据众多，企业必须要通过大数据分析选定合理的战略方案进行企业管理。企业要利用大数据对周围的环境进行分析，制定正确的战略抉择，的把握企业的信息，合理地组织企业架构，实现企业利益较大化。大数据技术能够对管理环节和市场需求进行分析，利用大数据建立起相应的数学模型，提供科学的、有利于企业发展的决策。

1.3大数据分析有助于企业决策者进行企业的决策

企业决策者通过大数据进行信息技术分析选择正确的战略决策。企业要在大数据分析技术的指导下进行使企业不断的适应时代的发展。企业在战略管理抉择方面对大数据进行分析，不断对企业的运营和管过程监控评价，不断的修改原有的方案，使企业慢慢地强大起来。

2大数据在企业管理中的具体应用

2.1数据挖掘与战略管理

知识的发现过程主要涉及到“数据仓库，数据选择，数据清理，数据预先处理，模型选择”等内容，管理决策发展的过程就是利用假设检验将信息转化为知识的过程。在数据的挖掘方面可以发现很多有趣的数学模型对信息决策非常有用，这些数学模型可以存储在数据仓库、数据库等信息库中，在解决相关问题是只要调出相关模型就可以了。数据挖掘实施方法论在的应用非常广泛。这种数据挖掘方式通过提供方法和参考模型，帮助用户进行数据方面的挖掘。这种方法在企业决策方面的数据挖掘方面运用很普遍。

2.2跨行业标准数据挖掘方法论的主要数据挖掘技术

这种数据挖掘理论涉及到的技术主要有关联数据技术、分类数据技术、聚类数据技术、时间序列分析技术等。

2.3跨行业标准数据挖掘论的生命周期

跨行业标准数据挖掘论的生命周期主要分为六个阶段，主要包括业务理解、数据理解、数据准备、数学模型建立、数据评估、数据等几个阶段。

3利用数据模型进行战略管理

3.1利用数据技术进行企业的战略管理

企业利用数据技术进行战略管理的策略主要有SWOT战略、差异化竞争战略、相关联的多元化战略、市场预测战略等。企业的战略管理主要涉及五个方面的内容，主要包括：企业的愿景和使命，企业的战略目标，企业的环境分析，企业的战略制定，企业的战略实施，企业的战略评估。

3.2数据管理与企业战略管理间的映射

关联规则与SWOT战略：关联规则在数据可中的应用非常广泛，SWOT主要用来对企业的战略环境进行分析。SWOT是一种分析方法。企业战略管理运用SWOT这种分析方法来发现组织不同环境因素之间的关系。这两种分析方法目的都在于能够发现和理解不同参数之间的关系。

3.3分类和数据差异化战略

数据库中的分类是根据数据库中的一些属性构造模型，并且使用这种模型分类。战略管理的差异化策略能够为不同的客户提供与其他同行业企业不同的产品和服务。这种策略不仅能够满足用户的需要，还不容易被同行业的产品取代。运用差异化战略用户只要根据产品形态上的差异就能够预测，可以看做是一个分类问题。

3.4聚类与相关多元化

聚类就是把数据按照相似性的要求分成不同的类别。企业管理的多元化战略主要论述公司在业务竞争上有价值的“战略匹配关系”。这种新的业务问题可以看作是一个聚类问题。

4大数据技术对决策系统的影响

企业的决策大数据是企业的信息数字化、并对这些数据进行整理和分析。首先企业要按照企业的层级功能建立数据采集系统，从多个维度采集信息。第二，企业推进信息决策的自动化、分算化、前端化。要提高决策的信息指标和科技含量。随着社会的不断发展，传统的决策已经没有办法满足企业快速发展的需要。企业要以网络技术为基础，通过大数据分析建立分散的决策模式。在这个复杂的决策环境中决策的时效性对企业管理更为重要，传统的决策模式已经不能够适应社会的发展需求，大数据技术为企业带来了新的决策分析方法。企业要通过决模型的创新，建立适应企业发展的决策模型。

5结束语

随着大数据技术的不断发展，社会政府和企也都把大数据作为关注的重点。通过大数据技术对企业进行的管理，为企业提供科学的决策。大数据技术有助于企业综合实力的提升，有助于企业适应未来的发展。在企业的竞争中人才是最根本的因素。企业要重视人才的培养。

作者:姚欣欣 张峰 孙雷 单位:国网辽宁省电力有限公司盘锦供电公司

大数据应用论文:大数据在物资招标采购管理中的应用

摘要:

大数据在招标采购管理中的应用分为四个主要步骤，分别是:历史采购诊断、提出大数据应用方向、对大数据应用点进行分析、提出大数据在招标采购管理中的具体实施方案。本文主要针对大数据在物资招标采购管理中的应用进行细致分析。

关键词:

大数据;物资;招标;采购管理;应用;分析;研究

1具体研究思路

由于对大数据在物资管理中的研究尚且处于初级阶段，很多的应用理论都比较缺乏，再加上现有的知识体系达不到招标采购大数据的应用需求，所以主要根据当前招标采购管理业务的一些特点和趋势，将大数据招标采购管理应用细化，分为以下几个步骤。及时点是对之前历史保留下来的采购数据进行重新的整合与诊断，对于一些有利用价值的信息要进行充分的挖掘，并对之前那些杂乱的数据信息进行统一整理。第二点就是根据招标采购业务的实际特点，结合实际业务需求的基础上，提出大数据今后的应用方向。并从这一应用方向中选择大数据的实际应用点，将其与招标采购业务流程进行实时的连接。第三点是对选择出来的大数据应用点进行分析，找出其中存在的问题和难点，集中对这些问题和难点进行分析和研究，并对最终研究出来的结果进行评估。第四点是针对当前我国招标采购大数据，对其应用点进行细致的区分和规划，并根据数据的使用状况提出大数据在招标采购管理中的具体实施方案。以业务流程分析为主要的辅助依据，以大数据的实际应用为具体导向。具体研究思路如图1所示。

2研究方法和过程

2.1历史采购数据的挖掘和诊断

研究人员会根据招标采购业务流程中可能会涉及的业务环节进行详细的分析，由于每一项业务之间所涵盖的数据信息都非常丰富，这也为数据采集工作奠定了基础。将所有历史采购的数据进行整合，并将零散的物资供应链条分成若干类别。对数据的质量进行系统的分析，这样做也是为了大数据应用点的提出创建坚实的基础。

2.2大数据在招标采购中的具体应用

随着整体业务流程场景化的不断应用，招标采购业务管理的实际水平也会得到极大的提升。除此之外，还可以采用调查分析法来对其进行分析。由于招标采购业务的流程主要包括四个主要范畴。而研究人员选择其中的几个大数据的应用点，并将其分为事前和事后两个时间段来进行分析。具体情况见图2。在事前阶段，研究人员主要通过对大数据的分析，为物资的采购提供相应的数据参考，然后通过对采购物资的分析来不断优化完善物资的分类方法，再将物资分析与招标分析方法进行有机的整合。除此之外，在对物资的类别和采购方式进行分析之后，就可以让每个物资品类都可以找到与之相对应的采购方式。在事后阶段，研究人员会通过对一系列大数据的分析，先总结出物资采购的相关规律特点，并通过对一些相对比较重点的物资进行报价处理，在了解报价的范围之后，总结出重点物资的报价规律，判断他们是否存在违规等现象。

2.3大数据应用点评估

研究人员在对大数据进行定性评估分析时，大数据的分析点都是不同的，所以要求研究人员要充分的了解业务的流程以及数据的梳理情况，从数据分析等多个角度对大数据进行实时评估。在综合考虑了实际的应用价值之后，再将大数据的分析点进行等级评估。

2.4大数据在招标采购管理中的实施方案

研究人员通过对大数据应用点的分析，分析之后确定大数据应用的设施方案。然后根据优先级的划分，将大数据的应用分为三个主要实施阶段。招标采购业务大数据应用点实施规划如表1所示。在对大数据的实际应用中，首先要关注的目标就是及时优先级中应用价值高、可行性强的分析点，研究人员就可以以这一分析点作为主要的切入点，这样就能够在较短的时间之内实现物资业务管理的水平。而且随着这一分析点的不断提升，其业务管理的水平也会有相应的提升。其次需要关注的就是第二优先级中可行性较强的大数据应用点，这一应用点不仅可行性强，而且运用难度也比较适中，适合大范围使用。而中长期目标就是第三、第四应用点中难度大，运用难度高的大数据应用点。

3结语

大数据在当前社会的发展中所占的比重越来越大。大数据现已成为推动社会经济发展和产业竞争的主要因素。随着我国信息化城市建设的不断发展，对全新能源的开发，使得招标采购管理对大数据应用的需求也是越来越大，大数据理论的应用可以创造社会价值，能够促进招标采购业务管理的水平，这也是为我国实施大数据战略提供了坚实的后盾。

作者:李悦 单位:哈尔滨市轨道交通建设办公室

大数据应用论文:大数据运营管理信息系统应用

编者按：

针对某省运营管理系统存在的数据问题和现状，中国移动江苏有限公司网络部赵恒特撰写《基于大数据的M运营商运营管理信息系统应用》一文，该文有针对性地提出了Hadoop处理框架和数据集市云化的架构应用，描述了基于大数据平台的某运营商运管管理信息系统，其内部优化了KPI管理、产品管理、决策管理、生产服务、客户服务、投诉管理、市场营销等管理流程，在项目实施过程中形成了统一大数据中心管理模式，打破了部门壁垒和信息鸿沟，效果良好，获得运营商集团公司科技与业务创新一等奖。可供相关技术人员学习、参考。

摘要：

针对某省运营管理系统存在的基础数据问题和现状，有针对性提出了Hadoop处理框架和数据集市云化的架构应用。本文描述了基于大数据平台的某省运营商运管管理信息系统，在内部优化了包括KPI管理、产品管理、决策管理、生产服务、客户服务、投诉管理、市场营销等在内的管理流程，在项目实施过程中形成统一大数据中心管理模式，打破部门壁垒和信息鸿沟，产生了良好的效果，获得运营商集团公司的科技与业务创新一等奖。

关键词：

大数据；运营商；运营管理；管理信息系统

1大数据运营管理信息系统的实现

大数据运营管理信息系统采用新技术，运营商采用业界先进且成熟的技术，考虑技术产品升级时的平滑度，保障所选的软硬件具有较长的生命周期，满足需求，立足应用，构建大数据生态体系。先进成熟技术包括Hadoop处理框架、实时流式数据处理框架等。（1）Hadoop处理框架（见图2）一个分布式系统架构，充分利用集群的威力高速运算和存储，提供高传输率来访问、计算已存储的海量数据；是大数据处理架构的事实标准。部署x86Hadoop平台，在聚合层存储海量源数据，并针对海量、非结构化/半结构化数据提供大规模处理的计算能力，在数据资产层存储离线数据资产，提供高效查询的资产存储管理能力。（2）流数据处理框架（见图3）一种分布式、容错的实时计算系统，实时处理消息并根据处理结果提供相应的处理机制。部署x86流数据处理平台，在聚合层对接源系统实时数据接口，实时采集源信息并进行处理与分析；结合数据资产层的数据应用模型、数据应用层的规则引擎及时做出业务目标的响应（实时BI、实时事件触发式营销等）。（3）业务规则引擎规则引擎将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写、解释业务规则，并根据业务规则做出业务决策。将数据按照一定的业务规则分类，匹配业务系统的数据需求场景；定义事件与流程，面向其他业务平台将数据中心的能力按照规则主动式提供。（4）数据服务枢纽（见图5）按照数据开放公共语义模型，将数据资产封装成共享业务数据模型，形成上层服务；屏蔽系统接口的技术差异，使用ESB统一协调服务运营。实现企业数据中心的数据与应用分离，提高数据安全性与复用性。通过ESB服务枢纽对其他业务系统开放标准化的服务接口，形成系统间的有效互动。（5）数据集市云化架构构建云计算x86资源池，提供按需伸缩的基础设施架构；承载分布式MPP数据库系统，提供平滑扩展的强大并行计算能力。利用x86资源池的低成本，提供数据集市的所需要的易扩展、分布式、高并发的数据计算能力；面向应用存储在线高热度访问、海量实时计算的数据。

2大数据运营管理信息系统解决的问题

大数据运营管理信息系统平台的应用，解决了M运营商原有平台的相关问题，丰富了大数据的基础数据源，加强了数据分析能力，通过统一存储和管理，打破了数据鸿沟，提高了系统效率。

2.1增加网络数据采集，丰富大数据的基础数据源

运营商产品包括传统通信、上网、内容和应用。传统通信有通话、短彩信、开关机和停复机。用户上网途径有3种：2G、3G、4G的手机上网方式；WLAN无线宽带上网方式；有线宽带上网方式。内容和应用有手机邮箱、手机游戏、手机视频、手机音乐、手机电商和应用商店等。通过在相应的网络上增加网络信息采集器，实现数据采集。比如：针对通话，可以采集到的信息有主叫号码、被叫号码、主叫开始时间、被叫开始振铃时间、被叫接通时间、主被叫挂机时间、主叫发起呼叫位置、被叫振铃位置、被叫挂机位置、主叫挂机位置、呼叫转移号码、主叫手机类型、被叫手机类型和通话质量。M运营商增加了上述的各种产品的数据采集，每天采集数据量约30TB。这些数据的价值体现在可以用来指导网络的维护和优化，可以用来提高服务质量，可以通过针对性的营销提升效果，可以与第三方合作增加数据的挖掘价值。

2.2加强基础数据分析，生成大数据次级数据字典

通过基础数据分析，加工生成二级数据丰富数据字典，分析汇总指标体系包含指标3000多个，针对公司各部门各分公司和各业务产品订制报表500多张。继续以通话为例，为了指导和考核网络维护与优化工作，通过对全网所有通话行为的分析，提炼出如下指标：呼叫接续时长=被叫开始振铃时间-主叫开始时间，加上主叫所在位置联合分析，可以对所有网络小区的平均呼叫接续时长进行统计分析，得出需要优化的小区、派发优化任务给维护部门、并可以跟踪优化效果；同样呼叫接续时长、主叫位置、主叫手机类型联合分析，可以得出手机和网络配合情况，指导问题手机生产商进行手机的质量改进。继续以通话为例，为了指导和考核营销部门的优惠购机入网套餐销售质量，通过对一定时间区间内各个渠道销售的优惠手机通话分析，提炼出如下指标：渠道销售终端次月活跃度=Count（主叫号码&主叫手机类型in渠道a终端销售库）/sum（渠道a终端销售库）。这样分析可以对渠道销售质量进行指导和考核，并能有效发现渠道通过假销售套取销售佣金的欺诈行为。

2.3统一存储和管理，打破数据鸿沟提高系统效率

M运营商的大数据系统当前存储数据量超过30PB。在统一存储和数据管理的基础上，通过联合关联，把以前分散在各个信息系统中的数据汇聚拼接出用户真正的全貌。通过泛在挖掘，把握单个用户的真正需求，挖掘潜在用户群的行为特征。系统能力增强的实时应用，能及时地反应到用户服务上。

作者：赵恒 单位：中国移动江苏有限公司网络部

大数据应用论文:大数据应用与高校后勤管理浅谈

一、大数据丰富校园生活

每年9月都是高校迎新的日子，随着信息化手段的进一步发展，目前的高校迎新开始呈现出电子化等特点，不少学校不仅拥有专门的迎新网站，还将微信、APP等移动互联技术应用到迎新当中，过去繁琐的报到流程已经简化为扫一扫条形码，一切全搞定，有些高校甚至实现了网上选宿舍、手机一卡通等服务，这些电子化应用极大方便了新生报到及融入校园。例如北京邮电大学今年首次尝试用微信进行迎新，学生通过添加北京邮电大学官方微信账号，即可享受到校指引地图、校车查询、迎新办理等服务。北邮官方微信账号专门有一个“校园迎新”栏目，该栏目中有迎新办理、新生指南、全景引导等多种校园讯息。此外，通过大数据和云计算等手段，还可以实现对人流量的控制。如在浴室、游泳馆、自习室等地安装人流监控设备，出入的人数以及等待的人数都可以在网上或者微信上实时查询，学生可以根据这些数据来决定是否去洗澡、游泳，以及该去哪个自习室上自习。

二、手机投票提升服务质量

信息系统不仅能够满足标准化和精细化管理需求，还可以帮助后勤员工提升服务意识。随着我国经济发展和人民生活水平提高，加之大学生群体中独生子女比率提升，高校后勤服务对象消费观念更新，对后勤管理的服务质量标准不断提高，不仅要求吃得饱，还要满足吃得好;不仅要求住得宽敞，还要满足住得舒适。因此，不断提升后勤服务质量成为高校后勤管理的新需求。在传统模式下，每学期可以请学生为后勤人员进行打分。在信息化条件下，可以采用网上投票等手段。如今，在云计算和大数据的帮助下，还可以利用微博、微信等社交手段提升高校后勤管理服务质量。现在很多服务业都利用微信平台对用户进行服务，高校后勤管理部门也可以借鉴这种手段，或者开发相应的手机软件，使学生可以对后勤服务进行实时投票、投诉、反馈。例如可以每周对各个食堂的菜谱进行投票，食堂可以根据学生的投票结果进行调整。

三、以考促学提高人员素质

可以利用信息化手段对后勤员工进行培训。随着各种社交软件在人们中的普及，可以利用手机等终端对后勤员工进行每周一考，或者每月一考，将后勤管理规范条例等考题以短信、手机软件、甚至是社交工具的形式发送到后勤员工的手机上。考试并不是目的，而是一种手段。如果员工回答正确，可以有相应的奖励。如果回答错误，则将正确答案发送到员工的手机上，使其加深印象，达到以考促学的目的。

四、餐饮管理提升食堂精细化水平

食堂管理是学校后勤管理的一个重要组成部分，是学校教学、科研、师生生活的重要保障，而且学校食堂是非盈利部门，既不能牟利，还要搞好伙食，不仅吃好，还得健康。然而，在实际食堂管理中存在着很多问题，如食堂管理体制不完善，由于成本原因导致菜品单一、员工素质较低等，这些都制约着食堂的良好发展。信息化能够帮助企业构建标准化的流程和提升精细化管理水平，同样信息系统也可以帮助学校食堂实现标准化和精细化管理。以物流配送为例，利用系统进行原材料的配送、出库、入库登记、结算，可以加强采购组与各餐厅之间的信息沟通，提高了成本核算和存货控制的工作效率和性。通过引进餐饮管理系统，可以实现菜谱的标准化、采购流程的标准化、成本核算精细化，从而完善了成本控制、提高了沟通效率、加强了内部管理。同时，方便快捷的数据传输和统计功能还可以为领导层做管理决策提供及时、的数字依据。此外，把信息管理系统引进食堂管理中，不仅可以提高食堂的效益，结合市场合理制定食堂的饭、菜价格，而且还可以更好地进行协调，统一管理，不断优化食堂管理。，高校后勤信息化建设并无标准模式可循，由于各个高校的规模、实力、发展水平不同，加上地区差异，使得我国高校后勤信息化建设的发展程度参差不齐。部分高校的后勤信息化建设还停滞在比较传统、原始的管理和服务状态，这种情况多出现于学生数量较少、资金保障不足的高校中。而少数高校的后勤服务管理，已走在信息化的最前沿，将后勤管理和业务集成到统一平台上，实现了高效的管理和品质的服务；而大部分高校仅停留在局部信息化的层面上，开发或引进如资产管理、公寓管理、采购管理等热门管理软件，满足其最迫切的管理需求。如公寓管理在信息化建设相对起步较快，较多学校应用了公寓管理系统，实现了学生公寓的床位、人员、公寓设备、服务等的动态管理。对此，各个高校可以根据自身需求，找到不同的切入点，为后勤管理引入信息化管理手段。同时，还有两点需要注意。首先，在思想上，高校后勤管理服务也要顺应大势，树立移动互联网思维、创新性思维、人本化思维、精细化思维、简约化思维、透明化思维、物联网思维、大数据思维。例如，移动后勤将是高校后勤现代化工作方式的体现。就目前来看，智能手机后勤APP软件平台还大有潜力可挖。其次，后勤管理服务创新重在“有点子”，要有思想火花的碰撞和灵感的激发，“想得到”才能“做得到”。

作者：高翊 单位：四川理工学院后勤管理处

大数据应用论文:大数据应用技术和潜在问题研究

大数据应用的技术体系

1.云计算及其编程模型MapReduce

1）云计算简述:大约从2007年下半年开始，云计算由于其能提供灵活动态的IT平台，服务质量保障的计算环境以及可配置的软件服务而成为热门话题。文献中给出了云计算的比较完整的定义：云计算一个大规模的由规模经济驱动的分布式模型，位于其中的抽象的、虚拟的、动态可扩展的、可管理的计算能源、存储、平台、服务等通过因特网交付给客户。由上述云计算的定义我们知道，云计算首先得是大规模的、分布式的，少量的计算处理用不着云计算；其次，它是跟规模经济相关联的，比较形象的说法是，云计算资源跟“电”和“水”一样，是按需收费的，并且是大规模式销售的，通常在建立数据中心时会考虑成本因素；，它从广义上说是给客户的一种服务，可以包括提供存储、计算等资源。云计算可以按服务的内容和交付形式分为基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）等。在单机芯片集成度已进入极小尺度级别，指令级并行度提升也已接近极限的今天，纵向扩展似乎已经不够现实，这也远远不能满足大数据处理的要求，而云计算的要求比较宽松的允许异构网络的横向扩展，无疑给大数据处理带来了方便。云计算能为大数据提供强大的存储和计算能力，可以迅速、方便地为大数据提供服务，另一方面，大数据的处理需求也为云计算提供了更多更好地应用场景。由此，云计算作为大数据的支撑技术而倍受业界关注。

2）MapReduce简述:关系数据库作为一门发展了近40年的主流数据管理技术，主要用于联机事务处理（OLTP）应用、联机分析处理（OLAP）应用和数据仓库等，然而扩展性方面的局限使得其在大数据时代遇到了极大障碍。2004年，谷歌公司提出的MapReduce技术，以其利用大规模廉价服务器以达到并行处理大数据的目的而倍受学术界和工业界的关注，广泛应用于机器学习、数据挖掘等诸多领域。基于MapReduce的大数据分析处理研究也在不断深入，MapReduce作为一种非关系数据库的数据管理工具代表，克服了关系数据库扩展性方面的不足，将计算推向数据也迎合了大数据时代的内在需要，成为大数据处理的基本工具。而Hadoop作为模仿MapReduce而实现的一个云计算开源平台，目前已成为最为流行的大数据处理平台。MapReduce对于大数据处理的基本构思是分而治之，将大数据任务分解为多个子任务，将得到的各个子结果组合并成为最终结果。MapReduce对大数据的处理可抽象为两个主要阶段，Map阶段对初始的键-值（Key/Value）对进行处理，产生一系列的中间结果Key/Value对，然后通过Reduce阶段合并所有具有相同Key值的Key/Value对，得到最终结果。MapReduce对数据进行处理的应用思路如图2所示。

2.大数据获取技术

每天都有大量数据产生，并且这些数据通过不同的途径，以不同的形式被接收和记录。本节将简单介绍几种常见的大数据获取途径。

（1）传感器技术:近年来，传感器技术蓬勃发展，无论是道路交通方面，还是医疗机构方面甚至是个人工作和生活场所，传感器无处不在，大量的数据源源不断地被传感器所接收。可以说，传感器的迅速普及，为大数据的获取提供了有力地保障。传感器技术的快速发展，也促进了传感器网络的逐步完善。由于构建传感器网络的设备、数据收集、数据存储等方面的差异性，网络孤岛普遍存在，如何解决异构网络所带来的数据共享问题一度成为研究者们面临的极大挑战。不过随后美国国家技术标准局（NIST）和IEEE共同组织了关于制订智能传感器接口和连接网络通用标准的研讨会，产生了IEEE1451传感器/执行器、智能变送器接口标准协议族，试图解决传感器市场上总线不兼容的问题。2005年，开放地理空间联盟（OGC）提出了一种新型的传感器Web整合框架标准，让用户能透过Web的界面来进行节点搜寻、数据获取及节点控制功能。文献[12]对无线传感器网路的路由协议进行了研究，指出多路径路由发展的趋势和挑战，而文献[13]则从生物学、商业、环境、医疗、工业以及军事等领域探讨无线传感器的重要用途。

（2）Web2.0技术:“Web2.0”的概念2004年始于出版社经营者O'Reilly和MediaLiveInternational之间的一场头脑风暴论坛，所谓的Web2.0是指互联网上的每一个用户的身份由单纯的“读者”进化为了“作者”以及“共同建设人员”，由被动地接收互联网信息向主动创造互联网信息发展。Web2.0伴随着博客、百科全书以及社交网络等多种应用技术的发展，大量的网页点击与交流促使了大数据的形成，给人类日常生活方式带来了极大的变革。

（3）条形码技术:条形码的使用给零售业带来了革命性的改变，通过内嵌ID等信息，条形码在被扫描之后，快速在数据库中进行ID匹配，便很快就获知该产品的价格、性能、产商等具体信息，条形码被广泛应用于零售商店的收银以及车站售票等业务中，每天大量的商品销售记录通过扫描条形码而产生。近年来的智能手机的盛行，手机应用如微信中的二维条形码也随处可见，文献[14]中设计了一种应用于手机应用的彩色二维条形码，改善了用户对应用程序的感受。

（4）RFID技术:RFID与条形码相比，扩展了操作距离，且标签的使用比条形码容易，携带一个可移动的阅读器便可收集到标签的信息，被广泛应用于仓库管理和清单控制方面。RFID标签可以分为两类，一类是被动的，如今被广泛使用，其造价便宜，但是没有内部电源，依靠阅读器的射频波产生能量，操作距离也很近，因而其适用性也受到了制约；另一类是主动的，其拥有内部电源，因此造价较贵，但是操作距离远，存储能力强，因而适用范围广，在未来这种标签会受到普遍欢迎的。学术界在RFID技术的研究上已经取得巨大的进步。较早的工作重心大多集中在对标签进行搜集的问题上，即尽可能快地在大量标签中搜集他们的ID，而这方面较大的挑战是解决多标签同时竞争较窄的信道引起冲突的问题。研究者们提出了两类解决思路，即基于ALOHA的协议[15-17]和基于树的协议[18-20]。而其他的工作专注于标签评估问题，即使用统计学的方法来评估一个庞大系统中的标签数目[21-23]。总之，RFID由于具有操作范围广泛、性能稳定以及高存储能力等特性，在工业界中将具有巨大的潜力。

（5）移动终端技术:随着科学技术的发展，移动终端诸如手机、笔记本、平板电脑等随处可见，加上网络的宽带化发展以及集成电路的升级，人类已经步入了真正的移动信息时代。如今的移动终端已经拥有极强的处理能力，通信、定位以及扫描功能应有尽有，大量的移动软件程序被开发并应用，人们无时无刻不在接收和发送信息。目前，智能手机等移动设备的数量仍然在迅猛增长中，移动社交网络也会日益庞大和复杂，海量的数据穿梭其中，针对移动数据的处理也将越来越复杂。

3.文件系统

文件系统是支撑上层应用的基础，本小节将简要介绍面向大数据处理的文件系统如谷歌分布式文件系统（GFS），以及一些其他的分布式文件系统。

1）分布式文件系统GFS:谷歌自行开发的文件系统GFS[24]，是一个基于分布式集群的大型的分布式文件系统，它为MapReduce计算框架提供底层数据存储和数据性。GFS采用廉价普通磁盘，并把磁盘数据出错视为常态，其自动多数据备份存储也增加了性。GFS基本构架中，GFSMaster保存了GFS文件系统的3种元数据：命名空间、Chunk与文件名的映射表、Chunk副本的位置信息，前两个数据通过操作日志提供容错处理能力，第3个数据存储在ChunkServer上，可在Master失效时快速恢复Master上的元数据；GFSChunkServer是用来保存大量实际数据的数据服务器。GFS基本工作过程如下：（1）在程序运行前，数据已经存储在GFS文件系统中，程序执行时应用程序会告诉GFSServer所要访问的文件名或者数据块索引是什么。（2）GFSServer根据文件名和数据块索引在其文件目录空间中查找和定位该文件或数据块，并将这些位置信息回送给应用程序。（3）应用程序根据GFSServer返回的具体Chunk数据块位置信息，直接访问相应的ChunkServer。（4）应用程序直接读取指定位置的数据进行计算处理。后来谷歌对GFS进行了改进，并对新版本命名为Colosuss，主要对原有的单点故障、海量小文件存储等诸多问题进行了修正和改进，使得系统更加安全和健壮。

2）其他文件系统:除了谷歌的GFS，业界其他针对大数据存储需求的文件系统也层出不穷。Hadoop的文件系统HDFS[25]作为模仿GFS的开源实现，同样也为Hadoop的底层数据存储支撑，提供数据的高性和容错能力，拥有良好的扩展性和高速数据访问性；SUN公司开发的Lustre[26]是一个大规模的、安全的、具备高可用性的开源集群文件系统，美国能源部在此基础上实现了新一代的集群系统，显著提高了输入输出速度，已在高校、国家实验室和超级计算研究中心产生了深远影响；Facebook推出的针对海量小文件的文件系统Haystack[27]有效地解决了海量图片存储问题，它实现多个逻辑文件共享一个物理文件功能，并且增加缓存层，部分元数据直接被加载到了内存。

4.数据库系统

1）上在索引、数据压缩、可视化等技术方面的不断扩展，使其具有了高性能的优势。但是诸多因素导致了其扩展性面临严峻的挑战，主要体现在：（1）单机方面，并行数据库基于高端硬件设计，认为查询失败是特例且纠错复杂，不符合大规模集群失效常态的特性；（2）集群方面，并行数据库对异构网络支持有限，各节点性能不均，容易引起“木桶效应”。总之，并行数据库的扩展性方面的缺陷使其面临大数据的处理往往力不从心。

2）MapReduce分布式数据库BigTable:由前述知，并行数据库由于扩展性方面的缺陷无法胜任大数据的处理工作，以谷歌公司推出的BigTable为代表的未采用关系模型的NoSQL（NotonlySQL）数据库由此诞生，NoSQL数据库具有模式自由、简易备份、接口简单和支持海量数据等特性，对于大数据的存储和处理十分有效。谷歌在GFS之上又设计了MapReduce的分布式数据库BigTable[28]，为应用程序提供了比单纯地文件系统更方便、更高层的数据操作能力，BigTable提供了一定粒度的结构化数据操作能力，主要解决一些大型媒体数据（Web文档、图片等）的结构化存储问题。BigTable主要是一个分布式多维表，表中数据通过行关键字、列关键字和时间戳来进行索引和查询定位，并且BigTable对存储在表中的数据不做任何解释，一律视为字串，具体数据结构的实现由用户自行定义。BigTable的基本构架如图3所示，BigTable中的数据均以子表形式保存在子表服务器上，最终以GFS文件形式存储在GFS文件系统中。客户端程序直接和子表服务器通信，Chubby服务器完成对子表服务器的状态监控，主服务器通过查看Chubby服务器目录来终止出现故障的子服务器并将其数据转移至其他子服务器。另外，主服务器还完成子表的创建和负载均衡等操作。当然，由于MapReduce将本来应由数据库管理系统完成的诸如文件存储格式的设计、模式信息的记录、数据处理算法的实现等工作转移给了程序员，从而导致程序员负担过重。另外，MapReduce是面向非结构化的大规模数据处理的，往往是一次处理，因而同等硬件条件下的性能也比并行数据库低[29]。

3）数据库的深层探讨：并行数据库具有高性能的优势，但扩展性问题阻碍了其在大数据处理上的进一步发展，而MapReduce性能和易用性上提升空间较大，因此目前两种方案均不理想。业界经过长时间的探讨，基本一致认为并行数据库和MapReduce各取其长，相互融合，也许是一种不错的道路[30]。由此诞生了并行数据库主导型、MapReduce主导型以及并行数据库与MapReduce集成型3类大数据处理数据库。

（1）并行数据库主导：型这类数据库的基本思路是在并行数据库上增加MapReduce的大数据处理能力，将数据分析过程转移到数据库内进行，使得原系统同时获得SQL的易用性与MapReduce的开放性。但是，并行数据库的扩展能力与容错能力并未得到改善，典型的系统如Greenplum[31]、Asterdata[32]等。

（2）MapReduce主导型：这类数据库的基本思路是利用关系数据库的SQL接口和模式支持技术改善MapReduce的易用性。通过SQL接口，可以很简便的完成查询分析等操作，大大减轻了程序员的负担，但MapReduce的性能方面仍有待提升，典型的系统如Facebook的Hive[33]和Yahoo！的PigLatin[34]等。

（3）并行数据库与MapReduce集成型：这类数据库兼顾并行数据库与MapReduce的长处，主要分两种思路：按功能将并行数据库与MapReduce分别设计到相应的部位以形成一个完整系统，以及整合并行数据库和MapReduce这两套完整的系统以构成一个混合系统。及时种思路典型代表是耶鲁大学提出的HadoopDB[35]，它将Hadoop作为调度层和网络沟通层，关系数据库作为执行引擎，尽可能地将查询压入数据库层处理，Hadoop框架的应用可以获得较好的容错性和对异构环境的支持，库内数据查询的使用则可获得关系数据库的高性能优势。第二种思路的代表是Vertica数据库[36]，它拥有两套独立完整的系统，Hadoop负责非结构化数据和耗时的批量复杂数据的处理，Vertica负责结构化数据的处理以及高性能的交互式查询。当然，这些思路仍非理想的方案，例如，HadoopDB丧失了MapReduce较低的预处理和维护代价等，Vertica则依旧存在Vertica扩展性问题和Hadoop的性能问题。因此，在大数据面前，数据库系统的研究还有很长的路要走，我们在总结传统的数据库经验的同时，还要积极了解新兴的数据库系统，才能更好地促进适应现今大数据发展的优良数据库的面世。

5.大数据分析技术

用于大数据集的分析方法很多，包括统计学、计算机科学等各个领域的技术。本小节将简要介绍其中几种典型的大数据分析技术，当然，这些技术同样适用于少量数据集的分析，但大数据集环境下的应用无疑会发挥更加明显的作用。

（1）A/B测试：传统的A/B测试，是一种把各组变量随机分配到特定的单变量处理水平，把一个或多个测试组的表现与控制组相比较，进行测试的方式。现在的A/B测试主要用于在Web分析方面，例如通过对比统计新旧网页的用户转化率，来掌握两种设计的优劣等。大数据时代的到来为大规模的测试提供了便利，提高了A/B测试的性。由于移动设备及技术的迅猛发展，移动分析也逐渐成为A/B测试增长最快的一个领域。

（2）聚类分析聚类分析：

指将物理或抽象的集合分组成为由类似的对象组成的多个类的分析过程。聚类分析是一种探索性的数据挖掘分析方法，不需事先给出划分的类的具体情况，主要用在商业、生物学、因特网等多个领域中。对于大数据的分析处理，通过聚类可以简化后续处理过程，并且可以发现其中隐藏的某些规则，充分发挥了大数据的作用。

（3）集成学习：集成学习指的是使用一系列“学习器”进行学习，并使用某种规则把各学习结果进行整合从而获得比单个“学习器”更好的学习效果的一种机器学习方法。对于大数据的集成学习，可以更好地提炼和把握其中的本质属性。

（4）神经网络：神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，它依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，来达到处理信息的目的。神经网络作为一门新兴的交叉学科，是人类智能研究的重要组成部分，已成为脑科学、神经科学、认知科学、心理学等共同关注的焦点。神经网络对于大数据的并行处理，无疑也是一种比较可行的方式。

（5）自然语言处理：自然语言处理是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。人与计算机的通信交流往往存在很多歧义，如何消除这些歧义，将带有潜在歧义的自然语言输入转换成某种无歧义的计算机内部表示，是自然语言处理的主要问题。大数据时代意味着有大量的知识和推理来完成消除歧义现象的可能，这也给自然语言处理带来了新的挑战和机遇。大数据分析技术还有很多，例如模式识别、空间分析、遗传算法等等，并且研究者们还在不断地寻找新的更有效地分析方法，另外通过结合多个方法来实现数据分析往往也能达到非常明显的效果。

6.大数据的可视化

面对海量的数据，如何将其清晰明朗地展现给用户是大数据处理所面临的巨大挑战。无论是学术界还是工业界，对大数据进行可视化的研究从未停止。通过将大数据图形化、图像化以及动画化等展示出来的技术和方法不断出现，本节将介绍几种典型的案例。

（1）宇宙星球图：俄罗斯工程师RuslanEnikeev根据2011年底的互联网数据，将196个国家的35万个网站数据整合起来，并根据200多万个网站链接将这些“星球”通过“关系链”联系起来组成了因特网的“宇宙星球图”[37]。不同颜色代表不同的国家，每个“星球”的大小根据其网站流量来决定，而“星球”距离远近根据链接出现的频率、强度等决定。类似地，对于具有复杂结构的社交网络，“宇宙星球图”同样也十分适用，可以根据个人的知名度、人与人之间的联系等进行绘画星球图。

（2）标签云：“标签云”的设计思路主要是，对于不同的对象用标签来表示，标签的排列顺序一般依照字典排序，按照热门程度确定字体的大小和颜色。例如对于某个文档，出现频度越高的单词将会越大，反之越小。这样，便可以根据字母表顺序和字体的大小来对各单词的具体情况一目了然。文献[38]通过将地图上的各个物理位置根据描述的具体程度用“标签云”表示，使得用户对各个场所的知名程度有个清晰的认识。

（3）历史流图：文献[39]提出了一种用于可视化文档编辑历史的“历史流图”，对于一个面向大众的开放文档，编辑和查阅都是自由的，用户可以随时自由的对文档进行增加或删除操作。“历史流图”中，横坐标轴表示时间，纵坐标轴表示作者，不同作者的不同内容对应中间部分不同颜色和长度，随着时间的推移，文档的内容不断变化，作者也在不断增加中。通过对“历史流图”的观察，很容易看出各人对该文档的贡献，当然，除了发现有人对文档给出有益的编辑外，也存在着一些破坏文档、删除内容的人，但总有逐渐被修复回去的规律。像维基百科等的词条注释文档，“历史流图”的可视化效果十分明显。关于大数据可视化的方面努力还有很多，不同的“源数据”有不同的可视化策略，大数据可视化的研究工作仍有待进行下去。

大数据应用所面临的问题

大数据时代面临的首要问题是人力和财力问题，IDC分析称，大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素。据调查，仅美国就缺少大约14万到19万的具有深层次数据分析技巧的专业技术人员以及150万针对大数据的经理人。据阿里巴巴称，虽然其各类业务产生的数据为数据分析创造了非常好的基础条件，然而却招聘不到合适的数据科学家而影响了研发进展。高德纳公司预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。其中有190万个工作岗位将在美国，每一个与大数据有关的IT工作，都将在技术行业外部再建3个工作岗位，这将在美国再创建将近600万个工作岗位。数据科学家是复合型人才，是对数学、统计学、机器学习等多方面知识的综合掌控，能对数据做出预测性的、有价值的分析。因此，各国对大数据人才的培养工作应当快速有效地着手执行。大数据的接收和管理也需要大量的基础设施和能源，无论是传感器还是数据中心的服务器，都需要大量的硬件投入和能源消耗，这也就意味着大数据处理的财力需求极为可观。如何处理好大数据产生的资金投入比例，也成为了各国和各企业决策者面临的难题。另外，大数据还将面临严重的安全和隐私问题。首先，随处可见的传感器和摄像头等设备，会监视并记录人们位置等信息，通过海量数据的分析，便可轻易了解人们的行踪规律，从而可能给人们带来生命和财产安全；其次，“云设施”的经济划算，推动了僵尸网络的发展及海量并行处理破解密码系统的可能性；，由于云计算要求我们放弃自主计算能力，当整个社会的信息，包括个人信息、商业信息都存储在巨头们提供的“云”上时，我们只能寄希望于这些巨头们都是道德高尚的圣人，否则我们将面临灾难性损失。面对这些安全威胁，学术界和工业界也都纷纷提出自己策略。针对基于位置服务的安全性问题，文献[40]提出了一种k-匿名方法，即将自己与周围k-1个用户组成一个范围集合性对象来请求位置服务，从而模糊了自己的位置。文献[41]提出的策略是，搜集周围的k-1个用户的位置信息，并以其中的某一个的名义发送位置服务请求，从而也达到隐藏坐标的目的。Roy等人将集中信息流控制和差分隐私保护等技术融入云中的数据生成与计算阶段，提出了一种隐私保护系统Airavat[42]，防止MapReduce计算过程中将非授权的隐私数据泄露出去，并且支持对计算结果的自动除密。Mowbray等人在数据存储和使用阶段使用一种基于客户端的隐私管理工具[43]，提供以用户为中心的信任模型，帮助用户控制自己的敏感信息在云端的存储和使用。苹果最近申请了一项专利，叫做电子分析污染技术，能够将用户在苹果产品上产生的行为数据进行污染和混淆，让其他厂商获取不到真正的用户数据。这类信息安全保护的思路是：当各种加密措施无法彻底保护个人信息时，不如将大量的垃圾信息、错误信息充斥在真实有效的信息之中，让窃取者不得不耗费巨大的成本从中分析。高德纳公司分析指出，大数据安全是一场必要的斗争，并且大数据本身更可用来提高企业安全。因为解决安全问题的前提是，企业必须先确定正常、非恶意活动是啥样子的，然后查找与之不同的活动；从而，发现恶意活动，基于大数据来建立一个基线标准就很好地达到了这个目的。

，大数据的出现会促使IT相关行业的生态环境和产业链的变革。传统的网络公司运营模式是在自己的服务器上来管理若干产品和服务，并通过网络连线提供给用户终端，产生的数据归公司独有。然而，在大数据时代，这种模式已经难以胜任，服务公司往往会选择租赁第三方的开放平台来运营自己的业务。这样，用户提供数据，服务方处理数据，但数据的实际存储地却在第三方。大数据影响的IT产业链大致包括数据资源、应用软件、基础设施三大部分。数据资源方面，各大信息中心、通信运营商等积极研制和引用大数据技术，挖掘大量数据分析相关人才，数据资源的收集和开发产业逐步完善；应用软件方面，随着高性能云平台的出现，云应用软件也不断被开发出来，用户再也不必烦恼复杂的软件安装和配置过程，便可以轻松享受各种网络应用服务；基础设施方面，大数据对硬件的依赖，迫使高性能硬盘、低能耗服务器、小巧化个人终端等行业的快速发展。另外，大数据技术的日益成熟也会促使跨行业经营模式的发展。第三方可以将用户的各种服务请求进行打包，然后利用大数据分析来寻求好的服务商的组合以反馈给用户。对服务提供方来说，借助第三方可以更好地推销自己的服务。而对第三方而言，可以获得大量的分析数据，其中的利益也是可观的，真正的实现了“双赢”，同时也使得用户获得更好的服务体验。

结束语

大数据时代挑战与机遇并存，正确处理好大数据，不仅符合企业的利益，也给人们日常生活带来极大的便利。本文对大数据的基本概念、处理流程以及相关技术进行了简要的探讨，并分析了大数据可能带来的一些问题及应对策略。云计算目前是处理大数据的基础技术，但其在安全和隐私方面的保障工作仍让不少人感到怀疑，根本原因还是个人和商业的信息都存放在远端的巨头们提供的看不见的“云”上。大数据时代已经到来，但是，相应的技术体系和社会保障仍是亟需研究的应用课题。(本文图略)

本文作者：窦万春 单位：南京大学 计算机科学与技术系

大数据应用论文:大数据在电子政务中的应用

摘要：

随着经济社会和信息科技的快速发展，“互联网+”已成为当今时代一种新的思维方式，大数据技术引领着各行业的创新发展。通过对大量数据进行分析整理，得出实用信息，可以模拟得出电子政务实际要求场景，加强对社会公众的服务和对市场主体的监管,推进简政放权和政府职能转变,提高政府治理能力，为打造服务型政府、智慧型政府提供技术支撑。

关键词：

大数据；电子政务领域；互联网技术

当今社会移动互联网、云计算等技术的发展迅猛，政府相关事务也逐渐朝着大数据方向发展。大数据技术针对大量复杂数据的分析、存储、处理工作具有便捷度高的优势。政府发展建设中，重大决策需要建立在大数据信息基础之上进行分析，避免传统依靠经验、直觉等方法进行判断。大数据技术的应用改变了传统政府管理模式，借助大数据技术可以实现政府部门、社会公众之间的信息共享，便于综合性信息管理平台的建立。

1大数据技术概述

1.1主要特点

及时,处理数据量大。大数据是当下社会发展的必然趋势，各行业工作中每日处理数据量不断增加，如果仅借助传统管理方法无法保障高效、准时的要求，大数据技术应运而生。第二,不同类型数据的处理。大数据技术处理对象包括大量简单的基础数据，随着技术的不断进步，目前已逐步实现了对网页、文本、XML、语音、图像等非结构化数据的分析整合。第三,处理速度快。大数据技术可快速处理不同类型的数据，速度优势十分明显。此外，大数据技术的应用具有高价值、低密度的特点。针对部分零散、无规律性数据在短期内进行分析，并挖掘出数据内部潜在信息，便于政府部门研究、决策等工作的顺利进行，提高政府管理和服务工作的时效性和科学性。

1.2大数据技术的介绍

大数据技术处理对象主要是常规软件无法分析的数据，借助大数据技术进行相关数据的分析、存储和处理，实现深层次数据挖掘管理，包括：大数据挖掘技术、分布式数据库以及分布式软件系统的集合和云计算处理。首先，数据的采集。大数据技术可以在采集数据的基础上进行责任的异构，在分布式的数据源中进行数据的抽取和采集，然后再经过筛选、转换以及集成，加载到相应的数据库中，为政务数据挖据和分析打下坚实的基础。其次，数据的存取。数据的存取过程是对关系数据库以及非结构性数据量中的数据进行的存取，其中包含SQL、NOSQL等等。再次，基础架构以及数据处理。在基础架构的过程中，通过云计算的架构能够进行云储存的搭载，并且储存分布式元件等等。数据的处理主要是对数据进行加工和处理，其中包含了对原始数据的整理和计算，编辑与分析等等。，数据的统计和挖掘。通过聚类分析、卡方分析以及距离等分析上，可以对数据进行统计分析，另外，其他常见的方法还有对应分析和多元分析。数据的挖掘技术主要是对在现有数据当中对一些图形文件、视频文件和音频文件等等通过数据挖掘技术使用的各种算法进行的计算。这样的计算所起到的作用是对未来进行的效果预测，以此实现高级别数据的分析需求，在数据挖据技术的使用过程中，需要有分类、预估以及相关性的描述和聚类等。

2大数据在电子政务领域的应用

2.1加强对大数据的搜集管理

电子政务是依靠着信息时代的进步慢慢发展起来的，所以它更需要大数据的应用。在收集时，要把范畴确立好，在电子政务有关的经济文化、环境农业等等方便进行收集。掌握好收集方法，采用不同的数据源用不同的方法。采取一定的收集制度，把需要的数据用最快的方式进行收集，保障信息真实，不断进行更新。每个种类的数据对应相应的分类实施管理。

2.2建立信息共享交换平台

利用大数据技术，对各个政府部门以及社会群体所收集的信息进行分类和筛选，通过加工、分析和整合建设电子政务大数据信息共享交换平台，提供信息承载服务和数据交换服务。在大数据的基础上，信息共享交换平台可以实现政府部门之间的横向和纵向的信息集合，在跨地区、跨部门的条件下也能进行业务方面的交流和沟通，促进业务协同的开展。依托信息共享交换平台，制定信息资源共享的统一目录以及标准，产生服务社会公众的开放性数据，有利于促进社会资源的有效开发和利用，为政府间跨层次的交流提供保障，也为社会管理、公共服务和宏观调控提供数据支撑。

2.3大数据下电子政务决策系统的应用

在大数据技术的支持下，因为有较强大的信息数据存储能力和较为突出的信息数据挖掘能力，并且信息的分析处理的作用力也非常强，这样政府就可以从各个部门所收集的海量数据中提取出有用的信息进行分析和处理，以此提升政府的决策力度，提升决策的精准性和科学性，使政府在社会化管理工作的预警能力上有突出的表现，起到解决决策成本以及促进政府精细化管理的目的。

2.4建立保护数据安全的防护体系

大数据技术及应用蓬勃发展，大数据数量和价值快速攀升，与此同时，大数据安全威胁也将辐射到各行各业，因此应尽快建立一套保障政府数据安全的防护体系。加快推进数据安全保护立法进程，制定关于数据开放共享和跨境流动监管的法律条款，将工业互联网、云计算等新技术新应用场景下的数据保护纳入法律调整范畴。出台国家数据安全保护战略，积极参与国际规则的制定，提升我国在数据保护领域的话语权。加强数据安全保护技术攻关，加快数据安全监管支撑技术研究，提升针对敏感数据泄露、违法跨境数据流动等安全隐患的监测发现与处置能力。健全数据安全标准体系和评估体系，强化数据安全相关检测与评估，推动开展数据跨境流动安全评估。

3结束语

本文针对大数据在电子政务领域中的应用进行了分析，提出大数据技术特点、优势和应用范围。信息化是当今世界经济和社会发展的大趋势，信息化水平已成为衡量一个国家和地区现代化水平的重要标志。我国政府部门应把握机遇，注重顶层设计，逐步推动大数据等新兴技术的应用，积极培育政府大数据相关的应用创新模式，从而提高政府各部门的协同办公效率和为民办事效率，提升政府社会治理能力和公共服务能力。

作者:黄冬 单位:国家新闻出版广电总局信息中心

大数据应用论文:大数据时代中计算机软件技术的应用

摘要：

进入信息化的新时期，计算机技术正在融入各行业生产以及日常生活，在此前提下也体现了良好的实效性。相比于传统模式而言，建立于大数据基础上的计算机技术有助于提升整个的信息传输效果，同时也在根源上消除了信息传输中的各种阻碍。由此可见，大数据本身具有高增速性、多样性以及大容量的特征，运用大数据用来处理海量信息有助于减少成本并且提高综合效能。面对大数据的新时期背景，针对计算机软件的相关技术措施也应当加以改进，探究完善技术运用的具体思路。

关键词：

计算机软件技术；大数据时代；具体应用

与传统技术模式相比而言，大数据模式适合用来处理更大的数据容量，在此基础上也突显了高增速的特征。面对多样化的信息处理与数据处理，运用大数据的模式更加符合现阶段的信息化背景[1]。在此过程中，计算机软件应当起到关键性与核心性的价值，对此有必要综合考虑多样的技术措施，依照因地制宜的思路来提升计算机在各个领域中运用的实效性。作为各个行业的企业而言，也应当密切结合大数据来洞察现阶段的市场形势，在此基础上获得精准度与丰富性更强的数据与信息。

1基本的技术类型

进入大数据的新时期，建立于大数据基础上的计算机软件相关技术正在逐步获得改进。运用大数据技术，有利于紧密结合用户针对大数据的真实需求，进而依照因地制宜的基本原则来开展技术运用。具体而言，与大数据密切相关的计算机软件基本技术应当包含如下：首先是虚拟化的技术。从本质上讲，虚拟化技术指的是管理虚拟资源，在此前提下优化配置各项资源以及数据信息。由此可见，虚拟化技术有助于消除过高的信息处理成本，针对信息处理的实效性也进行了提升，进而在较大限度内保障了灵活性[2]。其次是与信息安全有关的软件技术。面对大数据的新时期背景，各种类型的数据并不是孤立的，而是具有特定的内在联系。受到这种影响，系统内的某些数据一旦遭受了威胁，那么很可能将会干扰整个系统，进而威胁到最根本的数据安全。由此可见，针对软件系统有必要设置多方位的安全保障，通过这种方式来保障集群数据本身的安全性。信息安全技术的宗旨就在于保障信息安全，近些年来，与大数据密切相关的多种信息技术都获得了相应的改进，这种现状有利于保障信息传输流程的安全性，同时也消除了潜在的漏洞以及风险。对于各个行业而言，应当密切结合自身的基本特征来健全安全管理，致力于推行网络化的数据管理，确保数据存储与数据分析中的实效性以及真实性。第三类是云存储。相比于单一的存储模式，云存储密切结合了各个单元，在此前提下用来存储不同类型的数据。因此可以得知，云存储技术具备较强的协同性能，密切结合了多样化的信息存储[3]。面对大数据的背景，云存储更加适合用来保存海量信息，进而方便了实时性的数据存储以及信息传输。从整个大数据的角度来讲，云存储应当构成其中的核心与关键，借助此类方式来存储实时性的数据。

2具体技术运用

在现阶段的软件中包含了预测软件，运用此类软件通常可以用来预测特定阶段的客源状况与企业发展趋势。因此从信息通信角度来讲，技术人员通过运用SPSS或者IBM的软件就可以完成预测，针对潜在的客源以及市场形势进行了多方位的推测。从目前的市场现状来看，通讯行业中的很多企业已开始尝试着运用此类软件来整理客户信息，进而扩大了实时性的信息互动平台。经过多方位的信息归纳与信息整理，企业就能判断特定时间段内的客源状况，然后依照因地制宜的基本思路来选择适合本企业的营销对策。目前的状态下，通信领域以及其他行业的企业都在面临激烈竞争。企业如果要突显自身具备的综合优势，那么前提就在于借助多样化的通信手段及通信措施。针对实时性的客户资料，企业可以借助大数据提供的手段来收集必要信息，进而完成多方位的样本抽样、数据开发以及信息处理。经过多方位的信息分析，企业就能运用特定的手段来提供自身所需的客源开发方案，同时也有利于从根源上消除市场中的隐患和威胁。大数据时代更加关注最根本的信息安全。然而实质上，各种类型的软件都很可能存在特定的安全漏洞，对此有必要运用适当的措施来加以弥补。针对软件有必要加装适当的安全防控，在虚拟环境中保障最基本的数据安全。一旦发现了隐患或者安全风险，企业就要致力于迅速消除隐患。在必要的时候，企业还可以运用模型化的手段来归纳用户需求，提升信息分析的精准度。从本质上讲，大数据运用于信息处理的措施有利于消除数据处理中的过高成本，从而密切结合了数据分析、信息存储与数据采集。企业如果能选择适当的措施和技术手段，就可以从根源上消除数据处理的过高成本，对于信息处理的实效性也进行了提高。面对大数据的新时期，计算机软件技术具备了更广的运用空间，这种技术也有利于提升大数据处理的实效性。截至目前，与大数据密切相关的软件处理技术正在不断获得改进，然而仍然有待加以完善。为此，各种类型企业及其技术人员还需要归纳经验，针对不同类型的信息处理都应当选择不同的模式，进而提升数据与信息处理的整体效果。

作者:刘长银 侯学艳 侯艳权 姚越 单位:国网黑龙江省电力有限公司七台河供电公司

大数据应用论文:企业成本控制中大数据的应用

摘要：

在产品信息管理平台上，运行标配清单系统，可有效控制电站设备的制造成本。根据标配清单系统的运行要求，各部门按照职责和分工，将企业的产品信息录入标配清单中，通过对标配清单的合理配置，可完成产品信息的最终整合。在业务流程上，实现了产品信息的无纸化流转和信息共享。通过对标配清单系统的更新升级，为制造企业的成本控制，提供了有效和的数据支撑。

关键词：

电站；设备；成本；控制；大数据；系统；标配；清单

0概述

随着市场竞争的日趋激烈，对于电站设备制造企业而言，提高电站设备的品牌意识和产品质量，合理地进行成本控制就显得尤为重要。工欲善其事必先利其器，欲实时控制企业的制造成本，可利用现有的信息管理平台，开发和完善标配清单系统，成为企业成本管控的有效措施。

1产品信息的收集

由于企业生产电站设备的种类众多，大致可将产品分为汽机设备和锅炉辅机设备，还有些大型设备，需根据电厂的装机容量及电厂的系统布置进行设计和制造。因存在各种产品，各类产品的信息均不相同，所以，产品的制造信息较为繁杂。加强产品制造成本的信息管理，可快速地确定各项产品的成本。在市场竞标阶段，也能及时地报出合理的市场价格。为了提升产品在市场上的竞争力，实时收集和遴选产品的成本信息，已成为一个急需要解决的问题。

2原系统内的信息收集

以往，针对产品成本信息的收集和整理，常采用较为传统方法，主要依据各部门的EXCEL表格录入，再由财务部门进行汇总和整理后，最终完成产品的成本分析。这种信息收集方法，使整个数据统计的周期很冗长，数据的更新较为滞后。由于各部门统计的文件格式不一致，使信息录入更为繁复，且所收集的信息也不完整，即使最终完成了相关产品的成本汇总分析，也将错过市场竞标的时机。同时，因各项产品数据信息的独立性太强，在系统内，无法实现有效的相互对比。

3大数据的信息收集和标配清单

如今，社会已进入大数据时代。大数据技术的战略意义，不仅在于掌握庞大的数据信息，而在于数据的专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的加工能力。通过数据加工，实现数据的综合利用和增值服务。数据管理成为企业的核心竞争力，将直接影响企业的财务表现。数据管理和应用的持续发展，可战略性地规划与运用数据资产，必将成为现代企业管理的核心。标配清单正是采用这种理念而诞生的产物。标配清单引入了大数据管理的概念，并在企业内部开展了标配清单的推进工作。针对标配清单的结构和工作流程，需开发一套标配清单的运行系统，旨在通过使用标配清单，将企业的成本管控做得更精细和更。同时，将传统数据库升级到大数据库，应用大数据的管理方法，替代传统的数据库管理方式。原先，每个产品均有自己的数据库，但数据与数据之间的关联度不大，无法横向比较，也缺乏明确的指向。因此，首先需确定数据模式，并对所有产品类型进行分类，确定每一类产品的典型数据，建立起每一类产品的标配清单，然后，将所有产品的数据进行了归纳，形成一个大的数据库，并利用标配清单系统，对这些数据进行加工处理。数据处理时，需遵循多个原则。

（1）市场导向原则

标配清单系统的建立和应用，应以企业制订的战略目标和提高产品盈利能力为导向，以盈利为最终目标，根据企业的实际业务流程和成本分解情况，以数据分析为依据，从企业的成本管控能力和市场竞争的要求出发，结合企业发展的总体战略思路进行标配清单系统的设计和应用。

（2）覆盖原则

标配清单系统将打破传统成本的管控模式，突破了以往成本数据均集中在财务部门的局限。在标配清单成本的归集过程中，通过市场销售、设计、工艺、采购、计划物流、制造、基建装备、质保等部门的全程参与，打通供应链的整个过程，覆盖各条线的成本，同时也需覆盖企业生产的所有产品。

（3）分层分类原则

不同产品的市场竞争策略和加工方式均不相同。对于不同类型、不同竞争策略、不同成本归集方式的产品，需采用分层分类的方法进行对比分析。既要考虑各类产品成本的共性，凝练和消除重复性的数据处理工作，还应充分考虑各类产品成本的特性。对于影响较大的成本项目，还应进行专项分析和重点管控，才能细致地推进降本增效工作。

（4）标杆对比原则

在应用标配清单系统时，因市场物品的价格变动，常需进行系统的升版工作，所以应注重物品的对标工作。在标配清单系统的升版过程中，注意与历史成本的对标，才能地体现成本价格波动情况，体现降本改进的成果，也可明确成本管控的后续改进方向。另外，通过与竞争对手的分项对标，能更为方便地寻找企业产品所处的价格区域，便于分析产品价格上的竞争力，提升了企业的综合管理能力。对于制造企业而言，管理改进措施是否切实有效，能否落实在产品降本增效的工作中，是标配清单系统进行考核的重点。对标国内外企业，学习和借鉴竞争对手的先进理念，是提升企业盈利能力的重要途径。而各项降本增效措施的效果，需要在标配清单升版过程中，体现在新旧版本的实际成本差额上。因此，在横向对标提供的降本增效思路基础上，重点定期对标各类产品自身的历史数据，分析降本实施情况，以标配清单为抓手，落实各类降本增效措施。

（5）动态追踪原则

在标配清单系统中，各项成本均应及时体现在系统内，时时体现各项降本增效措施的效果。标配清单内的各项成本数据，还应动态地反映市场变化。标配清单系统的计算方式和成本汇总模型，应与当前成本的实际情况相对应，从而保障数据分析的有效性。根据数据处理的原则，建立了由各业务条线参与、全流程管控，财务部门汇总的成本数据库。同时，以IT系统作为支持和保障系统，建立了最终为项目和市场销售部服务的组织框架结构。根据财务成本分析原理，确定了关键成本的组成要素。在系统中，将成本分为直接材料、直接人工和制造费用三大模块。产品成本包含了原材料、辅助材料、备品配件、配套件、人工成本、工艺外协费用，还包括了经销、运输费用、质保材料和检查费用、各类易耗品、制造费用、组装费、技术提成费等成本项目。

4标配清单系统的功能和界面

进入标配清单系统时，仅需在指定的NAS文件夹上点击，即可登陆。系统自动辨认登陆人员的工号和部门，并赋予该人员相对应的权限。标配清单系统可实现清单项目成本的录入和查询、预算项目成本录入和查询，产品成本项目报表的输出等功能。登陆系统后，利用系统软件的各项功能，可对成本数据进行统计和报表输出。标配清单系统的各项功能和主界面，如图1所示。实施标配清单系统后，还将涉及后续的日常维护和升版工作。各项基础数据由各部门进行分类维护，需对已导入系统的基础数据进行校核，确保数据的性，理清各项数据的关联性，及时反映预算与实际执行情况的偏差，并将数据存储于SQL数据库。数据维护的页面，如图2所示。目前，通过标配清单系统的运行，已大大方便了各部门对产品数据的实时读取。经过大量的数据积累和汇总，在产品的投标报价到投料预算阶段，再到最终成本核算阶段，均可在标配清单系统内，完成各段时期实际成本的测算。在标配清单模式下，价格数据被定期更新，消除了重复询价。当投标方案变更时，对数据即时进行升版处理，数据变动的范围清晰明了，且留存的数据便于今后查询和对比。当产品数据变动后，标配清单的导出界面，如图3所示。通过标配清单系统的运行，将预算管理和降本管理相结合，切实有效地摸清了主要产品的成本现状，实现了成本信息归集和成本的实时体现，为后续的降本增效工作奠定了基础，开拓了新的思路。对各类产品的成本基础、成本要素进行拆分和填报，根据标准化的数据模型，建立了系统数据库，数据模型结合了产品的成本特性，可应用于项目投标报价、预算编制和追踪。目前，在标配清单系统中，已有数据超过20万条。通过标配清单的及时升版、更新以及新旧版本的对比，可有效地反馈出由价格变动、技术优化、工艺改进、管理改革等降本手段所带来的实际效果。

5标配清单系统的运行

运用标配清单系统软件后，可实现企业生产数据录入格式的标准化，提高了产品数据的性，提升了企业成本管控的工作效率。产品标配清单的创建或更新，需由多个部门共同配合才能完成。首先，创建或更新标配清单的流程，由财务部门在系统中发起，技术部结合市场销售部和财务部意见，综合考虑市场需求、产品功能特性和成本特点，筛选典型项目和典型图号，编制了一系列标配清单。技术部对各类产品的标配清单进行细化和分解，形成了一份细化到部组件（部分已至零件）的标准化清单。各部门在技术部提供的标配清单设计基础上，对各类成本数据进行细化和补充，最终形成完整的标配清单数据。运行系统产生的报表，包含了产品的信息内容和各部门的分工职责，如表1所示。

6结语

目前，标配清单系统是一个独立的项目子系统，主要为财务成本信息服务。未来，将实现与其他管理信息平台的对接，共享财务成本信息，实现业务流程信息的无纸化流转。根据采购计划，实现采购订单审批的信息化，同时，简化了预算控制的核价审批流程。通过预算和项目执行计划，合理预测未来物料的需求，提高采购和议价的能力。同时，各部门也可根据自身数据汇总需求，开发相关的标配清单和预算项目报表，代替部门的台账或数据汇总表，真正实现数据从被动到主动、再到自动的过渡，从而真正实现大数据管理，提升企业在市场竞争中的核心竞争力。

作者:朱建伟 单位:上海电气电站设备有限公司电站辅机厂

大数据应用论文:大数据在人力资源管理中的应用分析

摘要：大数据是人力资源管理工作优化的重点，依据现阶段大数据时展情况为基础，结合近年来人力资源管理工作特点，分析大数据时代背景下人力资源管理工作的方向。

关键词：大数据；人力资源；管理；应用；实践

一、大数据的分析

1990 年，比尔恩门及时次提出大数据的理念，其主要是说在革新网络搜索引擎的过程中，进行批量处理或者是研究的大量信息数据集。目前一般是指包含的信息资源较大、信息类型较多、以往的信息系统工具无法获取相关的内容、管理和处理的数据集。其中不担包含了信息的体量，还包含信息资源的解决速度。大数据技术的战略意义并不在于掌控更多的信息资源，而是对这些具备含义的信息资源实施专业化处理。因此，若是将大数据比作一种产业，那么这种产业获取效益的重点就是提升信息资源的处理能力，依据加工达到信息资源的增值。从技术层面上分析，大数据与云计算之间的关系就像是一枚硬币的正反两面。大数据无法根据一台计算机处理信息资源，一定要结合分布式架构对大量信息资源实施分布式的处理，这就需要结合云计算的分布式处理、分布式信息系统与云储备等。

二、大数据在企业中的应用

大数据的带来促使各项资源得到整合，以此出现了新的人群和新的模式，并且在实际发展中逐渐成为企业发展的重要因素。由此，企业的决定也将对信息资源的发掘和研究作为重点信息。数据的价值在于将有效的信息在正确的时间交于正确的应用者手中，难点在于有效区别没有价值的信息和有意义的信息资源。在应用信息资源的过程中，大部分应用群体只是简单地整合信息资源，从而为企业治理规划工作提供有效的依据，对于需要保存的信息进行处理，并没有将其作为战略转型的工具。由此，只有依据对信息资源战略的整体回报实施总结和分析，企业才可以更好面对大数据带来的挑战，掌控有价值信息资源的机遇。在实际发展的过程中，需要应用工具对信息资源实施深入的分析和研究，明确其中存在的价值和机遇。同时，还要深入了解企业外界环境，设计和整合企业发展方案。以此为基础，结合创新能力、个性化服务等特点在竞争激烈的市场环境中占据重要的地位。

三、大数据时代人力资源管理需要明确的问题

人力资源管理的目标是人，可定量程度要低于依据制度、流程、产品、资产等构成的物，因此人力资源管理的价值难以被实际评估、人力资源的专业性也无法被认可。但是大数据的应用，有效的解决了这一问题，其中主要分为以下几点：及时，大数据的应用促使人力资源的选择、育人、应用等工作，达到了可检测、可记录、可研究、可优化等方面的科学管理要求，人力资源管理工作的专业性能也得到了提升。第二，大数据促使人力资源部门成为推广战略的重要部门，企业在实际发展的过程中逐渐认识到人力资源部门的重要性。第三，大数据促使人力资源整体构成出现变化，整体构成在人才价值提升和转变的基础观念下，结合庞大的大数据平台与技术，达到资源共享。同时，大数据在给人力资源管理工作带来发展机会的过程中，也提出了严格的挑战，也就是如何构建大数据系统，如何对接人力资源管理与大数据信息技术，这样就对人力资源管理工作人员提出了更高的要求。（一）正确掌控大数据在人力资源管理工作中的应用现阶段，随着人力资源管理理论与管理实践不断的推广，在实际企业发展的过程中需要重视大数据的作用。大数据有助于人力资源管理的理论知识、工作技巧以及技能等变得更为科学化。在大数据的影响下，云计算技术的人力资源服务成为其管理工作的重点目标，有助于突破传统意义上人力资源管理存在的约束，注重掌控信息资源的真实性、整体性以及性，可以正确应用并且转变成为提升企业工作效益、设计人才价值的终端服务成品，促使更多的企业开始应用和推广大数据技术，实施品质的人才资源管理工作。（二）及时转变人才资源角色大数据的出现，引导人力资源工作可以结合品质的技术平台实施标准化、整体化的信息处理，促使人力资源管理工作更为高效和主动，这样有助于提升人力资源管理工作效率和质量。人力资源管理工作依据经验主义变得更加合理，这样人力资源管理工作人员也将承担更多的审查和决定工作，面对不断变化的环境和企业战略，因此人力资源部门需要提升自身的洞察力，设计与企业战略相同的人力资源方案，从而为企业的发展提供更为品质的人才保障。（三）正确应用人力资源大数据的成果在企业招聘中，需要应用大数据获取更多的人才信息，促使企业更为深入了解候选者的情况，解决企业职位与候选者之间存在的问题。在企业工作人员培训的过程中，不但要向企业工作人员宣传大数据知识，还要注重培育企业工作人员获取、研究、解决以及整合信息资源的能力，提升企业工作者对工作拓展的洞察力和工作水平。在人才检测过程中，需要结合大数据技术对人才绩效考察、人才选拔分类实施分析，明确其中存在的整体信息，优化存在的问题，为决策者提供信息资源之间存在的关系，以此实施的人才检测工作。

四、结束语

总而言之，大数据的到来为人力资源管理工作提供了无数的可能性，但这些可能性中也包含了非常多的机遇和挑战，因此在实际管理的过程中要结合大数据理念。依据大数据引导人力资源管理工作对信息资源实施研究和整合，促使企业对工作人员表现能力的研究更为客观和科学，这样有助于提升人力资源在企业中的地位，从而在实际发展中，促使人力资源为企业未来的发展奠定充实的基础。

作者:蒲嘉霖 单位:江西工程学院

大数据应用论文:大数据在人力资源管理中的应用

【内容摘要】人力资源管理是企业经营管理的重要组成部分，对企业提高管理水平和构建核心竞争优势意义重大。大数据时代既是机遇，也是挑战，企业应用大数据是人力资源管理转型升级的必然选择。在人力资源管理领域，大数据主要用于帮助企业进行人力资源决策，预测人员需求，开展招聘和人才测评，随着数据处理技术不断成熟，大数据将用于人力资源管理的更多领域，提升企业人力资源管理水平。

【关键词】大数据;人力资源;企业人力资源管理

21世纪，网络信息技术的迅猛发展不仅加速了信息的产生和传递，也带来了数据量的急剧增加。文字、图片、音频、视频等不同形式的信息交织在一起，构成了一个庞杂的数据迷宫，大数据则是探索迷宫宝藏的重要工具，帮助使用者发现隐藏在复杂数据中的奥秘。与此同时，在知识经济背景下，人力资源管理被寄予厚望，企业管理者不断将新技术和新方法引入人力资源管理，以提高管理效果。谷歌、腾讯等经验丰富互联网企业已经着手探索大数据在人力资源管理领域的应用，试图凭借数据优势打造独特、持久的人才竞争力。

一、大数据与人力资源管理

近十多年来，大数据相关研究如雨后春笋般涌现，引发社会各界广泛讨论。目前学术界尚未形成关于大数据的定义，通常认为大数据由巨型数据集组成，这些数据集庞大而且复杂，难以通过标准的统计分析软件对数据进行分析［1］。大数据的特点可以概括为“4V”:即volume(体量庞大)、variety(形态复杂)、velocity(生成速度快)和value(价值巨大但密度很低)，这些特点决定了应用大数据必须同时具备快速获取数据的能力、强大的数据处理能力和敏锐的数据洞察能力。大数据如旋风般席卷了人们的工作和生活，改变了各行各业的管理模式和工作方式。对人力资源管理者来说，大数据时代是千载难逢的历史机遇，通过运用大数据带来的新思维和工具能为人力资源管理工作提供便利并推动变革［2］。人力资源管理信息化手段(eHR)将从根本上转变人力资源管理者的业务职能，推动战略性人力资源管理发展［3］。学者们逐渐在人力资源管理的相关研究中引入大数据的概念和思维，创新人力资源管理方式。唐魁玉(2014)认为社会正在步入“大数据人力资源管理”阶段，可以将大数据的管理思维和方法运用到特殊人才招聘、培训与开发，以及绩效管理测评和劳资关系处理等问题上，促进用人制度的信息化和科学化［4］。尽管如此，一部分学者仍持保守态度，认为在企业实践中，由于部门博弈、HR恐惧和领导思路等问题人力资源管理很难拥抱大数据［5］。

二、企业人力资源管理应用大数据的必要性及可行性

(一)企业人力资源管理应用大数据的必要性。

现阶段企业人力资源管理正面临职能与角色的转换，一方面，大数据背景下企业经营方式、信息传递机制、组织结构均发生重大转变，要求人力资源管理与时俱进，变革管理模式，为各业务部门提供个性化解决方案;另一方面，传统的人力资源管理在实际运用中暴露出决策不科学，组织信息冗杂，办事效率低下等弊端，亟待采取创新手段整合信息资源，简化工作流程，提高决策科学性。大数据以海量数据为基础，运用统计分析方法进行预测、分析、评价等活动，恰恰能够满足人力资源管理者的迫切需求。

(二)企业人力资源管理应用大数据的可行性。

1．数据量大、来源。

人力资源管理部门是企业人事信息的集散地，员工档案、部门职位、培训记录、绩效考核、薪资待遇等资料均由人力资源部门收集、保管和使用，数据来源，获取方便，稍加处理即可使用。

2．人才涌现、路径广泛。

在时代潮流的呼唤下，社会涌现出一批专业的大数据人才和大数据公司，并且数量呈持续增长的趋势，企业可通过多种途径接轨大数据。

3．观念普及、接纳度高。

近年来大数据的概念被广泛宣传，利用大数据进行人力资源管理的企业越来越多，无论是企业管理者还是普通员工都对大数据充满了好奇，有较强的接纳意愿。

三、企业人力资源管理应用大数据的主要挑战及对策

(一)数据量不足。

无论是多么大型的企业，能获取的数据量都是有限的，很难与大数据以TB为单位的庞大体量相提并论，这种数据的不性会引起预测偏差，影响决策效果。然而，虽然单个企业并不拥有大数据，却可以通过设置网络接口的方式导入外部数据或者购买数据研究成果，间接与大数据“接轨”。

(二)数据处理技术限制。

作为网络信息时代的前沿技术，应用大数据离不开专业的数据专家和经验丰富的数据处理技术。对中小企业来说，由企业内部进行数据处理在经济上和技术上都存在困难，因而催生了一系列人力资源顾问机构和外包机构，这些机构凭借其专业性为企业提供高质量的数据服务和解决方案，成效显著。

(三)数据安全问题。

企业收集到的信息越多，安全保密性就越重要。企业、员工和客户的相关信息一旦被不法分子获取，将带来不可估量的后果，轻则影响部门、员工间的和谐，给客户造成困扰，重则泄露商业机密，引发重大损失。为此，企业要建立完善的数据管理制度，构建强效保护措施，防止数据泄露、误用和滥用，保障数据安全。

四、大数据在人力资源管理中的典型应用

经过一段时期的摸索和发展，大数据在人力资源管理中应用范围逐渐扩大，在人力资源决策，人员需求预测和人才招聘、甄选等方面发挥了巨大作用。

(一)大数据支撑企业人力资源决策。

人力资源决策贯穿企业人力资源管理的整个过程，无论是人力资源规划的确定和岗位职责的确认，还是决定是否要进行新一轮人员招聘或调整员工薪酬、福利，都需要进行人力资源决策。大数据技术极大地推进了HR－BI(HumanResourceBusinessIntelli-gence，即人力资源商业智能)的发展，帮助人力资源管理者作出科学决策。HR－BI是利用商业智能处理人力资源数据并提供决策支持的系统［6］，这个系统汇集企业所有人员、业务、政策相关数据，利用其强大的统计、分析功能为企业招聘、培训、绩效评估等事务提供决策建议，促进人力资源决策从“经验+直觉”模式向“事实+数据”模式转型，更好地支持业务发展。

(二)大数据预测企业人员需求。

经济全球化使世界经济环境急剧变化，企业随时都面临新的机遇和挑战，发展的不确定性越来越大，这种不确定性导致企业难以预测业务发展方向及人员需求，一旦发生主营业务转变的情况将面临巨大的人才缺口，错失发展良机。大数据的应用有效改善了这种情况。一方面，利用大数据技术能有效分析未来行业趋势，使企业结合自身战略目标的调整转变业务重点，明确中长期人才需求，做好人才储备工作;另一方面，人力资源部门通过对往年岗位信息的分析可以得到人员供给、需求变化趋势，预测短期内的人员需求，及时通过招聘、调岗等策略平衡人员供给与需求。

(三)大数据协助企业招聘。

随着人力资本在企业中战略地位不断提升，员工招聘的重要性日益凸显。企业为了扩大招聘范围，通常会与招聘网站合作，在网站上职位信息吸引求职者。招聘网站汇集了海量求职者和招聘单位信息，凭借专业的数据处理技术，能够快速筛选出与岗位需求最匹配的求职者，提高招聘效率。近年来，社交网络招聘成为新的发展趋势，由于社交网络近乎真实地反映了求职者的兴趣爱好、价值观念、人脉关系等企业平时难以获得的信息，能搜寻到与企业文化、愿景最契合的潜在求职者，颇受企业青睐。大街网、Linkin是这种形式的典型代表。

(四)大数据提高人才测评性。

人才测评是企业进行人员甄选的重要一环，测评性决定了企业人力资本的质量。通过对企业以往数据建模分析，尤其是对高胜任力员工的专业技能、学历背景、性格特征、离职原因等因素的综合分析，大数据能帮企业判断出哪些员工有离职倾向，哪些员工更有可能取得职业上的成功，从而选用、提拔和留住最的人才。数据越充实，评估的性越高。实力雄厚的企业通常自建测评中心，聘请数据专家主导模型构建和结果评价，中小企业则可以通过与人力资源顾问机构合作的方式享受专业测评服务。

五、大数据在人力资源管理中进一步应用的空间

尽管目前大数据在人力资源管理中的应用取得了一定的成果，但这些只是大数据的冰山一角，大数据在人力资源管理中还有非常广阔的应用空间，潜力巨大。比如，员工绩效与领导风格、工作环境、薪资条件之间存在密切联系，利用数据模型将这些复杂信息层层分解，就能明确何种风格的领导方式更能激发员工斗志，什么样的办公环境能使员工更舒适的工作，采用哪种薪资结构、福利待遇更能激励员工，从而推动企业进行相应调整，使员工以饱满的热情和十足的动力投入到工作中，为企业带来更多价值。又比如，每每提到大数据，通常会认为只与企业管理者相关，而无关普通员工。但事实上，作为大量数据信息的提供者和传递者，普通员工也应当成为数据成果的受益者。在企业中推广大数据可以逐步解放基层人力资源管理人员，使他们从报表分析、文件归档等基础性工作中解脱出来，并且通过标准化、规模化的网络自助服务简化工作流程，提高员工工作效率。

六、结语

大数据的发展给企业人力资源管理带来了新的机遇，对人力资源管理转型升级意义重大。大数据技术不断成熟，未来将应用于人力资源管理的更多领域，推动人力资源管理实现战略性变革。但是企业的管理者应当明确，大数据仅仅是一种辅助性工具，并不能替代管理者在企业中的决策作用，随着大数据在人力资源管理中应用层次不断加深，将有更多问题和挑战等待企业管理者去思考和应对。

作者:张钰 单位：中国海洋大学管理学院