购物车(0)
大数据云计算技术篇1
1.2云计算的发展
云计算可以像电力资源一样提供弹性的按需服务，事实上它是集合了一系列的服务提供给用户。云计算的核心可分为三个层次，分别为基础设施层、平台层、应用层，如图2所示。云计算将基础设施、软件运行环境、应用程序抽象成服务，具有可靠性高、可用性强、规模可伸缩等特点，满足了不同企业的发展需求，各个云服务提供商根据各自服务对象的差别分别开发了各具特色的云服务。（1）基础设施即服务层基础设施即服务（InfrastructureasaService，IaaS）层通过部署硬件基础设施对外提供服务，用户可以根据各自的需求购买虚拟或实体的计算、存储、网络等资源。用户可以在购买的空间内部署和运行软件，包括操作系统和应用程序。消费者不能管理或控制任何云计算基础设施，但能控制操作系统的选择、存储空间、部署的应用，也有可能获得有限制的网络组件（如防火墙、负载均衡器等）的控制。云服务提供商为了使硬件资源得到更有效的利用，引入了Xen、KVM、VMware等虚拟化技术，使得云服务商可以提供更个性化的IaaS服务。亚马逊弹性云计算（AmazonElasticComputeCloud，AmazonEC2）是亚马逊Web服务产品之一，AmazonEC2利用其全球性的数据中心网络，为客户提供虚拟主机服务，让使用者可以租用云服务运行所需应用的系统。（2）平台即服务层平台即服务（PlatformasaService，PaaS）层是指云计算应用程序开发和部署的平台，包括应用设计、应用开发、应用测试和应用托管，都作为一种服务提供给客户。开发者只需要上传代码和数据就可以使用云服务，而无需关注底层的具体实现方式和管理模式。鉴于PaaS平台的重要意义，国内外厂商根据各自的战略提出了相应的PaaS平台，国外的如GoogleAppEngine（GAE），通过GAE，即使在重载和数据量极大的情况下，也可以轻松构建能安全运行的应用程序。国内也有新浪的SAE（SinaAppEngine）、阿里的ACE（AliyunCloudEnginee）等。（3）软件即服务层软件即服务（SoftasaService，SaaS）层是为云计算终端用户提供基于互联网软件应用服务的平台。随着Web服务、HTML5、AJAX、Mashup等技术的成熟与标准化，SaaS应用近年来发展迅速，典型的SaaS应用包括GoogleApps、SalesforceCRM等。国外云计算平台比较成功的应用案例有：亚马逊电子商务网站根据用户的购买行为和搜索技术搭建Hadoop集群，构建推荐系统；Twitter社交网站搭建Hadoop分布式系统用于用户关联的建立。国内云计算平台的成功案例有：阿里巴巴目前整个集群达到1700个节点，数据容量达到24.3PB，并且以每天255TB的速率不断攀升；2013年，华为推出国内首个运营云平台，目前为止与该平台签订协议的ISV有3000多家。
1.3云计算相关技术
（1）分布式文件系统分布式文件系统（GoogleFileSystem，GFS）[3]是Google公司针对云计算过程处理海量数据而专门设计的。一个GFS集群由一个主节点和多个从节点组成，用户可以通过客户端访问文件系统，进行正常的文件处理工作。在云计算中，海量数据文件被分割成多个固定大小的数据块，这些数据块被自动分配到不同的从节点存储，并会在多个节点进行备份存储，以免数据丢失。主服务器管理文件系统记录文件的各种属性，包括文件名、访问控制权限、文件存储块映射、块物理信息等数据。正是通过这个表，文件系统可以准确地找到文件存储的位置，避免数据丢失，保证数据安全。图3是GFS的体系结构示意，每一个节点都是普通的Linux服务器，GFS的工作就是协调成百上千的服务器为各种应用提供服务。（2）分布式并行数据库BigTableBigTable[4]是一个为管理大规模结构化数据而设计的分布式存储系统，可以扩展到PB级数据和上千台服务器。很多Google的项目使用BigTable存储数据，这些应用对BigTable提出了不同的挑战，比如对数据规模的要求、对时延的要求。BigTable能满足这些多变的要求，为这些产品成功地提供了灵活、高性能的存储解决方案。BigTable采用的键是三维的，分别是行键（RowKey）、列键（ColumnKey）和时间戳（Timestamp）。行键和列键都是字节串，时间戳是64位整型；值是一个字节串，可以用（row:string,column:string,time:int64）string来表示一条键值对记录。（3）分布式计算框架MapReduceMapReduce[5]是Google公司提出的大数据技术计算框架，被广泛应用于数据挖掘、海量数据处理以及机器学习等领域，由于其并行化处理数据的强大能力，越来越多的厂商根据MapReduce思想开发了各自的云计算平台，其中以Apache公司的Hadoop最为典型。MapReduce由Map和Reduce两个阶段组成。用户只需要编写简单的map()和reduce()函数就可以完成复杂分布式程序设计，而不用了解计算框架的底层实现。MapReduce的数据分析流程如图4所示。分布在不同服务器节点上的海量数据首先通过split()函数被拆分成Key/Value键值对，map()函数以该键值对为输入，将该键值对进行函数处理，产生一系列的中间结果并存入磁盘。MapReduce的中间过程shuffle()将所有具有相同Key值的键值对传递给Reduce环节，Reduce会收集中间结果，并将相同的Value值合并，完成所有工作后将结果输出给用户。MapReduce是一个并行的计算框架，主要体现在不同的服务器节点同时启动相同的工作，并且在每个独立的服务器节点上又可以启动多个map()、reduce()并行计算。
2基于云计算的大数据处理
目前大数据处理的基本流程如图5所示，整个流程经过数据源的采集，用不同的方式进行处理和加工，形成标准的格式，存储下来；然后用合适的数据计算处理方式将数据推送到数据分析和挖掘平台，通过有效的数据分析和挖掘手段，找出大数据中有价值的信息；最后通过可视化技术将信息展现给人们。
2.1数据采集存储
大数据具有不同结构的数据（包括结构、半结构、非结构），针对不同类型的数据，在进行云计算的分布采集时，需要选择不同的数据采集方式收集数据，这也是大数据处理中最基础的一步。采集到的数据并不是都适合推送到后面的平台，需要对其进一步处理，例如来源不同的数据，需要对其进行加载合并；数据存在噪声或者干扰点的，需要对其进行“清洗”和“去噪”等操作，从而保障数据的有效性；数据的格式或者量纲不统一的，需要对其进行标准化等转换处理；最后处理生成的数据，通过特定的数据库，如NoSQL数据（Google的BigTable，Amazon的Dynamo）进行存储，方便进行下一步的数据读取。由于传统的数据仓库无法适应大数据的存储要求，目前基于云计算的数据仓库都是采用列式存储。列式存储的数据具有相同的数据类型，可以大大提高数据的压缩率，例如华为的云存储服务MOS（MassiveObjectService）的数据持久性高达99.9%，同时提供高效率的端到端保障。
2.2数据计算模式
这一环节需要根据处理的数据类型和既定目标，选择合适的计算模型处理数据。由于数据量的庞大，会消耗大量的计算资源，因此，传统的计算技术很难使用大数据的环境条件，取而代之的是分而治之的分布式计算模式，具有代表性的几种计算模式的特点见表1。采用批处理方式计算的Hadoop平台，例如，Facebook拥有全球最大规模的Hadoop集群，集群机器目前超过3000台，CPU核心更是超过30000个，可以存储的数据量能够达到惊人的40PB；采用流处理方式计算的Storm平台分布式计算的时延比Hadoop更小；实时处理方式计算的Spark是一种基于内存的计算模式，例如，Yahoo运用Spark技术在广告营销中实时寻找目标用户，目前在Yahoo部署的Spark集群有112台节点和9.2TB内存；交互处理方式计算的Dremel在处理PB级别的数据时耗时可以缩短至秒级，并且无需大量的并发。
2.3数据分析挖掘
数据分析挖掘环节是从海量数据中发现隐藏规律和有价值信息的过程，这个环节是大数据处理流程最为有价值和核心的部分，传统的数据分析方法有机器学习、商业智能等。传统的数据挖掘十大算法[6]（其中有K-Means、Na觙veBayes、SVM、EM、Apriori等）在云计算环境下都得到了大幅度的并行优化，在大数据的背景下，计算速度得到了很大程度的提升。现在新兴的深度学习是原始机器学习的一个新领域，动机是在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，这种新的数据分析挖掘技术已经在计算机视觉、语音识别、自然语言处理等领域有了成功的应用。
2.4数据解释展现
将挖掘出来的复杂信息进行数据解释和展现是整个大数据处理流程的最后一个环节，数据分析的结果需要向客户进行恰当的展现。与传统的数据输出和文本展示等方式不同，现在绝大部分的企业都通过引进“数据可视化”技术来展示大数据分析的结果信息，这种方式以图像、动画等方式，形象地向客户展现数据处理分析的结果，也容易被客户理解和接受，更为先进的是，现在逐步形成的“交互式可视化技术”，大大地方便了数据与人之间的“亲密交流”。目前面向大数据主流应用的可视化技术见表2。
3大数据和云计算的未来挑战
大数据需要超大存储容量的计算能力，云计算作为一种新的计算模式，为大数据的应用研究提供了技术支持，大数据和云计算的完美结合，相得益彰，发挥了各自的最大优势，为社会创造了巨大的价值。虽然国内大数据和云计算的研究还是处于初步阶段，但随着研究的不断进行，所面临的问题也越来越多。在大数据向前不断迈进的阶段里，如何让我们对大数据的研究朝着有利于全人类的方向发展成为了重中之重。
3.1重要战略资源
在这个信息社会里，大数据将会成为众多企业甚至是国家层面的重要战略资源。国家层面要将大数据上升为国家战略。奥巴马在2012年3月将“大数据战略”上升为最高国策，像陆权、海权、空权一样，将数据的占有和控制作为重要的国家核心能力。大数据资源也会成为各种机构和企业的重要资产以及提升企业社会竞争力的有力武器。在大数据市场里，客户的各种数据信息都会为企业创造价值，也会在促进消费水平、提高广告效应等方面扮演重要的角色。
3.2数据隐私安全
大数据如果运用得当，可以有效地帮助相关领域做出帮助和决策，但若这些数据被泄露和窃取，随之而来的将是个人信息及财产的安全问题得不到保障。2011年索尼公司遭到黑客攻击，造成一亿份客户资料泄露，经济亏损约1.71亿美元。为了解决大数据的数据隐私安全问题，Roy等在2010年提出了一种隐私保护系统，将信息流控制和差分隐私保护技术融入到云计算平台中，防止MapReduce计算过程中的数据泄露问题。在数据更新飞速的情况下，如何维护数据的隐私安全成为大数据时代研究的重点方向。
3.3智慧城市
人口的增长给城市交通、医疗、建筑等各方面带来了不小的压力，智慧城市就是依靠大数据和云计算技术，实现城市高效的管理、便捷的民生服务、可持续的产业发展。在刚刚结束的“两会”的政府工作报告中，总理也特意强调了智慧城市发展的重要性，目前国家智慧城市试点已遍布全国各地，多达409个。智慧安防、智慧交通、智慧医疗等都是智慧城市应用领域。智慧城市的建设也趋使大数据人才的培养。据预测，到2015年，大数据将会出现约100万的人才缺口，全球将新增440万个与大数据相关的工作岗位来填补这个空缺。
大数据云计算技术篇2
1 大数据和云计算的关系
云计算技术是指利用集中式远程计算资源池，通过按需分配的方式，为终端用户提供强大而廉价的计算服务技术。云计算技术作为一种数据处理方式，其技术特点包括：一是资源池在物理上是对终端用户完全透明的；二是能够为任何行业提供规模化计算服务，其服务能力可看做是“无限”的；三是其应用部署快速便捷，服务能力和方式是可以完全按照终端客户要求定制的，具有极强的弹性伸缩能力；四是云端数据获取方便，能够资源共享，用户使用成本低廉。
云计算技术是目前最强大的数据存储、传输和处理平台，它是大数据处理的最优选择。云计算能够为大数据提供几乎“无限”的存储空间和处理能力，满足其超大容量存储和超级复杂的处理需求，也是传统存储方式无法实现的。云计算侧重数据的计算处理，而大数据需要强大数据处理能力，因而它是云计算的处理对象。此外大数据所产生的业务需求也为云计算的实现提供了更多的形式。
2 基于云计算的大数据处理技术
2.1 大数据的采集技术
目前数据采集方式主要分为集中式和分布式两大类。其中分布式的灵活性较强，而集中式的全局性较好。实际上大数据采集的对象通常包括组织内部和相互独立组织间的各类数据，而云计算恰好具有并行处理的优势，因而可采取混合式采集方式能够更加有效地完成数据采集任务。即在各个组织内部采用集中式数据采集方式，通过在组织内配置中心服务器，作为集中式数据注册机构，用于存储和共享内部的数据。在相互独立组织间，采用云计算的集群技术、虚拟化技术等在各独立组织中心服务器间采用分布式采集方式实现数据采集、组织间对接和共享。大数据结构类型包括结构化、半结构和非结构化数据，因而在应用云计算技术进行分布式采集时，可依托其超强的扩展性和容错力，将数据池内数据进行同构化，从而实现数据进行分类存储。
2.2 大数据的存储技术
由于超大体量、离散、复杂的数据特点，传统数据存储模式已经难以满足大数据存储要求。一方面单结点的数据仓库在容量上难以满足呈几何增长的数据量，在运行效率上也难以满足大数据的分析处理需求。另一方面传统数据仓库按行存储模式，虽然可以实现大容量索引和视图，但实际操作中其时间和空间过高。而云计算主要采取列式存储模式，即区分数据不同属性，不同属性列都单独存放。云计算中列式存储的优势在于在投影数据时只需查询其属性列，系统处理量和处理效率显著提升。此外按数据属性进行列式存储，数据仓库中相邻列数据的相似性更高，因而能够得到更高的数据压缩率，进一步减少存储所需空间。
2.3 大数据的挖掘技术
联机分析能够完成数据的复杂处理，得到直观结果，实现决策性分析。云计算并行模式下联机分析能够基于数据全局，建立多维分析模型对数据进行多维度分析，从而尽可能获得全面的分析结构。由此可见多维度分析是联机分析的重要特征，而云计算技术下数据仓库正好是通过多维数据组织的。
联机分析对数据的处理仅仅只是表面的，其获取的信息价值并不高，难以得到数据深层次的含义与内在关联。而数据挖掘正是在联机分析的基础上，从超大体量的数据仓库中提取数据所蕴含的隐性信息，并将这些信息用规律、概念或是模型等表现出来。基于云计算的数据挖掘主要采用分布式并行挖掘技术。与其他串行方式相比，云计算技术下并行数据挖掘能够利用机器集群拆分分布式系统中的并行任务，并将拆分后的各个任务分别交由不同的机器去处理，从而实现大规模数据处理，其时间成本也大大降低。
2.4 大数据的可视化技术
上文所述数据挖掘可实现大数据的深层次、多维度分析，获取更多有用信息。而云计算平台下可视化技术则能够将上述信息具体化，从而使数据及其有关结构的相关信息能够更直观地表现出来，更容易被发觉和理解。可视化技术是指在存储空间中，将数据库及其中数据以图像（图形）的形式表示出来，并在其中再采用其他的分析手段获取图像中所蕴含的未知信息。而原有的数据处理仅仅只能够从数据本身入手，分析和观察数据中的内在信息。云计算下的可视化技术不但能够实现非空间数据的多维度图像显示，而且能够实现检索过程的直观图形显示，从而帮助人们更好地挖掘和理解信息，信息检索效率也大大提升。
3 结语
在数据爆炸时代，云计算的出现为大数据的存储和处理提供了可能，也为数据处理系统的功能扩展提供了重要保障。以往的数据管理将收集和存储作为重点，而在云计算模式下，大数据管理将更多地侧重数据分析、挖掘及管理模式的创新。目前数据采集和统计技术已经较为成熟，利用云计算进一步丰富大数据的存储和处理方式，实现更高层次的数据挖掘和可视化将是今后需要解决的问题之一。
参考文献
[1]孟小峰，慈祥.大数据管理：概念，技术与挑战[J].计算机研究与发展，2013，50（1）：146+169.
[2]吴雪琴，基于云计算的大数据信息检索技术研究[J].电脑知识与技术，2014，10（10）：38-41.
大数据云计算技术篇3
大数据生态繁花似锦
近年内，随着越来越多的设备接入互联网，当下一年所产生的数据往往是以往数年的总和。而据Global Cloud Index预计，截止至2020年互联设备数量将达到500亿，众多爆发式增长的设备预计在2017年便会产生高达7.7 ZB的互联网数据。在这个大背景下，各个机构都积累了足够多的数据，从而对数据进行分析并产生指导实践的见解也成为了企业提高竞争力的迫切需求。在这个需求刺激下，开源大数据技术生态圈得到了飞速发展――在数据的整个生命周期中，从收集到处理，一直到数据可视化和储存，各种开源技术框架林立。
在开源大数据处理上，出于对成本和数据量的考虑，横向扩展已经必不可少，因此在这个领域涌现出大量优秀的集群计算框架，其中大家首先想到的就是Hadoop。Hadoop天生高贵，由雅虎原工程师Doug Cutting在Google论文的启发下建立，也是时下生产环境部署最多的计算框架。然而，随着内存成本的降低和对不同处理类型需求的增加，缺乏对内存有效利用及资源调度粒度的不够，业内涌现出大量优秀的计算框架并占据一席之地，整个大数据生态繁华似锦。
开源IaaS发展
如上文所述，随着接入互联网的设备增多，企业IT基础设施往往需要承受以往数倍的压力，从而对原有的资源组织方式提出了严峻的挑战。在这个前提下，云计算得以快速发展并在各行各业落地，更成为许多创业公司的立足之本。而作为云计算的一种重要形式，IaaS服务有各种开源和商业云平台方案，作为当前最成功的云计算平台，AWS更是吸引了众多的关注和模仿，如果说云计算发展到如今的火爆，除了IT技术的发展趋势，更重要的是背后顶级云计算厂商的大力支持和推广。我们最早听到IaaS概念可以追溯到1983年，一家在现在看来非常厉害的公司Sun Microsystems就提出了“网络是电脑”的概念，但是由于概念太超前，在当时并没有引起重视。
随着Amazon推出其弹性云计算，并在IaaS领域大获成功，Google、微软、VMware、IBM等IT巨头们大举跟进，纷纷涉足云计算领域，云计算的热潮汹涌而至。在这期间，开源IaaS领域发展同样迅猛，从最早的Eucalyptus、OpenNebula、CloudStack等到我们熟知的OpenStack，百花齐放，百家争鸣，一时云计算领域热闹非凡。当然，随着众多大型厂商的支持、社区的壮大以及生态的不断完善，OpenStack如今大放异彩，开始逐渐占据主导。不是说OpenStack现在完美无缺，只是在当下的开源IaaS领域，OpenStack已经毫无争议地成为最受关注的云计算技术，并逐渐成为开源IaaS领域的代名词。
容器技术异军突起
Docker，时下最火的容器技术，从诞生到进军生产环境，每一步的技术演进都受到了巨大的关注。其实，谈及容器技术，其实Docker并非首创，早在十数年前，容器技术便已有雏形，但是以Solomon Hykes为首的一帮工程师敏锐的发现了容器技术在云计算领域的巨大潜力，随后迅速技术转型，开始投向容器技术并且从一开始就走开源路线，这位身上流著美国与法国的血统，喜欢网咖打电玩，酷爱摩托车的年轻人开始了一段非凡的浪漫之旅。
无论是版本的迭代还是进军生产环境，Docker这三年来的发展可以说是如鱼得水，当然，期间也受到过质疑，比如CoreOS与Docker的标准之争就在容器圈引起了不大不小的轰动，最后以Solomon和CoreOS的创始人Alex Polvi握手言和告终。之后随着Docker版本的更新，在网络和安全、存储等领域的短板被逐渐补足之后，Docker的集群能力得以完善。
容器引擎领域，虽说有CoreOS团队开源的rkt项目，但是和Docker相比，在用户以及社区活跃度方面都有很大差距。容器的编排，可以说在目前Docker领域受到的关注度前所未有，从Mesos到Kubernetes，围绕两种技术的编排之争超乎想象。由于背后都有大批的厂商支持，短期内，这两种技术都将得到迅速的发展，某一方不会形成压倒性优势。另外，从Docker公司的角度，背后的动作也有对编排的考量，综述所述，容器生态中，围绕Docker的生态之争才刚刚开始。
Docker短板补足
生产级实践备受关注
如上文所述，在Docker版本的更新过程中，自身的一些技术缺陷得到了弥补，Docker在安全、存储以及网络领域的短板得到逐步的解决，Docker进军生产环境已经成为大势所趋。国外，在Docker应用领域有着比较先进的经验。国内目前真正将Docker应用在生产领域的很少，其中应用在核心业务的就更少，Docker从诞生到现在，已经3年时间，如果继续炒作Docker的优越已经毫无意义。当下，开发者们最为关心的是如何让Docker真正落地，如何在生产环境中使用Docker，急需这个领域有一些第一个吃螃蟹的企业出来分享他们的经验和教训。为此，2016 Container峰会聚焦生产级实践，邀请了在金融、教育、制造、证券等领域已经应用Docker的企业技术负责人到场，给我们谈谈他们在生产环境中是如何使用Docker的，大规模部署Docker的经验和跨过的坑。
OpenStack式微？
无可否认，Docker的发展热度在一定程度上掩盖了OpenStack的光芒，但是作为开源IaaS领域的首选平台，IaaS如何和Docker和谐发展，或者如何借势Docker弥补OpenStack在技术领域的短板，已经成为很多开发者关注的焦点。
大数据云计算技术篇4
1 引言
随着网络技术的发展，以及智能设备的普及，当前的数据增长速度已经呈现爆炸式增长，大数据时代已经来临。目前专家对大数据处理系统方面的研究主要是基于云环境下的分布式部署以及网络架构的融合和动态实时数据处理这三个方面。同时也取得了一定的研究成果，对于当前的云计算环境下的大数据处理系统的发展提供了很多理论和实践基础。
2 基于融合思想的大数据处理方案分析
云计算技术模式下，人机交互和数据处理以及网络逻辑处理技术等都相对交融，处于深度融合状态。因此基于融合思想的大数据处理方案就是以融合思想为核心，将云计算技术模式下的各种分散的网络资源进行协同组织，然后再进行融合，从而充分发挥分散状态下的资源优势，形成一种整体性的比较优势，因此这种融合式的大数据处理方案的应用前景十分广阔。
在云计算技术模式下，大数据处理研究更多的着力点放在了大数据处理系统的构建、分散资源的协同以及相关的辅助技术等。从宏观角度来看，可以氛围内混合处理和混合管理两个方面。其中混合管理的核心就是研究各种无线以及有线的处理机制和数据共享、资源共享机制的管理，同时还包括了分散数据管理机制和协同机制管理等。而混合处理的研究核心则是着力于系统运行模型和相关辅助技术上。
3 大数据处理系统的应用和处理系统分析
3.1 大数据处理系统的应用
大数据处理系统的应用主要包括三个方面：
（1）基于融合式架构的应用。这实际上就是一种客户机/服务器架构模式，其中服务器主要负责应用系统的管理和控制以及相关应用的逻辑处理和数据调度等。而客户端则是专门进行人机交互，当用户想要执行数据处理分析人物时，通过客户机向服务器发送请求，然后有服务器完成并返回给客户端。这个融合式架构相对简单，且容易维护，但是服务器功能有着极高的依赖，这也往往成为数据处理系统应用的瓶颈。
（2）分散式架构。这种架构的特点就是协同控制的节点都是平等地位，并且和处理系统有关的控制和管理模块都是分散在各个客户端上。客户端拥有一定的自治属性，因此具有通用性和灵活性和可扩展性等诸多优势。但是由于数据采用分布存储和分布操作，这样在维护方面就变得较为困难，而且节点之间的实时同步和用户动态注册的应用也难以实现。
（3）混合式结构。这种结构拥有前两两种结构有点，通过服务器实现数据信息的统一维护，而客户端一方面实现信息传输功能，同时也能够和用户在某些应用方面进行充分的交互，因此能够有效减轻服务器端的压力，这样也能够消除服务器端的瓶颈。提升系统的鲁棒性和灵活性。
3.2 云计算技术下的大数据处理系统具体分析
3.2.1 系统架构
云计算技术环境下的大数据处理平台的节点主要体现下面几个特点：其一是节点分散性；其二是数据处理动态性；其三是数据来源混构性。
这个处理平台架构采用了融合式的调度执行层和任务融合调度管理，并根据处理规则和不同的参数来调整处理引擎的数据和算法组合以及计算资源。对大数据资源的数据交互和任务分工工作进行了有效融合。同时在管理层，也对业务数据进行分布式存储，提升了容错处理能力。
3.2.2 系统处理流程
系统处理流程主要是对分散状态数据进行处理，其关键就是对分散的数据进行提取，因此首先给其他应用提供数据接口。然后数据管理部分要融合数据资源，并在一定容忍度的基础下，对不同的数据处理机制进行比较，进而优势融合。最后数据处理中心则是对数据进行集中处理，然后统一分配数据资源，从而在数据中心实现数据处理的融合。
3.2.3 处理系统的部署
某信息产业园的大数据处理系统的部署是根据信息企业集群的需求，然后对现有分散数据资源进行挖掘，比如企业内部的ERP和SCM系统中的数据，通过对这些数据进行深度挖掘从而为该企业提供战略发展资源。图1就显示了这个部署图。
从部署图可以看出，在这家企业中，ERP和SCM和CRM是其数据源，然后经过服务器处理之后，分布到n个数据库，然后进行合并进入到大数据管理模块，最终能够实现数据查询和数据决策服务。
4 结语
总而言之，目前采用融合式思想，在云计算技术条件下，对大数据处理系统进行部署的研究相对较少，特别是当前的信息产业，由于其自身的解决方案并不能够实现大数据条件的比较优势，所以本文提出的融合式的大数据处理技术，有效的提升了数据利用深度，拓展了大数据处理系统的应用范围。
参考文献
[1]于戈，谷峪，鲍玉斌，王志刚.云计算环境下的大规模图数据处理技术[J].计算机学报，2011（10）.
大数据云计算技术篇5
随着医疗信息化的发展，医疗数据规模迅速扩大，数据的种类和数量的变化令人难以置信，不论是病理分析图还是医疗影像都产生了大量的医疗数据。区域医疗数据虽然是医疗大数据的组成各个部分，但其数据来自百家医疗机构和百万人口的区域，一个患者的信息资料要保留50年以上，而且数据量呈不断增长趋势。医疗数据中每个患者的数据不仅包括临床诊断以及用药建议、医疗影像以及分析决策、（非）结构化文档，还包括患者大量的在线实时数据，仅仅一个社区医院就可以生成多个TB级甚至PB级的（非）结构化数据，所以说海量医疗数据名副其实。云计算技术是被称为是21世纪的技术和商业革命，如今已成为IT行业主流技术。云计算技术是在大数据环境下数据存储、数据计算以及数据动态分析要求越来越高的背景下产生的一种基础构架和商业模式，该模式可以为用于提供便捷的、快速的、可用的、足量的计算资源，并且用户按照用量付费，只需要进行少量的管理工作以及与云计算供应商进行必要的互动。云计算技术是在大数据背景下产生的，对于云计算来讲，大数据是一种重要应用环境，而对于大数据来讲，云计算则是其IT基础和驱动力，两者之间是相辅相成的。随着大数据规应用的广泛推广，云计算技术的重要性也越来越突出。在医疗数据规模以几何级形式增长的情况下，数据挖掘平台是医疗数据中病历数据、诊断检验数据、影像数据等内在数据得到有效应用的关键所在，所以基于云计算的医疗数据挖掘平台是医疗信息化的一个重要研究方向。
3云计算在医疗数据挖掘平台中的应用分析
数据挖掘技术的概念可定义为“从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的过程,能够发现隐含在大规模数据中的知识,从而指导决策，主要涉及特征化、区分、关联或相关分析、分类、聚类、演变分析等。”数据挖掘在金融、交通、军事、电子商务、医疗等等领域中得到广泛应用。相同其他领域，医疗领域中数据挖掘技术的应用有很大不同，因为医疗数据包括患者诊疗过程中的所有相关信息资料，例如诊断记录、影像资料、治疗决策、用药方案等等，这些数据除了包括结构化数据之外还包括大量的非结构化数据，因此医疗数据挖掘的应用效益和收获最大。基于医疗数据的复杂性，医疗数据挖掘也存在极大难度，这主要体现在两个方面，一是诊断记录、治疗决策、护理过程等复杂的医疗程序导致了医疗数据的海量性特点；二是医疗数据类型多样化，不仅包括数值型数据，还包括图像、语音、视频等等类型数据。总之，医疗数据的海量性和异构性为医疗数据挖掘带来极大难度，需要具有强大数据处理能力的技术提高数据挖掘的效率和准确性，这就是云计算。
3.1基于云计算的医疗数据挖掘平台架构
云计算是一种基于大数据的商业模式，其强大的数据存储、数据处理以及数据管理能力让大数据丰富的信息积淀不再是镜花水月，云计算在改变计算机运行模式的同时也正在改变这个世界。云计算以及其分布式结构是实现云构架的重要途径，云计算的应用实现了网格计算并行计算、分布式计算等概念，通过互连的计算机来完成计算任务，并根据应用需要获取各种资源和服务。中国电子学会将云计算技术定义为“云计算是一种基于互联网的、大众参与的计算模式,其计算资源(包括计算能力、存储能力、交互能力等)是动态、可伸缩、被虚拟化的,并以服务的方式提供”。云计算环境下的医疗数据挖掘平台的设计结构主要包括云计算环境、数据采集、数据清洗以及并行分析4关键个部分。海量数据挖掘技术对云计算的应用主要是其低成本分布式并行计算环境，云计算的应用不仅极大减少了应用成本，同时也为海量数据挖掘提供更多的解决方案和途径。
3.2云计算环境下的医疗数据挖掘的应用
医疗大数据挖掘技术应用主要表现正在临床决策支持系统、医学图像挖掘、生物信息学研究以及促进公众健康等方面。1）数据挖掘技术在临床决策支持系统的应用：云环境下的数据分析、处理技术得到大幅度提升，这使医疗数据中非结构化数据的分析和处理分析是难题（例如图像分析和识别技术），对临床决策支持系统功能的进一步优化提高系统智能性。可以为医生对患者的诊疗提出有效建议，同时也可以将诊疗医生的大部分工作内容和时间流向护理人员，让医生摆脱繁琐咨询，有利于规范医疗工作流程，提高诊疗效率。2）医学图像挖掘：医学图像时医疗数据的重要组成部分，如今医学图像在医疗领域中的应用价值越来越高，例如CT、MRI、PET等等影像学资料为人体各种疾病或者损伤的诊断和治疗提供了有效手段。3）生物信息学-DNA分析：生物学研究领域开展的基因组计划产生了大量的基因组信息，基因信息的识别以及鉴定是基于工程的重要研究内容，将高效的数据挖掘技术应用于基因工程有利于进行基因信息分析，可挖掘潜在的更高价值的信息，为基因工程的研究提供决策支持。4）促进公众健康：利用医疗大数据分析技术可以对传染疾病进行快速检测，对疫情的发展态势进行实时监测、评估，并在此基础上提出有效应对策略。另外，利用大数据挖掘技术建立可以覆盖全国的患者电子病历数据库并及时准确地提供公众健康咨询，提高健康风险意识，这将有利于改善公众健康监控，降低传染病感染率，创造了极大的社会效益。
大数据云计算技术篇6
一、在云计算环境下，运用大规模图数据处理技术的相关实际优势
图数据作为计算机应用科学中的一类常用的较为抽象的数据表示结构，相较于树以及线性表来说，其在结构以及语义领域的表现更加复杂繁琐一些。图数据的一般性表示能力比较突出。在实际生活中，许许多多应用相应的场景都可以用相关结构来进行有效表示，针对图数据的处理应用充斥在人们生活的方方面面，比如，在传统应用方面，图数据处理技术可以运用在最优运输路线的选择以及疾病爆发缘由探索等等领域，在新兴应用方面，图数据处理技术可以运用在社交网络分析以及生物信息网络分析等等领域。
（一）海量存储
一般情况下，大规模图数据的相关数据量是相当惊人的，其数据量可以高达上百GB，有时候设置可以到达PB级别，使得传统的文件系统以及相应的数据根本满足不了大规模图数据的存储需求。这就突显了在云计算环境下的大规模图数据分布式存储模式的优良特点，分布式的信息数据存储模式能够为大规模图数据处理提供容量高的相应的存储服务，能够确保大规模图数据的完整存储以及处理。由于云计算的维护一致以及并发控制、数据库可靠性备份等等优良特性，有效地保障了大规模图数据的处理维护行为的实现。
（二）强大处理
在云计算环境下，有效利用分布式平行处理的相应特点，采用相关技术实现大图变小图的分割处理，方便存储使用。由于云计算环境下分布式并行运算能力的有效运用，可让大规模图数据处理技术能力得到显著提高。
（三）优良特性
在云计算环境下，由经济技术角度来说，因为云计算有着优良的灵活伸缩性，其较为适合在针对大规模图数据问题处理中的数据量弹性变化的处理中有效应用。一般的云计算环境都是有性价比较高的普通计算机所构成的，随着图数据规模的逐渐增大，可以通过在云中进行节点的动态增加来实现计算资源以及数据存储容量的扩大，这样就有效降低了由于传统模式造成的并行机模式的相应的大量投资。
二、在云计算环境下，大规模图数据处理技术的重要应用领域
（一）大规模图分割
在云计算环境下，优良的图分割算法是降低图并行计算强耦合性的相应基础，大规模图分割的应该具备较小的时间复杂度，保证子图间相关数据规模以及图拓扑结构的均衡性保持。但是，目前的图分割技术很难在连通性以及均衡性以及时间复杂性等等方面实现性能的优化。
（二）大规模图索引结构
在云计算环境下，由于索引的加入，使得依靠云环境分布式并行处理机制所进行的大规模的图数据管理效率得到了有效提高。但是，这种处理技术的开发应用仍处在一个不断探索研究的进程中。
（三）磁盘存储以及查询处理
在云计算环境下，大规模查询处理技术一般表现在子图挖掘以及图模式匹配查询等等复杂应用中，其处理技术的提升空间很大；现今的基于BSP模型的相关的大规模图处理技术系统的都是基于内存的，在一定程度上会限制数据处理的规模扩大，所以，要搞好有针对性的磁盘优化存储技术的开发。
（四）消息通信
在云计算环境下，应用大规模图数据处理技术进行图处理应用时，每一个图顶点都需要经由邻居节点实现信息的发送与接收，图的相关边可以看作是消息收发的相应通道。相关的消息发送发送方式依据通信策略的不同，可以分为集中式与异步式两种。
（五）容错管理
在云计算环境下，大规模图数据处理技术中的容错管理的主要内容是，冗余备份的写入时机、冗余备份的相应的数据存放位置以及故障侦测、故障恢复等等方面，目前的容错管理的主要设计思路就是通过相应的数据冗余备份以及硬盘读写来实现保障。
综上，云计算是将先进计算机技术以及新型网络技术有机融合在一起后所产生的信息产物，其中，先进行的计算及网络技术包括网络存储、并行计算、网格计算、效用计算等等方面。云计算具有很强的社会普及适用性，因此，云技术的迅猛发展是与大规模的图数据处理息息相关的。由此可知，在云计算环境下进行的大规模图数据处理技术的有效运用发展的潜力巨大。
参考文献：
大数据云计算技术篇7
随着人们生活水平的提高，汽车逐渐进入到普通家庭，这无疑对道路交通的要求也越来越高，为提高道路行车效率，迫切需要建设一个高性能的智能交通系统（IntelligentTransportationSystems，ITS），以满足大家的需求。
1智能交通系统的概念
智能交通系统（IntelligentTransportationSystems，ITS）指的是建立在较完善的基础设施之上，将先进的信息技术、计算机处理技术、数据通讯传输技术、电子传感技术及电子控制技术等有效组合在一起，并运用于整个交通运输管理体系中，从而能够在大范围、全天候发挥作用，建立起的一种准确、实时、高效的综合运输和管理系统[1]。依据智能交通系统的概念，我们可以看出，为了解决社会不断增加的交通需求与有限的道路资源之间的矛盾，使有限的道路资源能被充分利用，提高人们的出行效率，保障人们出行安全，智能交通系统作为信息、通信、传感与控制技术综合运用的产物，能给人们带来便捷。但目前，我国城市交通仍面临着许多严重问题，如成都，作为西南地区的一个大型城市，虽然其承载能力越来越强，路网体系也日趋完善，但随着汽车保有量的强劲增长，道路供需关系依然非常严峻。据成都市交管局数据显示，截至2014年3月，成都地区的汽车保有量突破268.59万辆大关，中心城区突破114.18万辆，这个数据仅次于北京。而且成都已月均增2万新车，并持续了62个月。一天就会产生数百亿条GPS数据，而车牌识别信息、交通监控视频信息等数据量更大，交通相关的数据量也早以从TB级跃升到PB级[2]，因此，如果要实现对城市道路的交通流量信息、交通状况、交通违法行为等的全面监测，特别是承担在交通高峰期采集、处理及分析大量的实时监测数据的工作，整个平台的运行压力将会非常巨大，大数据（bigdata）就此产生，大数据分析交通除了流量及车辆的相关信息外，还必须包括路面情况、天气、突况、周边环境等诸多因素，传统的交通数据分析法已很难有效处理如此庞大的数据的问题。城市智能交通应具备的特点和需求分析如下。
1.1数据信息海量化
整个城市的交通行为主体作为城市智能交通的分析对象，海量数据必然成为固有特性。
1.2应用负载变化大
城市交通流特性呈现出区域关联性强，随时间变化大的特点，系统需要根据实时的交通流数据，做出全面采集、分析、处理等。而传统的智能交通方案由于无法在全局上统筹，往往会因此陷入彼此孤立的情形。
1.3高稳定性和高可用性
只有要求城市智能交通系统具有高可用性和高稳定性，才能更好地、更快捷地提供畅通、安全、高品质的行程服务，以保障交通运输的高安全、高时效和高准确性，让政府、社会和公众感觉到方便。而目前的很多方案中，由于各生产厂商繁杂、设备类型众多、质量参差不齐，而国内也缺乏统一的标准，这样不仅系统维护成本高，而且也很难做到保持智能交通系统的高稳定性。
1.4数据共享需求
目前，正在建设中的智能城市交通系统，大量的终端设备出自不同的厂商或不同平台，这样就形成了许许多多的信息孤岛，彼此间很难实现共享数据。这在很大程度上影响了系统功能的充分实现，智能交通系统在硬件、接口上应做的统一，从而使行业信息资源的全面整合与共享成为智能交通发挥整体方案优势、整体统筹资源、统一协调的基础。
1.5信息实时处理性能要求高
随着城市交通的拥堵日趋严重，人们在出行时要求能随时随地通过熟悉的方式获取所需的出行计划和实时的出行信息，因此，未来的智能交通需要满足高效性、实时性的要求。
2大数据与云计算技术对智能交通系统的影响与应用
云计算（cloudcomputing）是将计算任务分布在大量互联的计算机构成的资源池上，使各种应用系统能够根据需要获取存储空间、计算力和各种软件服务，该资源池被称为“云”。“云”是指一些可以自我管理和维护的虚拟计算资源，通常包括宽带资源、计算服务器、存储服务器等大型服务器集群[3]。而云计算（cloudcomputing）是一种基于互联网平台的计算方式，为计算资源提供全新的计算模式，其服务方式可动态、伸缩且虚拟化，云计算技术还会将所有的计算资源汇集在一起，并通过软件实现对资源的自动高效管理。这使用户能更加专注于自己的业务，无需为繁琐的处理细节感到烦恼。云计算技术之所以能有效处理和应对交通数据量大、可用性高、稳定性要求高、信息实时处理要求高、应用负载波动大、数据共享需求大等问题，并能实现应用的灵活性，高效整合资源，降低运维成本和总能耗，很大程度上是源于其自身的高可靠性、弹性扩容性好、快速部署及按需服务的特性。云计算技术以其高度的信息部署、优异的扩展性以及自动化IT资源调度，成为解决智能交通面临的问题的关键技术手段，成为一种全新概念的信息服务模式，有助于智能交通系统的快速实现。建设基于“云计算”的智能交通系统，要实现交通信息的动态采集、分析、处理及，并及时向用户提交动态交通信息，报告路况动态变化信息，指导用户出行计划，规划用户行车线路，从而有效提前进行分流拥堵流量，从而提高交通通行效率[4]。其具体应用如下。
（1）城市中的车、人或设备等每个交通终端节点，均可以实时地通过交通云得到基于整个城市交通信息智能分析后提供的服务。
（2）通过综合整个城区的交通流信息及汽车的运行计划信息，每个交通信号灯都得到高效控制，并在面控、立体多维的基础上进行相关预测；城市交通引导系统也可以与交通信息个性化服务进行无缝结合。
（3）为了更智能地提高交通运行效率，拓展一个智能交通信息服务市场，运营商要相应地通过手机基站定位，向用户提供实时的交通信息服务，这些信息与交通控制、引导相结合。随着移动通信网络的发展，从早期的2G网络到3G网络，再发展到当前的4G移动通信网络，4G网络使图像视频传输更加稳定，决策也更具有时效性，并为智能交通系统提供了更多应用的可能，移动网络在智能化交通信息系统中的运用日趋娴熟、准确，使智能交通系统真正、全面、高效地服务于社会，为缓减交通压力做出了更大的贡献。移动网络技术还有效地为智能交通系统的发展提供了新的发展思路。
34G移动网络的网络结构的核心技术及优点
3.14G移动网络的网络结构的核心技术
4G移动网络体系结构从下往上可分为物理网络层、中间环境层、应用网络层。正交频分复用（OFDM）技术是这一代移动通信网络的核心技术，该技术可以为用户提供速率高、时延小的数据交换服务，能达到下行50Mbit/s与上行100Mbit/s的峰值速率。OFDM技术特点包括：具有良好的抗噪声性能及抗多信道干扰能力，可扩展网络结构。
3.24G移动网络的优点
3.2.1通信速度高、灵活性好4G移动通信系统速率可以高达到l00Mbps，甚至是150Mbps。由于4G网络不仅是面向手机，还面向智能手表、控制器、眼镜等移动智能终端设备，这些终端设备极大丰富了人们的生活，使通信变得更加灵活多样。
3.2.2系统兼容性好未来的4G移动网络要面向全球发展，可以预测4G移动网络一定会开放出更多标准化的接口，并与全世界各种网络进行高速通讯、互联。
3.2.3网络采用宽频谱4G移动网络的每个信道会占有100MHz的频谱，是3G移动网络的20倍左右。
3.2.4通讯费用低目前，很多3G移动网络用户之所以能方便地过渡到4G移动网络进行通信，是因为4G移动网络与3G移动网络的兼容性较好，且4G移动网络的系统采用灵活的操作方式。在加上4G移动网络通讯费用相对较低，为4G移动网络的快速部署创造了条件。
3.2.5网络通信质量高4G移动网络通信时代是高质量通信的时代，与3G移动网络通信技术相比，4G移动网络通信技术将在很大程度上提升大数据的交互、处理能力，特别是跟云计算技术的结合，大大提高了效率，4G移动网络让广大人们拥有了前所未有的、便捷的移动网络交互体验，面对越来越复杂的网络环境，通信质量也得到了较好的保障，4G移动网络通信也能满足3G移动网络通信尚不能覆盖的区域。
4基于云计算的智能交通的关键技术
上述的需求，使大数据与云计算技术成为城市智能交通系统的重要支撑。为了有效地将云计算技术与跟4G网络相结合，提升信息传递的准确性和可达性，还需解决以下几个主要技术问题。
4.1最优路径规划问题
云计算技术在智能交通系统中的另一个重要应用是智能交通系统中的最优路径规划，它在各类应急系统及车辆路径导航系统中具有重要作用。智能交通最优路径规划是以交通运行数据为基础，在云计算数据中心对各交通影响因素进行分析、处理和判断后，再通过短讯、车载终端、GIS电子地图等各类终端帮助信息，为道路的使用人员提供最优路径，引导信息及各类实时交通帮助服务信息，以提高车辆的通行效率及行车安全。
4.2智能交通流预测与出行引导问题
基于云计算的智能交通流预测与出行引导可通过物联网对交通流量数据进行实时采集，对这些数据进行分析和快速处理，以便对道路交通流进行实时动态判别和准确预测，从而正确指导用户出行，这样必须建立起智能交通流量采集数据库及非结构化的数据库。
4.3智能交通事故预警处理问题
道路交通中的突发事故严重影响城市道路交通运行的安全性和可靠性，因此，面对突发事故，必须快速做出反应，提出处理预案，然后对其进行有效、及时地处置。基于大数据分析的交通事故应急处置方案的形成，是通过物联网技术快速采集和分析交通突发事件及整个道路流量信息，迅速地进行事故故障处理，并及时发出预警信息，提前、有效和安全地疏散车流，达到不影响交通正常运行的目的。
5我国智能交通系统发展趋势
众所周知，我国4G移动网络牌照已经发放，围绕4G移动网络的各项业务也快速展开，但目前，网络通讯费用并没有下降，这对基于4G移动网络智能交通系统的开发与使用具有较大影响，相信随着4G网络的普及、通信环境的改善、资费的下调，大数据的交互平台将有望在许多移动设备（如手机、平板电脑）上实现，云计算技术也将得到更广泛的应用。例如，未来的智能交通系统将会出现自动驾驶系统、大数据与智能交通、生态智能交通系统、移动互联网与智能交通等。近年来，基于移动网络智能终端的与交通相关的APP得到飞速发展，因而，移动互联网技术在人们出行中的作用将越来越大。
6结语
基于4G移动网络的大数据和云计算技术的智能交通系统是一个复杂的系统工程，它涵盖了网络构建、信息采集、系统集成及应用开发等多方面内容，同时也涉及城市交通运行管理中的许多领域。要在4G移动网络平台上加快推进大数据和云计算技术在城市智能交通系统中的研究及应用，必须不断加强技术革新、保障云安全、完善基础设施建设，并将政府构建的基础性开放平台与引导科研机构、高校、企业参与应用研发相结合。
参考文献
[1]吴忠泽．迎接中国智能交通的新时代[J].科学,2010(1):3-6．
[2]毕然,党梅梅．智能交通系统标准化现状及发展趋势[J]．电信网技术,2011(4):44-47.
大数据云计算技术篇8
The Internet of Things， Big Data and Cloud Computing Technology in the Application Research of Coal Mine Safety Production
Yang Jingjie
（LiaoNing JianZhu Vocational University， Liaoyang Liaoning，111000，China）
Abstract： The development and construction process of coal mine integrated automation， points out that the three kinds of technology in coal mine safety production guarantee of the position， the role of safety production in coal mine relationships： coal mining technology of each system framework and roadmap， by the Internet of things and big data to establish， for large data processing， adopt cloud computing， Internet of things， big data and cloud computing technology monitoring system will be ZhuLiuShi， make its present early warning and monitoring system function， improve the safety in production.
Key Words： Coal mine； The Internet of things； Bigdata； Cloudcomputing； Production safety
物联网、大数据及云计算技术作为多个管理方法及管理系统提出，主要是为了确保煤炭企业的安全生产与发展；我们在此方面投入了资金及设备，用这样的方法来保护安全生产系统及设备。在过去的生产实践中，缺乏系统技术的瞻远性，缺少有效的技术处理手段，缺少互联互通的关系，导致了原有的系统和设备不能够提高煤炭企业的安全生产水平，且使煤矿安全生产系统不能有机生产，在逻辑和功能方面均有不足之处。那么，为了能够更好地提高煤矿的安全生产，我们就必须对物联网、大数据、云计算这几类技术进行深入研究，并有效地应用到煤矿生产中去。
1 物联网、大数据及云计算技术
1.1 物联网、大数据技术
美国工科学院第一次列举出“物联网”的技术核心，无线识别频率这一特性正是物联网技术的核心所在，可实现清晰的通信协议，更完美的信息联通。发达国家指出互联网技术产业发展的重要性，并资助了一些物联网核心技术的企业，相较于落后国家，发达国家较为重视互联网技术的发展。我国早已看到这种新兴产业的优势，正在对物联网，实现战略协调，投入政策和资金来支持物联网事业及互联网的发展，开始了长远的研究和建设。
大数据的概念是抽象的，一般是由它的功能推出，代表定义“3V”，它有“大容量，多样性，快”的数据库特性。数据中心网络标识具有“低价值密度”的大型数据库的重要特征。数据存储，管理和分析数据引发的挑战，皆为大数据所影响。因此，基于数据收集和集成方法的ETL、数据抽取、变换和加载已经提出了基于Hadoop的数据存储方法。
1.2 云计算技术
现今，新兴的云计算技术是非常流行的，其具备按排需求、规模庞大、虚构能力强、模拟能力高、真实性强、发展空间广阔等特征。在这些技术中，云计算的商用能量也是不可比拟的，因此得到广泛性运用，软硬件架构体系也由此诞生，例如百度、亚马逊、微软等公司都是系统运用的代表性企业。
2 煤矿信息化技术
2010年开始，我国对煤矿行业信息化的介入有了新的起点。现今的科技人员掌握的煤矿信息大体上一致，没有突破性进展，因此实施起来不能够做到尽善尽美，它所实现的无非是对各个子系统设备进行联网及远程控制，不能够完善有效的改造计划。
3 物联网、大数据及云计算技术提升煤矿安全生产水平的思考
3.1 3种技术的地位和作用
3种技术的应用，可使环境监测监控系统得到扩容，电视数字化实现共享，有效防止数据瘫痪，因此大大减少了煤矿生产的安全隐患，3种技术介入煤矿有其必要性。
3.2 应用展望
煤矿物联网改造建设后终将迎来煤炭企业质的飞越。我们可以直观地预测到，矿山物联网改造建设后，煤矿安全生产监测监控系统提高了预警能力，使其由被动监测系统转换为主动监测系统，图1展现了其特有的功能，只有根据相应变化，实时抓取安全信息并掌握信息系统的煤矿工作人员情r，使其呈现主动状态，主动知道预警情况，可迅速离开危险区域或即将发生的灾难。只有实现这一转变，才能提高煤矿安全生产水平。
4 结语
物联网、大数据及云计算技术应成为提高煤矿安全水平的必要技术核心方法。为使中国的煤炭科技腾飞，中国的信息工作者应把握机会，率先进入国际化先进行列，真正迈入物联网、大数据及云计算技术的应用研究领域中去。
参考文献
大数据云计算技术篇9
在经济发展和科学技术的进步时期，为人类带来了效益的同时也造成了严重的资源浪费，因此在这一时代背景下各国都加强了对智能电网的研究和建设工作。在智能电网的管理过程中，对于大量数据的管理、处理、存储等方面的问题困扰使用者，这也是现阶段需要及时改善的内容，因此本文以此为背景，对其应用和挑战进行分析和研究。
1 智能电网云计算大数据处理技术的应用现状
1.1 智能电网的大数据
在智能电网中，大数据的产生和存在主要由以下三个方面的原因[1]。一方面是对于电网运行以及设备数据方面的内容，这方面的数据也是智能电网的主要内容，同时也是程序最复杂的部分；第二方面是对于电能的营销数据，这也是企业发展最橹匾的部分，很多企业都对这部分内容投入大量的人力、物力投入；第三个方面是对于电力企业的管理数据。在这三方面形成了严密、系统的整体，但是很多专家和学者都不会采用分层划分的方式，因此导致多数学者倾向于数据内部的层次划分。大数据力求通过整合数据内部的结构为主要特点，对数据的相关信息进行有效的细化分析，从而分析出结构性数据以及非结构性数据两个不同的部分。同时对于非结构数据而言，无法利用数据库的二维模式进行编辑，这种类型的数据呈现出高速发展增长态势。在电网系统中，对于智能电网数据而言，非结构数据占据极大的比重。
1.2 大数据处理技术的复杂性
随着全世界的科学技术的发展，对于大数据的研究和应用不断发展和深入，大数据的应用和科学的发展都对科学和经济的发展具有重要的影响[2]。现阶段的国家、企业之间的竞争都是围绕大数据进行的控制和管理工作。但是对于云计算平台自身而言，其实用性存在较大的劣势，对于大数据的分析和挖掘等方面无法得到充分的满足。随着大数据的多元化发展方向，对于数据的发掘以及处理方面都得到了及时的提高，从而有效利用复杂的混合计算模式，从而实现智能化电网的大数据技术的局限性突破和发展。
2 智能电网中云计算大数据处理技术的具体应用和分析
2.1 智能电网中大数据的传输和存储技术
当前信息化技术的发展使得电网系统地智能化发展取得了一定的成效，在电力系统的运行过程中，需要对各个环节的相关数据和设备的监测数据进行详细的记录，这个过程中所产生的海量数据，使得监控系统承担着比较大的压力，对于智能电网的进一步发展有着一定的阻碍作用[3]。在电网数据的传输方面，通过利用数据压缩的方式可以减少数据的传输量，保证数据传输效率的提升。这样导致越来越多的数据压缩技术被应用到智能电网中，能够降低数据存储的空间，但在这个过程中会造成一定的资源浪费。在数据的存储方面，通常情况下使用的方式是分布式文件保存，实现对于大量数据的存储，但是在对于实时数据的处理方面存在着一定的缺陷。
在智能电网中，非结构化数据占到了比较大的比重，有着十分重要的作用，在存储方面要将这些海量的非结构化数据进行有效转化，是当前智能电网大数据处理技术所面临的困境。
2.2 大数据的实时处理技术
大数据处理技术在当前的智能电网进程中有着比较重要的作用，在大数据技术的应用中，处理速度是一个重要的衡量指标，如果数据的规模过大，所需要的处理时间就比较长，当数据规模超过处理技术的承受能力，会对电网的正常运行造成一定的影响，这就需要保证数据传输、分析以及处理的速度。大数据云计算系统虽然能够为智能电网提供优质快速的服务，但是也有可能会造成网络堵塞现象，会使得电网的服务器运行受到影响。
2.3 可视化分析技术
智能电网在运行过程中会产生大量的数据，而对这些数据进行及时有效的处理，同时在有限的显示屏内展示给用户，这也是当前智能电网大数据处理所面临的严峻挑战。同时还要保证智能电网数据网络的质量，对整个网络系统进行定期的检测和维护，如果出现故障，要结合出现故障的现象采用相关的技术进行分析处理，在根源上解除故障，保证数据网络正常运转。
3 结语
通过上述的分析，在当前提倡绿色低碳经济发展理念以及网络信息技术飞速发展的基础上，智能电网的建设和发展已经成为一种必然的趋势，在智能电网应用中的云计算大数据处理技术主要包括存储和传输技术、实时处理技术以及可视化分析技术，文章对这集中主要的技术进行了研究和分析，最终得出这几种技术在智能电网中有着非常重要的作用，可以对电网系统的戴亮数据进行及时的存储、传输、收集以及处理，有效的弥补了传统处理技术的不足，使得电网数据处理的效率和质量得到了大幅提升，但是也存在着一定的不足，这就需要相关的工作人员进行不断的努力和创新，探索出一种有效的解决方法，促进我国智能电网的稳定健康发展。
参考文献
大数据云计算技术篇10
随着科学技术的不断发展，云计算技术的应用大大促进了社会各个领域的发展，云计算作为一种新型的计算机技术，具有诸多的优势。云计算具有存储量大、对信息数据信息运算能力较强、平台规模较大等优势。现今物联网概念的提出云计算的出现，其技术的优势刚好解决了物联网中信息数据大、数据信息处理不得当的问题。随着云计算的不断被关注，文章从云计算的定义角度出发，首先对云计算进行了系统的介绍，其次对云计算的优势进行了简单的分析，最后对云计算在物联网中的应用进行了详细阐述。
1 云计算的概述
1.1 云计算的定义
云计算是一种对数据信息进行计算的计算模式。计算机技术发展的时代产物，作为信息时代具有颠覆性的信息技术。文章对其进行了简单介绍。云计算是以应用为目的，通过先进的计算机技术，能够在互联网上实现互享的计算机软件、计算机硬件资源和信息数据，能够依据客户的不同程度上的需求，将信息数据输送给计算机和其他信息数据设备。云计算是指通过网络的连接和所需的方式来获得所需要的资源。云计算是服务的交付和使用模式[1]。
1.2 云计算技术的优点
云计算是将互联网为运作平台，为用户提供便捷安全和快速的网络计算和数据存储服务。在云计算的模式中，用户需要各种各样的应用程序而并非在终端设备上运行，而是在互联网上的平台上进行运作的。
1） 对数据信息的存储方面
云计算通过使用分布式的方式，对数据和信息进行存储，分布式则利用冗余的方式进行对数据的存储。其能对统一分数据信息进行多个副本的存储，以此来保证存储信息的安全性和可靠性。此外，云计算系统为满足大量客户的需要，同时的为多个相关用户提供服务。所以，云计算对数据信息的存储技术要求较高，云计算具有先进的存储技术，同时还具有较高的数据传输速度等优势[2]。
2） 对数据信息的管理方面
云计算系统对数据库的数据信息进行管理时，通过高效的处理技术可以为用户提供便捷的服务。所以，云技术的数据管理和处理技术能实现对数据库有效管理的需求。此外，云计算还能在海量的数据库中搜寻到指定的数据信息。云计算的特点是云计算对数据库的信息读取和处理的频率超过数据库内数据信息更新的频率，基于云计算是一种读取优化的数据管理模式，使得云计算被广泛地应用。云计算在处理信息时利用的列存储的方式对数据和信息进行管理时，即将数据信息按列划分再进行存储[3]。
云计算规模大、信息调度便捷。云计算技术之所以成为现今被广泛利用与组织机构中，主要是由于云计算对计算机技术进行了综合性的运用，主要运用了虚拟化计算机技术、分布式的计算机计算方式、多副本信息数据中的容错的计算机技术等。从而使得云计算拥有较大的规模，由于综合运用了计算机各种技术，使得云计算对数据计算的能力大大增强。云计算能够搭建较为廉价的、高效的运算连接点，从而为企业及社会各组织，在信息数据资源上的查阅和调动上更为便捷和灵活。此外，云计算技术的安全性极高。其数据信息是由专业的安全专家来负责保存和对数据进行管理的。
2 云计算在物联网中的应用分析
1） 云计算和物联网的结合方式
物联网与云计算都是根据互联网的发展而衍生出来的时代产物，互联网是二者的连接纽带。物联网是把数据信息的载体扩展在实物上，物联网的目标是将实物进行智能化的管理，为了实现对海量数据的管理和计算，就要需要一个大规模的计算平台为支撑。云计算的技术能实现对海量数据管理。所以，作为这种特定的计算模式，能够实现对数据库的数据信息进行实时的动态管理和分析。将云计算应用到物联网的数据传输和数据应用中，很大程度上提高物联网的运行速度[4]。
2） 云计算对物联网的意义
云计算能为物联网提供技术支持，物联网为了实现规模化和智能化的管理和应用，对数据信息的采集和智能处理提出了较高的要求。基于云计算具有规模较大、虚拟化、多用户、较高的安全性等优势，能够满足物联网的发展需求。云计算通过利用其规模较大的计算集群和较高的传输能力，能有效地促进物联网基层传感数据的互享。云计算的虚拟化技术能使物联网的应用更容易被建设。云计算技术的高可靠性和高扩展性为物联网提供了更为可靠性的服务。基于云计算各种有死能为物联网的建设与发展提供了更好的服务[5]。
3） 云计算与物联网的结合优势
云计算的大规模服务器，很好地解决了物联网服务器节点不可靠的问题。随着物联网的逐渐发展，感知层和感知数据都在不断地增长，由于处理不当，使得服务器的各个部分较容易出现错误的状况，在访问量不断增加的情况下，会造成物联网的服务器间歇性的崩塌。增加更多的服务器资金成本较大，而且在数据信息较少的情况下，会使得服务器产生浪费的状态。基于这种情况，云计算弹性计算的技术很好地解决了该问题。
云计算能使物联网在更广泛的范围内进行数据信息互享。物联网的数据及信息直接存储到网络平台上，而网络平台的服务器分布在世界各地。在网络平台的服务器可以不受地域的限制，对信息的采集和传输能很大限度的实现数据信息互享。云计算技术中的挖掘数据技术，还能够有效地增强物联网的数据信息处理能力。同时，云计算还增强了物联网总的数据信息处理能力，提高了物联网的智能化化处理的程度。物联网应用用户的不断增加，使得其产生可大量的数据信息，云计算通过计算机群，为物联网提供了较大强大的计算能力[6]。
物联网的产生是建立在互联网基础之上的，云计算技术是云计算是一种依据互联网的计算方式，在这种新型的网络数据信息应用的模式总，可以预见在未来网络技术的发展中会形成一定规模。因此，云计算与物联网的有效结合会令云计算技术从理论走向实际应用中，并促进社会经济产业的辉煌发展[7]。
3云计算与物联网的应用实例
1） 在电网方面的应用
近些年来，我国电力部门开展了电网的智能化模式，其主要么地是支持物联网时代所带来的能源转换和节省资源。智能化的电网是把新型材料、先进电力设备、新型能源和国内当下先进的科学技术一家网络管理技术有效的相结合，用以实现国内电力的相关工作工作的顺利便捷地进行，保证电力行业更好地服务于社会各个领域，促进电力行业的稳定发展。云计算与物联网的有效结合，促进了国内电力行业的协调发展，有效地辅助电力企业的数据转换业务，为电力企业提高工作和服务效率[8]。
2） 在交通方面的应用
随着物联网的不断发展，物联网的理念已经转变到产业中来，物联网在交通系统中得到了广泛应用，物联网的有效应用为人们的生活出行带来了极大的便捷，尤其体现在较为繁华的城市中。智能化交通是将传感器和诸多电子信息系统综合地运用起来，并在地面上建立安全、实时、准确的交通运输系统，并通过先进的技术对交通运输系统进行全新地改造，从而形成一种自动化、智能化的交通系统[9]。
此外，在智能化交通的监控和管理的过程中，对云计算技术的应用中，不是改变了对计算机的思维模式，而是将多种先进的技术进行综合性地整合。主要表现在两个方面。其一是，目前交通数据信息的运行管理系统进入了聘问的运营阶段，对于原有的计算机硬件的需求，有别于以往的需求，对计算机的硬件更注重其平稳性。对云计算的数据信息资源的需求服务解决了计算机软件成本问题。其二是，在交通运输行业中，其基础设施和设备都在快速发展，对于机场、火车站、客运专线和铁路干线的建设也加入了软件设计和程序的思维，促进了交通运输领域的发展。所以，云计算和物联网有效地结合，使得交通运输系统实现信息化，加速了交通运输系统智能化的建设[10]。
3） 在公安系统中的应用
国内的公安联网系统是由大量的前端感应系统集合在一起形成的，对海量数据的村粗的需求较高，并且要求对海量数据进行有效的管理和计算，对有效的数据进行搜索的那个较为复杂的计算过程。所以，对数据和信息的计算能力和存储能力要求较高。基于数据库中的数据是不断更新的，因此对数据信息的计算要求也是动态式的。所以，云计算技术的计算模式较为符合公安系统的物联网，利用云计算的方式可以实现可配置的计算资源，进行较为便捷的查找和应用，对于较为紧急的资料，在进行查找时要做到快速的访问，云计算的技术满足了这种要求。云计算的框架的公共物联网体系框架可以北国类为感知层、传输层、支撑层和应用层等层面。网络平台的服务主要集中在公安物联网体制的框架的支撑层面和应用层面[11]。
4 结论
文章通过对云计算的概念及其特点进行了简单的介绍，通过介绍，可以了解到云计算的诸多优点，被社会各个领域广泛应用。其次对云计算和物联网的结合形式进行了阐述，可以很明确云计算与物联网结合的可行性。物联网是未来网络发展的趋势，其利用了现今的先进技术，开创了一个全新的技术应用领域，在思想上没有改变人们的思维方式，只是综合地运用了现有的计算机技术，创设了重要的信息数据产业。云计算技术对物联网的技术支持与相互地促进，使得二者在平台和应用中，相辅相成。共同为社会各界的生活提供更便捷的服务。
参考文献：
[1] 王姣龙.物联网与云计算、海计算的关系[J].物联网技术，2012，2（22）：15-19.
[2] 宫红彩，韩庆玉，刘影.浅析无线传感器网络技术在物联网中的应用[J].企业技术开发，2012，8（32）：25-26.
[3] 贾萍，刘聚海，王远.基于云计算及物联网的GIS综述[J].国土资源信息化，2012，6（21）：11-13.
[4] 郭之成.浅谈云计算技术在物联网智能家居系统中的应用[J].信息与电脑（理论版），2012，3（12）：189-190.
[5] 冯志杰.云计算在校园物联网中的应用研究[J].青岛大学学报（工程技术版），2014，3（32）：44-48.
[6] 张婷婷.物联网中云计算的创新应用分析[J].电子测试，2014（16）：63-65.
[7] 赵钧.构建基于云计算的物联网运营平台[J].电信科学，2010（6）：48-52.
[8] 任超，王鹏，董静宜，陈磊.云模式及其在物联网中的应用[J].成都信息工程学院学报，2010，5（27）：453-456.
大数据云计算技术篇11
在过去，为了实现更大的范围的资源共享和高效率的低成本计算，在充分利用网络计算与存储资源的基础上，提出许多类似云计算的模式如软件即服务（SAAS）、平台即服务（PAAS）、按需计算、互联网计算等的新理念，在这些理念研究和发展的基础上，“云计算”概念才被正式提出，因其清晰的商业概念和模式引起广泛的关注和了解，受到学术界和工业的普遍称许，成为近几年最具影响的信息技术之一。继亚马逊提出简单存储服务S3和弹性计算云EC2，“云计算”发展的新阶段正在来临，本文在这样的背景下对当前的云计算发展提出自己的理解和思考，目前网络的数据数据管理正在向云数据管理技术发展，一个全新的管理研究领域正在形成。本文介绍了云计算技术和数据管理技术的基本原理，分析云数据管理领域的主要研究方向。
1 云计算技术
现代社会每天的信息如海量般涌入，用户对技术及的存储能力提出越来越多的要求，云计算作为一项正在兴起的信息技术，因其改变传统用户使用计算机的模式，根据客户的要求提出不同的存储能力、应用服务能力和按需分配的能力，用户在体现计算资源时很便捷和自由，同时降低使用硬件和软件采买费用，云计算在面对极大的分布式模块提出了分布式系统和网格计算的新概念，应用的重点在于以巨大的数据存储功能来提高计算的效率，通过以上种种还延展出其他的应用形式。当前的云计算不在仅限于计算这个问题的本身，现在仍需配合其他的成果和技术来提升云技术的基础功能。
云计算以互联网为载体提供平台、软件和基础架构的服务，以虚拟技术为基础，整合可扩展的海量数据、应用、计算、存储等分布式计算资源协同超级计算模式的运行。目前云计算的概念和分类初步区分，云计算究竟反映怎样的价值更为重要。云计算最核心的是使得计算资源可以实现动态的分配，消费者在无需困扰复杂的技术前提下最大限度实现使用功能。云计算机构分为公有云和私有云两种，实现改善业务，降低成本好精简数据等核心价值。云计算的一个重要价值是软硬件需求的按需扩展能力，完全脱离“本地”计算、数据资源的云计算只是一种比较理想的状态，考虑到私有云、遗留系统、可靠性、安全性等因素，云计算具有整合资源按需扩展方面的特殊意义。云计算在传统电信增值服务的基础上进行一些开拓和延伸，给互联网用户提供信息技术基础资源，在很大程度上减低互联网用户的使用成本，用户可以投入更多的时间和精力关注自身业务的发展。云计算将大量计算分布在分布式计算机之上，数据中心运行更接近互联网的运行模式，企业根据自身的需求转换相关资源，并有效实现和促进企业的管理。云计算因宽带接入、按需服务、虚拟化资源池等特点，对当前的信息技术系统带来巨大的有挑战和风险，对未来云计算技术的发展提出了更高层面的要求。
2 云数据管理技术
云数据管理系统基础理论建设日渐成熟和完善，但也存在一些无法解决的问题和困境，云计算搭建平台用户数据的分隔问题，在数据因为意外丢失时怎样高效修复和恢复的技术，在应对完全认证和外部审计时云数据体现出的一致性和安全性，云计算支持传统网路数据管理系统和数据库管理系统，在云数据管理方式的变换方面研究，将原有的数据库查询功能增强，目前在研究领域运用S3、HDFS、GFS等文件系统可以很好的解决云计算中大量的数据集合问题，对于云端出现的大量数据进行有效解读，结构化数据管理在依靠专门数据管理的同时，两者之间的关系也很微妙，相类似于一方负责文件组织一方负责数据管理，云数据管理应该着眼于云计算中大量数据精准定位和数据集合的高效管理，只有高效的管理模式才能适应不断海量的信息冲击。
谷歌目前运用BigTable作为有效管理大规模结构化数据的分布式存储系统，在继网络数据管理系统和数据库管理系统之后，云数据管理系统成为一个重要发展阶段，云数据管理技术大规模、结构化、分布式等特点出发，把BigTable等分布式数据管理系统演化系统界定为云数据管理系统，它在应用上为客户提供方便快捷的数据模型，提供高效的数据读取率，但是不完全支持关系数据结构。为了实现原有数据系统的逐渐丰富化和多元化，不断提高查询的功能和索引功能，云数据服务智能和数据挖掘等方面亟待提高。我们相信在技术的创新与变革过程中，厚重的沉淀一定会提供更多的支撑力，随着人们的认知的提升和普遍接受认知性的提高，社会的大量信息化的冲击下，云数据的管理技术也越来越赢得普遍的关注，我们传统的数据处理方式在应对海量信息的冲击下，会出现一定的困难，云数据管理系统从全新的视角阐释了数据处理的问题，从更深的层面对数据额的处理问题给与一定的关注和理解。随着应用领域的不断发展和演变，现在出现越来越多新的数据管理技术，导致数据存储和管理方式不断在变换。
总之，目前云计算出现并得到了迅速发展的结果，同时也是数据密集型技术发展的必然结果，目前云计算技术还未形成一定的系统和标准，云计算的平台搭建成功后承载了很多用户，但云计算技术仍面临数据安全、服务质量和行业标准等等一系列亟待解决的问题，而云数据管理技术出现了一些管理平台和应用实例，随着目前科技的发展和学界的普遍关注，在逐渐推进云数据管理技术日渐成熟和完善，在应对大量信息的冲击下感到一定的困难，依靠云数据管理技术增加对问题的探讨和解决。
参考文献
大数据云计算技术篇12
1 云计算和数据挖掘
1.1 云计算
云计算是并行计算和分布计算以及网格计算的发展，是一种在海量数据大规模的集合中能动态处理各种服务器数据资源的一类计算平台，在电子商务、商业金融、科研开发等领域能得到广泛的应用。它具有大规模、虚拟化、高效率、通用性、廉价等特点，能针对不同的用户的不同需求，动态透明地提供其所需的虚拟化计算和资源储存，并能及时动态回收当前用户暂不利用的数据资源以提供给其他用户，而其廉价、通用的特点，使得一般用户实现大规模的数据操作成为可能。目前来说，云计算的平台已得到良好的发展，日益成熟，基于云计算的应用已经可以相当方便的部署和操作其数据资源。
1.2 数据挖掘
数据挖掘技术是现代知识发现领域的一个重要技术，它是指一个从随机的大量而不完整的模糊的实际数据中提取其中某些隐含着的具有潜在价值的实用知识与信息的过程。其具体技术有特征化、聚类、关联和预测分析等等，涉及到的高级技术领域有统计学、机器学习、模式识别、人工智能等方面。
2 基于云计算的数据挖掘平台构架
网络云的发展给数据挖掘提出了新的问题和时代的挑战，同时，也为数据挖掘提供了新的计算平台和发展机遇。基于云计算的数据挖掘系统平台的发现，解决了传统的数据挖掘技术出现的时代滞慢、效率较低、功能落后、成本高昂等问题。云计算是一种商业计算模式，是网格计算与并行计算及分布式计算在一定程度上的商业实现，其动态、可伸缩的计算能力使得进行高效的海量数据挖掘的目标不再遥远。同时，云计算SaaS 功能日益被理解和标准化，使得基于云计算SaaS 化的数据挖掘有了理论和技术的指导，并具有了企业化与大众化的发展趋势。
2.1 数据挖掘平台构架
建立在关系型数据库之上的传统的数据挖掘技术构架在现时代数据急剧膨胀和分析需求渐增的发展下已经难以应付社会的数据处理问题。而云计算的分布式存储与计算形式则接受了当代的数据挖掘难题，促成了适应时代的云计算数据挖掘平台构架的形成。其包含了面向组件的设计理念和分层设计的思想方法。其构架自下向上总共分为3 层，分别为底层的云计算支撑平台层、中间的数据挖掘能力层和上层的数据挖掘云服务层。
2.2 基于云计算的数据挖掘平台构架各层意义
云计算支撑平台层：顾名思义，该平台层是云计算数据挖掘平台的基础处理平台，其主要具有的功能是对分布式文件存储与数据库提供资源存储，以及实行对数据的有关处理和计算功能。
数据挖掘能力层：该平台结构层主要是提供挖掘的基础能力，是数据挖掘的核心支撑平台，并对数据挖掘云服务层提供能力支撑。该平台层包含了算法数据并行处理、调度引起和服务管理的框架，该平台层可以提供系统内部的数据挖掘处理和推荐算法库，亦支持第三方的数据挖掘算法工具的进入。
数据挖掘云服务层：数据挖掘云服务层的主要功能是对外提供数据挖掘操作的云服务，同时也能提供基于结构化查询的语言语句访问，提供相关的解析引擎，以便于自动调用云服务。对外数据挖掘云服务能力封装的接口形式多样，包含了基于简单对象访问协议下的Web service、XML、HTTP以及本地应用程序的编程接口等多种形式。另外，在必要的时候，云服务层的各个业务系统可以进行数据挖掘云服务的调用和组装。
3 基于云计算的数据挖掘平台构架的关键技术探讨
基于云计算的数据挖掘平台构架的形成，离不开现代先进的科技技术，其中几项关键的技术应用将在这里进行简要的阐述：
3.1 云计算技术
3.1.1 分布式储存技术
通过采用分布式存储的方式来存储数据，是云计算技术保证数据处理高可靠性和经济性的重要保证。用可靠的软件来弥补硬件的不足，是分布式存储技术提供廉价而又海量的数据挖掘支持的重要途径。
3.1.2 虚拟化技术
在云计算的环境下，数据挖掘能实现对大量的可用的虚拟化技术的应用、整合，发展出一套全面虚拟化的运行战略。云计算和虚拟化的共同组合，使数据挖掘实现了跨系统下的资源调度，将海量的来源数据进行IT资源汇合，动态地实现对用户的虚拟化资源的供给，从而以高效率、海量动态的特点完成服务任务。
3.1.3 并行云计算技术
并行云计算技术是一种对于高效执行数据挖掘计算任务极其重要的技术，并且它对云计算的某些技术细节做出了封装，例如任务并行、任务调度、任务容错和系统容错以及数据分布等。该功能代替了用户对这些细节的考虑，使得研发效率得到了提高。
3.2 数据汇集调度中心
数据汇集调度中心的功能主要是完成对不同类型的数据进行汇集。它实现了对接入该云计算数据挖掘平台的业务数据收集汇合，能够解决与不同数据的相关规约问题，并能支持多样的源数据格式。
3.3 服务调度与管理技术
对于基于云计算的数据挖掘平台，为了使不同业务系统能够使用本计算平台，必须要提供相应的服务调度与管理功能。服务调度解决云服务下的并行互斥以及隔离等问题，以保证安全、可靠的平台的云服务。服务管理功能要实现统一的服务注册与服务暴露功能，并且支持接入第三方的数据挖掘，以更好地扩展平台的服务能力。
4 结束语
在时代的需求下，云计算技术的出现是并行计算技术、网络技术和软件技术不断发展的必然产物。现代社会，云计算已经体现了其在商业、电子和科研开发的高价值。基于云计算的数据挖掘平台，由于其强可靠性、高扩展性、高经济性、海量处理数据等优点，会成为新一代数据挖掘技术上未来长期的技术平台。
参考文献
[1]纪俊.一种基于云计算的数据挖掘平台架构设计与实现[D].青岛：青岛大学，2009.
[2]何清.基于云计算的海量数据挖掘[C/OL]//第二届中国云计算大会，2010.
大数据云计算技术篇13
1 云计算概念及关键技术
云计算与普通的计算不同，它是一种超级计算，它的核心就是密集的信息数据。传统的计算速度不够快，计算机的功能也没有得到最大化的利用。这就好比电力的利用，最初的电力使用都是单独发电使用，这就类似于传统计算。后来进行集中发电，各个用户独立使用，用户想用时就可以快速获得电力，这就类似于云计算。云计算是新的网络技术和传统计算机的结合，是借助网络来提供可伸缩的更快捷高效的分布式计算能力。其中的关键技术主要有数据存储技术、虚拟化技术、数据管理技术以及并行编程模式等。
1.1 大量分布式存储技术
在云计算技术中，需要存储非常多的信息数据，能够有效解决这个的就是大量分布式存储技术。大量分布式存储技术具有很多的优点，它不仅提高了数据信息存储和处理的高效性、精确性和实用性，而且能够在一定程度上改善因为计算机硬件缺点造成的存储问题。大量分布式存储技术从经济性和实用性多个方面支持着云计算技术。
1.2 数据管理技术
大量分布式存储技术为云计算提供了信息数据存储的空间，而大量数据的处理就需要用到数据管理技术。云计算相对于传统计算从互联网上寻找和处理的信息数据量更加大，而数据管理技术能够快速的从互联网技中寻找需要的信息，并对信息进行分类和高效的处理。它是云计算中非常重要的一项技术。
1.3 虚拟化技术
在传统的计算中，硬件、软件以及存储等都是紧密联系在一起的，这降低了数据的处理效率，同时也使信息处理欠缺便捷性。虚拟化技术也是云计算中非常重要的一项技术，它独立了硬件、软件以及存储等，从而达到合理分配计算资源的目的。虚拟化技术中各个部分的独立，使信息的处理更加快捷方便。比如需要读取信息时，可以从各个网络接入点进入，从云网络中读取数据。现在虚拟技术发展的一个方向就是将各种软件放置于云网络中，当需要用到软件时，不必要单独安装，只需要通过网络在云网络中进行读取就可以了。
1.4 并行编程模式
云计算跟传统计算不同的一点就是使用了并行编程模式，它采用的是Map-Reduce编程。当新产生一个任务时，它可以将任务按照树枝形状一样将任务一级一级的分布下去，各级能够同时进行执行分布下来的任务。这时任务的完成更加的快捷和方便。
2 Web 数据挖掘
Web数据挖掘是将互联网技术和数据挖掘技术进行有效结合的技术领域，它又可以叫做网络挖掘。Web数据挖掘不仅仅是直接在互联网中寻找到有用的信息，而且能够在复杂的网络信息中找到规律，从而实现信息的快速查找。Web数据挖掘覆盖的技术领域非常宽，主要涉及到数据挖掘、计算机语言学、统计学以及数据获取技术等多个方面。
Web数据挖掘技术根据挖掘方向的不同主要可以分为内容挖掘、结构挖掘和使用挖掘。内容挖掘是指从互联网上的众多信息中对有用知识进行提取，根据信息提取方法的不同，内容挖掘可以分为信息提取法和数据库方法。结构挖掘跟内容挖掘不同，它不是直接挖掘信息，而是针对海量信息后面可能存在的结构模式进行挖掘，通过分析结构模式来获取有用的信息。使用挖掘就是挖掘出相关站点的浏览人数和用户数量，它是通过挖掘日志文件和相关数据内容实现的。
3 基于云计算的web数据挖掘
基于云计算的web数据挖掘借助云计算的关键技术，实现传统web数据挖掘技术的优化。基于云计算的web数据挖掘跟传统挖掘技术目的和大致过程都是一样。目的都是从互联网上海量数据中来发现有用数据和结构，挖掘过程也主要分为数据预处理、数据挖掘以及模式评价三个阶段。但是在具体的数据处理、存储上有所不同。
3.1 数据的收集和处理
在数据收集方面，传统的做法是在将互联网上的数据直接进行收集，然后存储在一个数据仓库中。一旦数据仓库发生问题，所有的数据都可能会丢失。基于云计算的数据收集则是先将互联网上的海量信息数据进行筛选、转化和统一，最后还可以将统一后的数据转化为半结构化的XML文件，将其保存在分布式的文件系统中。这样做一方面可以优化数据收集方法，另一方面可以避免机器设备发生故障而造成存储信息数据丢失。在处理数据时，基于云计算的处理方式借助了Hadoop的MapReduce思想，将整个控制工作交给任务主节点负责。任务主节点会将任务进行分类细化，然后交给互联网上其它比较空闲的计算机资源进行处理。最后将各个分散中心处理后的信息进行集中，然后汇报给任务主节点。这样的处理方式最大化的利用了计算机资源，提高了数据处理的效率。
3.2 数据存储
基于云技术的数据存储是将收集到的信息数据存储在分布式的文件系统中。传统存储就好比把所有鸡蛋放在自己专有的一个篮子中，一旦这个篮子损坏，所有鸡蛋都有可能破坏。而基于云计算的数据存储则是脱离了孤立的一个篮子，而将鸡蛋交给“鸡蛋银行”管理，自己的篮子坏了鸡蛋是没有损失的。需要用鸡蛋时可以马上在各个网点从“鸡蛋银行”中进行提取。基于云技术的数据存储极大的增强了数据的安全性，还使数据的提取变得更加快捷方便。
4 结语
将云计算技术融入web数据挖掘中，极大的提高了web数据挖掘的高效性和准确性，对于计算机技术的发展具有重要意义。本文阐述了web数据挖掘相关概念以及云计算的关键技术。web数据挖掘在云计算的基础上有了很大的发展，而云计算也存在一定的缺点。目前，继续优化云计算技术是提高web数据挖掘高效性的一个重要研究领域。
参考文献
[1]王鹏.走进云计算[M].北京：人民邮电出版社，2009.
[2]陈修宽.Web数据挖掘综述[J].山东轻工业学院学报，2009.
作者简介
