欢迎来到杂志之家!发表咨询:400-888-7501 订阅咨询:400-888-7502 股权代码 102064

大数据平台解决方案实用13篇

大数据平台解决方案
大数据平台解决方案篇1

通过与中国用户的接触,杨兰江认为,当前中国用户最迫切需要了解的是大数据存储有哪些分类,而在大数据应用方面面临的最大障碍就是如何在众多平台中找到适合自己的解决方案。

EMC针对不同的应用需求可以提供不同的解决方案:对于能源、媒体、生命科学、医疗影像、GIS、视频监控、HPC应用、某些归档应用等,EMC会首推以Isilon存储为核心的大数据存储解决方案;对于虚拟化以及具有很多小文件的应用,EMC将首推以VNX、XtremIO为核心的大数据存储解决方案;对于大数据分析一类的应用需求,EMC会综合考虑客户的具体需求,推荐Pivotal、Isilon等一体化的解决方案。在此,具体介绍一下EMC用于大数据的横向扩展NAS解决方案——EMC Isilon,其设计目标是简化对大数据存储基础架构的管理,为大数据提供灵活的可扩展平台,进一步提高大数据存储的效率,降低成本。

EMC Isilon存储解决方案主要包括三部分:EMC Isilon平台节点和加速器,可从单个文件系统进行大数据存储,从而服务于 I/O 密集型应用程序、存储和近线归档;EMC Isilon基础架构软件是一个强大的工具,可帮助用户在大数据环境中保护数据、控制成本并优化存储资源和系统性能;EMC Isilon OneFS操作系统可在集群中跨节点智能地整合文件系统、卷管理器和数据保护功能。

杨兰江表示,企业用户选择EMC Isilon的理由可以归纳为以下几点。第一,简化管理,增强易用性。与传统NAS相比,无论未来存储容量、性能增加到何种程度,EMC Isilon的安装、管理和扩展都会保持其简单性。第二,强大的可扩展性。EMC Isilon可以满足非结构化数据的存储和分析需求,单个文件系统和卷中每个集群的容量为18TB~15PB。第三,更高的处理效率,更低的成本。EMC Isilon在单个共享存储池中的利用率超过80%,而EMC Isilon SmartPools软件可进一步优化资源,提供自动存储分层,保证存储的高性能、经济性。第四,灵活的互操作性。EMC Isilon支持众多行业标准,简化工作流。它还提供了API可以向客户和ISV提供OneFS控制接口,提供Isilon集群的自动化、协调和资源调配能力。

EMC Isilon大数据存储解决方案已经在医疗、制造、高校和科研机构中有了许多成功应用。

方案点评

EMC Isilon是一个强大但简单的横向扩展NAS方案,适用于希望投资数据管理而不是单纯存储的企业。当初,EMC将收购来的分布式数据仓库软件厂商Greenplum的软件与Isilon存储组合成了EMC最早的大数据解决方案。用户既可以分开选择Greenplum软件或Isilon存储,也可以选择由Greenplum软件和Isilon存储组成的一体机解决方案。现在,Greenplum软件虽然已归Pivotal公司,但EMC是Pivotal的经销商与合作伙伴,Greenplum与Isilon存储的组合方案并不会因此受到影响。

HDS UCP:统一平台 应用优化

HDS中国区解决方案与专业服务事业部总监陈戈认为,大数据存储应该是一个解决方案:“大数据解决方案是由基础架构的各部件组成的,包含数据存储、计算和分析,而存储是此架构中的一部分。”

大数据的存储类型与传统的存储类型有一定区别:在大数据存储中,更多的应用是一次写、多次读,读得更多是大数据存储的一个特点,而在传统的数据存储中,读写是随机的,由于每个应用不同,其读写的比例也是随机的;大数据存储需要具有横向的可扩展性,并可支持多种接口、多种数据访问协议,便于不同数据进入这个大数据平台。

谈到中国用户在大数据存储应用中最迫切的需求是什么,陈戈认为,中国用户最迫切的需求是如何逐步实现大数据应用,即用户从现有的模式如何过渡到大数据,如何更好地利用大数据进行经营分析。

大数据的经典定义可以归纳为四个“V”,但企业不可能一步到位实现四个“V”,这需要一个循序渐进的过程。海量的、多种类型的数据是一次性全部载入到大数据中,还是通过现有的平台进行数据初选,再导入到大数据平台中,是两种不同的实现途径。“先通过现有平台进行数据初选,再导入到大数据平台,这种方式更适合于客户逐渐实现大数据,可以缩短用户实现大数据应用的时间。”陈戈表示,“大数据主要是非结构化数据。用户可以使用基于对象数据存储的HCP,利用其独特的元数据采集和智能工具,对非结构化文件数据进行管理,实现智能的自动化,这有助于对数据进行深度分析,帮助客户从单一系统中存储、共享、同步、保护、保存、分析和检索文件数据,减少垃圾数据,进而为大数据分析建立一个良好的基础。”

谈到用户在大数据应用中遇到的主要障碍,陈戈表示,一方面,应用软件本身的智能程度是否能满足行业应用需求,应用软件是否已经成型,大数据人才是否具备等,是让大数据应用落地的关键;另一方面,如何抽取数据,放在大数据平台中进行相应的计算是另一个关键问题。

HDS可为所有数据提供单一、可扩展的虚拟化集成平台。HDS推出了“三步”云战略,从基础架构、内容和信息三个层面帮助客户解决目前所遇到的问题。具体来看,通过“基础架构云”,HDS可以帮助客户进行虚拟化和集成管理,实现数据中心的整合;在第二层的“内容云”当中,HDS可以按需提供内容,更可以不受应用限制地进行数据搜索和集成;在第三层的“信息云”中,针对所有数据类型,HDS在其存储平台中融入了分析功能,使客户可以从数据信息中获取洞察力。

HDS提供的UCP for SAP HANA集成了基于大量数据集的创新和内存分析技术,并提供实时的洞察力,从而使当前的信息驱动型企业可以加快其商业决策的速度。陈戈介绍说,UCP for SAP HANA解决方案结合了HDS刀片服务器技术、企业级存储系统和业内领先的网络组件,在这样一个集成的、高性能的硬件平台上可以快速交付SAP下一代内存计算技术。全球已有超过200家客户在使用HDS和SAP的大数据解决方案。

方案点评

其实,HDS的“三步”云战略也可以看成是其大数据战略。HDS借助以UCP为核心的大数据平台,可以帮助企业用户构建从基础架构到内容归档和搜索,直至信息提取和分析的全面、高效的大数据解决方案。HDS的“信息云”直接与大数据相关。UCP是一个集成了计算、存储与网络的一体化平台,它既可以提供像一体机一样的整合性、简单性,又可以提供灵活的选择,连接第三方的设备组件。HDS还通过与包括SAP在内的众多大数据分析类的合作伙伴合作,针对行业定制优质的大数据解决方案。

HP StoreAll :快速部署 极速搜索

中国惠普有限公司企业集团存储产品部存储架构师张楠向记者表示,大数据存储是一套解决方案,应该能够对大数据的Volume、Velocity、Variety和Value四个方面提供全面的支持。

第一,大数据存储要支持海量级的数据存储,比如具有PB级的存储能力。第二,大数据存储要支持更高的存储速度,支持10Gb甚至更高的网络连接。第三,大数据存储要支持数据的多样性,如图片、文本、视频、音频等。第四,大数据最重要的是价值的体现,而为了实现这一点,存储本身应该具备快速、智能的数据检索能力。“在存储的最底层提供最直接、快捷的数据检索。这一过程简单说就是,将上层的数据挖掘工作下移,充分利用存储强大的处理能力和数据识别能力。”张楠举例说,“比如,在秒级的单位内对数据进行极速的搜索, 从几千万甚至上亿个文件中找到目标数据。”

另外,模糊查询能力也是大数据存储不可缺少的功能。智能的模糊查询将为大数据平台提供更加便捷的存储服务能力,使得存储更像一台智能的高速计算设备。

目前,很多中国用户在存储厂商的引导下,片面追求存储的大容量和高性能,而忽略了大数据存储本身应该提供的其他额外属性。中国用户在实施大数据的过程中经常遇到的障碍有以下两方面:第一,无法将存储与大数据平台进行对接;第二,无法充分利用大数据存储的价值,也很难将其运用到实际的业务中。张楠表示,究其原因,主要在于有些大数据存储产品没有开放的接口协议,或没有针对用户的大数据场景进行特别优化,也没有用户容易接受的易用的管理方式等。

惠普在大数据方面可以提供软硬结合的解决方案。惠普在收购Autonomy公司之后,将其软件与惠普的硬件平台进行了整合, 形成了一套完整的大数据解决方案。张楠介绍说,在存储方面,惠普拥有像StoreAll这样的大数据存储平台。借助HP StoreAll硬件平台,用户除了可以实现海量数据的存储和高速数据访问以外,还能实现高级的数据检索功能,对特殊文件进行快速定位。同时,结合HP Autonomy软件的特性,惠普还引入了模糊查询、智能语义库等概念,可以帮助企业用户通过存储底层为上层业务带来所需的大数据业务价值。

如今,闪存不仅在大数据领域,而且在Tier 1存储市场同样占据着十分重要的地位。对于大数据平台来说,闪存可用来提升存储的存取速度,降低I/O的响应时间等。针对那些I/O压力十分明确的大数据平台, SSD可以发挥其效果, 提升存储的整体性能。但是,SSD并不是万能的。因为大部分的数据都是非结构化的,而非结构化数据对I/O的响应要求远远没有对带宽的需求大,所以,让用户花数倍的价格购买SSD存储在目前来看还是比较困难的。从目前情况看,引入闪存的大数据解决方案还不是很普遍。

方案点评

惠普在大数据方面收购了两个软件公司Vertica与Autonomy,然后将它们的软件与原有的硬件平台进行整合,针对结构化和非结构化的数据都可以提供针对性的解决方案。惠普在将大数据软件与存储硬件结合上也进行了尝试,其中一个成功的例子就是HP StoreAll大数据存储平台。HP StoreAll具有以下特点:横向扩展,最大可以扩展到16TB;集成HP Autonomy搜索引擎,可以快速搜索,实现实时大数据的价值;内置对OpenStack的支持,可快速部署;支持文件和对象类型的数据存储。

NetApp:统一架构 无限扩展

如今,企业若想获得成功,就必须想方设法应对具有前所未有的复杂性、高性能的海量数据,并尽可能地管理这些数据,从中发掘更大的商业价值。

对于国内用户来说,无论企业的规模和数据量大小如何,运用大数据的关键在于,企业是否把大数据作为一个真正的工具,去体现企业的差异化,从而提升竞争力。随着越来越智慧的企业信息化的发展,IT不再是束缚企业发展的瓶颈,而是真正地融入了企业自身的业务中。越来越多的公司将大数据成功地运用于企业的商业模式。例如,在欧美,很多企业已经着手将大量资源投放在大数据领域。反观国内,在金融领域,有为数不少的企业通过大数据的分析工具来分析金融的走势,实现风险管理,进行信用卡的追踪等。此外,像零售、制造、电信等行业也已在尝试利用大数据分析工具为企业营销和决策提供支撑。

无论企业现在是否正在使用大数据工具,企业都应全面地考虑自身未来发展的需求,选择一个厂家的平台与之共同发展,这可以有效避免因数据和应用迁移带来的麻烦。

在大数据方面,NetApp能够帮助企业实现数据管理,应对业务挑战的极限,将以数据为导向的洞察转化为有效行动。若想将数据转化为商机,仅仅提升管理能力是不够的,需要彻底转变数据和业务之间的联系模式。NetApp可以帮助企业用户持续管理数据,迅速把握意料之外的新商机,永久保存所有数据,并在灵活、开放的存储平台之上打造属于企业自己的大数据解决方案。

NetApp提供了可高效处理、分析、管理和访问大规模数据的大数据解决方案。NetApp的解决方案组合可划分为分析、带宽和内容三个主要用例,这被称之为大数据的“ABC”基本要素。

具体来看,分析(Analysis)是指针对极大数据集的高效分析。NetApp分析解决方案就是帮助用户深入了解和利用数字世界,将数据转化为高质量的信息,以及提供关于业务的更深入见解,从而帮助企业做出更好的决策。

带宽(Bandwidth)是指适用于数据密集型工作负载的性能。此类解决方案着重于为速度非常快的工作负载提供更高的性能。高带宽应用包括高性能计算(能以极快的速度执行复杂的分析)、用于监控和任务规划的高性能视频流、媒体和娱乐领域中的视频剪辑和播放。

内容(Content)是指无限的安全数据存储。此类解决方案着重于满足可扩展的安全数据存储需求。内容解决方案必须支持存储的无限扩展能力,以便企业可以根据需要存储任意多的数据,并能在需要时找到所需的数据。

NetApp致力于通过一系列解决方案来提供高性能的运算和大数据的应用。2013年11月,NetApp再次更新了E系列家族产品,推出E2700和E5500。该系列产品采用可轻松扩展的设计,适用于要求99.999%的可靠性且稳定、高性能的工作负载。

用户在采购大数据存储产品时,需要注意以下五个方面的问题:大数据存储必须具有向上扩展与向外扩展的能力;架构必须是针对工作负载进行优化的,具有实时处理能力;具有整合的数据保护功能;保证7×24小时运行不中断,可在线进行容量扩展,实施数据迁移等;可以实现服务的自动化。

方案点评

NetApp的技术优势集中体现在其统一存储平台上,从入门级产品到企业级产品,全部基于同一个体系架构和操作系统,不仅部署和使用方便,而且升级和扩展非常简单。当初,NetApp收购LSI Engenio,其中一个重要的原因就是为了大数据。2013年,NetApp不断更新E系列产品线,推出E2700和E5500等。E5500可以支持高IOPS混合工作负载和数据库、高性能文件系统和带宽密集型流等应用,可确保数据的高可用性、完整性和安全性。

曙光XData:高度集成 贴近行业

关于大数据存储,目前业界没有一个通用的定义。曙光信息产业股份有限公司总裁助理兼存储产品线产品总监惠润海从曙光大数据平台和解决方案角度,概括出大数据存储的主要特征。

首先,大数据存储必须支持全类型数据, 包括结构化、半结构化和非结构数据,实现统一数据支持。

其次,存储性能上,一方面,大数据存储要支持海量数据,并且要在保证数据可靠性的基础之上,实现容量与性能的线性扩展;另一方面,为了实现大数据的价值,批处理和实时处理两种措施都需要高性能的数据访问获取能力。

最后,在系统达到一定规模之后,系统的易用性和可管理性也是不可或缺的。

从应用角度来说,目前中国用户在大数据存储应用中最迫切的需求,是如何真正实现用户数据的价值,如何驱动业务发展,实现决策和运营。“从系统构建层面说,要实现数据高性价比的存储和管理,同时满足数据服务的相关需求。”惠润海表示。

针对用户对大数据存储的需求, 曙光推出了像大数据一体机这样的全类型数据分析型产品,同时还基于该产品构建了基于行业的解决方案,以帮助用户实现大数据落地。

“除此之外, 我们还提供了大数据统一数据中心解决方案, 涵盖了像主攻事物处理的DS900、DS800,以及针对文件存储的Parastor等存储产品。我们基于这些存储产品构建了大数据运营管理平台。”惠润海介绍说,“曙光的优势不仅在于可以提供全面的产品支撑,更重要的是能够提供数据生命周期过程服务支持。目前,我们提供的免费维保期限为5年。”

曙光开发了针对不同行业和应用场景的大数据存储解决方案。以金融行业为例,目前国内四大行的应用系统每年产生的非结构化数据量已达到PB级,结构化数据也以百TB计。面对如此大量的数据,如何存储、管理、利用和盘活它们呢?惠润海认为,只有通过商业智能和高级分析应用解决方案才能将数据的价值最大程度地发挥出来。

针对金融行业用户的需求,曙光开发的XData大数据解决方案利用优化的大数据处理技术,对文件管理、历史数据查询和数据分析类应用等进行深入研究,为数据爆炸式增长带来的海量数据存储及分析应用提供高可靠的解决方案。

曙光金融行业XData大数据解决方案采用曙光自主研发的SN-MPP并行数据库,同时结合大数据处理事实标准Hadoop,并充分考虑了多方面的数据收集,加入ETL工具和连接驱动器,提供了类SQL的接口,还和现有金融业务系统进行对接。

大数据平台解决方案篇2

4月7日,台达电子集团(以下简称台达)在北京正式推出可靠、节能的InfraSuite数据中心解决方案。中达电通股份有限公司UPS产品开发处高级产品经理李南将InfraSuite最核心的设计理念概括成“两化”,即集成一体化和系统模块化。

集成一体化,顾名思义就是将网络关键物理基础设施架构(NCPI)所涉及的各种部件全部集成在一起。以InfraSuite数据中心解决方案为例,它将供电系统、IT设备机械支撑系统、空气调节系统和管理系统全部整合在一起,具有更好的可扩展性、可管理性和可维护性,可以降低数据中心建设的总体拥有成本,同时提高数据中心基础架构的可用性。采用集成一体化架构的数据中心机房,设备布局合理,机房显得整齐、美观。一体化的解决方案更便于实现集中监控和管理。

系统模块化的设计理念已经被广大的行业用户所接受。在IT领域,刀片服务器、集群技术等无不以模块化的技术理念为基础。在数据中心机房建设方面,从模块化UPS产品开始,人们逐渐将模块化的设计思想运用到整个机房的构建中。InfraSuite数据中心解决方案的所有组件都是标准化的模块,可以轻松连接,快速安装。李南表示,系统模块化的设计理念最大的好处是可以实现机房的边成长边投资。以前,采用传统的设计理念,为了满足业务高峰期的需求,机房在建设初期通常会过度配置,从而导致设备在大部分的时间里处于闲置状态。用户如果采用模块化的设计理念,就可以根据实际的应用需求进行系统扩展,从而避免资源浪费。

一体化方案是不是万能的

台达为不同规模的数据中心用户提供了不同配置的InfraSuite解决方案。从目前来看,InfraSuite解决方案比较适合数据中心机房,尤其是一些中小型的数据中心机房。从台达提供的数据来看,面积在500平方米以下的中小型数据中心机房都可以采用InfraSuite解决方案。台达分别为小型和中型数据中心用户提供了最优价格、高性价比和最优性能等三种不同的解决方案。

在一些大型的数据中心里,InfraSuite解决方案是否也有用武之地呢?中达电通股份有限公司UPS产品开发处总监陈冰介绍说:“InfraSuite解决方案非常适合用于IT机房。政府部门、制造或零售企业、能源及交通等行业的企业等都是InfraSuite解决方案的目标客户。InfraSuite解决方案中采用的HIFT系列UPS的最大功率可以达到480kVA,能够满足大多数用户的电力保护需求。一些大型的数据中心通常会将机房划分成多个区域,采用分区供电、制冷的方式。针对这种需求,台达也可以提供适合的解决方案。除了模块化的HIFT系列UPS以外,台达也有传统的UPS产品,能够满足工业环境的电力保护需求。”

台达一体化解决方案的优势主要体现在两个方面:第一,遵循国际标准化的设计原则,例如台达加入绿色网格(Green Grid)联盟就是出于这方面的考虑;第二,台达数据中心解决方案追求的是高性价比,可以实现对机房PUE值的持续监控和优化。

从Inside到Outside

台达是一家技术至上的公司。台达每年会将全球营收的5%用于技术研发。据台达资深副总裁张明忠介绍,台达用于研发InfraSuite数据中心解决方案的总投入远远高于台达年收入的5%。“从HIFT系列模块化UPS到机柜,再到具有里程碑意义的InfraSuite解决方案,台达在数据中心解决方案领域的发展可谓一步一个脚印。这些成绩的取得主要得益于台达在技术和行业应用方面的长期积累。”张明忠表示。

创立于1971年的台达,到今年已经走过了风风雨雨的40年。面对蓬勃兴起的数据中心市场以及行业用户对节能减排的迫切需求,40岁的台达将再次面临业务转型的严峻挑战。以前,许多用户的数据中心机房里可能摆放着台达的UPS,但是用户并不熟悉台达这个品牌,因为台达以前的业务以ODM为主。张明忠表示:“如今,台达面临的一个最迫切的任务就是尽快实现从台达Inside到台达Outside的转变,在市场上树立起台达自己的品牌形象。InfraSuite数据中心解决方案的推出标志着,台达已从一个单纯销售产品的公司转变成一个销售整体解决方案的公司。”

作为一个面向全球市场的公司,台达的目标十分明确,就是要成为UPS和数据中心市场上排名前三的供应商。为实现业务的转型,台达将从以下两个方面入手进行业务调整:第一,台达在总部成立了专门的品牌行销部门,目的是将更多的内部资源用于品牌行销,并且不断加强与用户的沟通和联系,提升品牌知名度;第二,台达内部以前是以产品线为业务主导,而现在则以区域市场为主导,将全球市场划分成几个大区,目的是进一步提升台达在各区域的本地化设计、制造、销售和服务能力。

产品链接

InfraSuite的空调及监控产品

大数据平台解决方案篇3

在这个过程中,大连银行也成为第一位吃螃蟹者,选择了天梭K1+DB2的解决方案,从商业智能的核心数据仓库入手,通过对数据的挖掘,洞察业务,迅速决策,继而实现业务快速开发和创新。

I+O为何传统保守

2008年,大连银行的启动基础数据平台建设,由国外小型机和Oracle数据库共同组成基础软、硬件平台,在当时还可以满足银行业务的需求。但最近几年,大连银行总资产一直保持平稳增长,不断推出“九钻完美贵宾卡”、“电子银行”、“贸易服务”等金融业务,分行数量不断增多,而“I+O”就是需要进行突破的环节。比如原有的系统平台架构,就采用两台小型机与共享存储的方式构建,这样的架构一般都用于这种交易型的业务类型。对于管理类的业务,通过Share-Disk的架构,当业务规模不断扩大的时候,整个系统的扩展性和性能都会受到很大的制约。

2012年,大连银行迈出了创新的第一步。当时大连银行和浪潮合作了国家课题,将天梭K1替代了国外小型机,运行过程中K1不仅稳定,性能也有所提升。

大连银行希望在K1基础之上,找到一款合适的数据库产品,把整个平台的体系架构做一次大的升级,解决原有架构中的以下瓶颈:

第一,计算资源的瓶颈。由于平台硬件架构过老,计算资源不足,CPU、内存资源严重不匹配,计算资源性能下降,并且计算资源不能实现平稳扩展,故障率较高,运维难度大等系列挑战。

第二,业务性能瓶颈。原有数据平台不能满足系统业务性能需求,综合信息服务平台跑批时间历时13个小时,汇总层业务历时近11个小时,远远不能满足业务对数据展现的时效性要求。在此背景下,企业内部经营管理和面向监管层面的数据报送压力就十分巨大。为此,大连银行要建设新一代基础数据平台必须具备以下的特质:稳定可靠、弹性伸缩的计算的资源、实现跑批作业的并行处理、存储过程并行效率优化。

对于大连银行来说,最大的挑战是如何找到比Oracle数据库还有竞争力的解决方案,并实现新旧系统的顺利迁移。

K1+DB2 如何胜任关键运营

在与供应商的不断沟通和验证后,大连银行选择天梭K1+DB2的解决方案,构建新一代基础数据平台,这个方案当时在国内并没有可以借鉴的案例。

不过这没有阻挡大连银行前进的步伐,是责任也是创新需要,大连银行开始了技术探索和团队的磨砺之路。大连银行首席信息官田野认为:“从国家自主可控的角度,加上之前参与国家课题的经验,以及对K1和浪潮技术的了解,大连银行需要为自主可控和高端产品的国产化作出尝试和创新。”

由此,浪潮成立了专门的实施团队与IBM、文思海辉等合作伙伴共同配合,为大连银行提供相应服务。

看商业智能的正解

在新一代基础数据平台方案中,浪潮K1 承担核心数据库服务器的角色,DB2作为主要的基础数据库,利用DPF数据库分区功能,实现MPP系统架构,满足企业未来分布式计算以及扩展的需要。

第一,在硬件架构中,浪潮天梭K1 930服务器配备了16颗处理器,通过四个物理分区实现了业务隔离。其中两个分区用于部署数据库和生产,另外两个分区用于业务测试。

第二,新旧系统迁移的过程主要分为评估、计划、验证、测试和上线五个阶段,其中的重点是数据迁移和应用改造以及POC验证三大部分。

迁移的工作是重中之重,此次迁移包括平台迁移,数据库迁移和业务的迁移。

比如数据迁移,大连银行本来就有两大疑虑:此前没有案例可以借鉴;从Oracle到DB2的跨平台的迁移,数据量这么大,会不会丢失?会不会出现平台不一致,数据库无法相融的局面?

三方工程师根据两款数据库的差异,进行了有针对性的调整,提出了三套解决方案进行验证,但测试成绩均不理想。在此过程中,大连银行完全按照迁移时间窗口的最大容忍度要求,制定迁移速率指标,即在12小时内完成1.5T数据量的迁移工作。为达到这一目标,整个项目团队利用了近一个月的时间,开发测试完毕最终的迁移工具。该工具采用标准OCI接口进行开发,支持自定义的并行度设置,从而满足迁移过程中的数据导出要求。从新旧平台测试的性能对比来看,新平台无论在哪个阶段,都比老系统有了明显的提升。

第三,新旧系统平台平滑切换后,以下事实和数据证明,新一代基础数据平台运行时间更短,效率更高。其中,文件加载性能提高76%,基础数据平台处理性能提高60% ,整合处理性能提高88%,汇总处理性能提高34%,数据卸载性能提高38% 。

新一代基础数据平台对原有平台有良好的兼容性,浪潮主机系统事业部工程师孙宁特意指出,很多客户以为迁移的工作量会非常大,特别是代码改写会耗时间耗资源,但通过大连银行的实际迁移来看,代码修改范围仅限于DDL层面,代码修改总量少于1%,整个项目迁移的风险低,是完全可控的。

新平台的“气质”

从大连银行新一代基础数据平台建设来看,选择K1+DB2的方案,只需要在原有系统上扩展完全满足未来业务的需求。

第一,管理提升,实现业务洞察。大连银行通过构建商业智能数据仓库平台,实现业务数据收集、管理与分析;挖掘数据知识与价值,洞察业务,提升业务管理与决策水平。

大数据平台解决方案篇4

戴尔Toad解决方案提高生产力,并改进数据库性能

Toad系列在全球拥有超过200万的用户,是市场上领先的独立数据库管理解决方案,也是戴尔软件端到端信息管理产品的重要组成部分。通过实现与管理复杂的数据库环境相关的许多常见的管理、开发和数据准备工作,Toad解决方案有助于用户提高数据库的性能、可用性和工作效率。Toad系列的最新增强包使数据专业人士能够更好地管理Oracle、SAP、IBM和Hadoop数据库,并为数据分析准备来自各式平台的数据。具体更新的内容包括:

增强的敏捷应用开发。Toad for Oracle 强调其从单用户工具演变成供所有IT团队使用的解决方案,加强了对敏捷式开发最佳实践的支持,实现持续的融合方法。

通过整合Toad Intelligence Central组件,新版Toad for Oracle可以帮助开发和DBA团队更好地协作,让用户更方便地共享Toad文件和属性,如脚本、连接、自动化操作和代码分析规则。

管理团队现在可以使用新的基于Web的代码分析报告,查看历史和就绪性代码报告,且无需额外的许可证。

Toad for Oracle的其他增强功能包括重新设计的主SQL开发区和改进的团队编码区,以加强对第三方版本控制系统的支持和管理。

更好地准备数据。Toad Data Point进一步扩展了Toad家族在数据库管理以外的能力,以推动数据集成和分析工作。通过利用新功能简化数据的转换、清洗、分组、汇总和共享流程,Toad Data Point满足了客户在简化数据的准备方面越来越高的要求。

大数据平台解决方案篇5

IntelliSpace Clinical

Data Repository

企业级临床数据仓库

通过建立临床数据仓库与临床数据集成平台,实现医院内不同部门之间的、异构信息系统间的临床交换、共享、互操作和统一管理。

同时,临床业务和临床用户的需求与临床数据的智能化应用相结合,为医院提供智能化临床数据浏览的临床医生门户、临床管理数据分析门户、临床科研门户以及患者健康门户。

心血管专业临床数据仓库

用于电子记录患者个人心血管数据的中央数据库,通过对不同数据结构的信息互通互联,以减少数据冗余;而直观和易于操作的Web设计,为用户提供轻松、高效和集中式的心血管注册数据访问。同时,系统能够通过数据分析工具对全程诊疗信息进行智能数据挖掘,充分满足医护人员对数据注册、临床研究和医疗质量管理的需求。

区域医疗解决方案

IntelliSpace Regional Health

Information Network(RHIN)

区域医疗协同平台

通过建立高效可靠的区域医疗信息交换平台以及标准化的区域临床数据仓库CDR,实现区域内统一医疗信息交换、共享和管理。通过此平台共享的数据包括居民健康档案、门诊和住院就诊摘要、体检、妇幼保健等。此平台包括了临床数据仓库、医疗文档与图像仓库、患者主索引管理、医疗机构与人员注册、术语(字典)注册、临床数据交换平台、临床医生门户、转诊与转检、疾病智能辅助诊断、患者健康门户、医疗数据挖掘门户、医学教育门户等在内的多个重要模块,可支撑区域范围内各级医疗机构实现医疗信息互操作及医疗协作流程。

区域影像平台

实现集团医院、医院及社区卫生中心等机构之间,对影像的同步、传输、访问、诊断和管理。提供灵活的架构设计,高效整合各类异构系统,建立起各医疗机构、各科室间在影像管理方面高效一致的沟通。

Part 2 临床IT解决方案类

影像IT解决方案

IntelliSpace Imaging

Management IT Solution

影像PACS解决方案

(企业级,科室级,单机版工作站)

构建了一个面向未来的智能医疗影像信息平台,实现高效、快速的影像处理和共享,提供强大的并行处理系统运算性能以及稳妥的多冗余数据安全保障设计。

区域影像平台

实现集团医院、医院及社区卫生中心等机构之间,对影像的同步、传输、访问、诊断和管理。提供灵活的架构设计,高效整合各类异构系统,建立起各医疗机构、各科室间在影像管理方面高效一致的沟通。

高级3D影像后处理云平台

IntelliSpace Portal

拥有飞利浦独有的并行重建技术,突破传统多台终端同时操作影像后处理在速度上的瓶颈。提供目前业内最为丰富的高级临床应用功能,实现全方位的影像后处理及诊断。

远程三维影像会诊平台

基于网页浏览器的临床互动工具平台,不仅实现同时、同一图像、同一操作的临床互动,还可以进行2D、Slab、3D容积重建等多种图像后处理,为放射科和临床医生疑难病例会诊和手术规划提供了全新的实时、远程诊疗工具,实现影像与临床高效互动。

心血管IT解决方案

IntelliSpace Cardiovascular

IT Solution

心血管专业影像PACS解决方案

用于收集、整合、保存心血管科患者就诊期间的所有检查影像并传输到临床部门完成信息共享。医生通过任意一台工作站即可查看所有检查的影像和波形,其中包括ECG、超声、核医学、ICE、IVUS、MR、CT、胸部X光、导管检查、以及电生理记录信号。

导管室IT解决方案

专业的心导管室信息管理解决方案,系统提供心导管室预约、手术排班、手术记录、报告、图像调阅、耗材库存管理以及智能化数据管理等日常工作所必要的模块。最主要的目的是帮助科室梳理工作流程,并通过数据的无缝集成和传输,帮助用户在手术实时过程中一次性采集数据,减少数据的冗余输入或二次录入,帮助心血管医生简化工作流程,加快临床决策过程。通过统计、分析、数据挖掘等科研工具,提升科研教学水平,并帮助管理者提高管理水平。

心电图管理解决方案

可实现心电图讯息的实时远程传输及院内共享,即使临床医生不在身边,也可透过互联网的传输,随时获取并分析患者心电数据。为心脏疾病的诊断争取宝贵的时间。

心动超声IT解决方案

用于对心动超声影像及报告的有效管理方案,可针对超声科室的需要提供检查预约,图像浏览调阅,报告书写等模块。此系统利用专业的心血管超声图像浏览工具、可自定义的挂片协议、离线心脏超声测量工具,室壁运动计分工具、儿科心动超声Z core数据库。

另外,系统配备美国ASE超声的结构化报告模板,让超声医生轻易的完成一份专业的心动超声图文报告。除此以外,内嵌的QLab是专为飞利浦 iE33提供的高级定量分析工具。

专业的实施团队提供系统之间的集成服务(HIS、EMR系统集成),实现以患者为基本单位的全医学影像信息的电子档案管理。

重症监护IT解决方案

IntelliSpace Critical

Care IT Solution

重症监护IT解决方案

将床旁设备、院内信息系统信息全面整合,通过临床数据呈现及分析、智能临床决策引擎及集束化治疗方案,帮助医护人员快速准确做出临床决策,规范执行治疗方案。强大的数据分析及报表功能,为科室管理和临床科研提供强大助力。

手术麻醉IT解决方案

IntelliSpace Anesthesia

大数据平台解决方案篇6

据贺晓东介绍,大数据实时分析平台是英特尔中国和SAP中国共同研发完成的,在英特尔的云创新中心,两家公司的团队搭建了HANA加Hadoop测试平台和环境,并做了调优。贺晓东说,用户可以带着自己的数据到这里进行测试,并能跟SAP和英特尔的架构师一起制定一个优化方案和测试计划,以缩短部署时间,并降低前期的成本。

大数据平台解决方案篇7

[3]百度百家. 2015年电商行业五大趋势[N]. http:///article/42503, 2015.1.13.

[4]J. Dean, S. Ghemawat. MapReduce: simplified data processing on large clusters. Communications of the ACM [J], vol.51, no.1, pp.107-113, 2008.

大数据平台解决方案篇8

移动设备爆炸带来变革机会

云计算会吸引更多人上网,接入更多设备,从而产生更多海量数据——这个即将出现的循环将带来巨大的机会。

《数字商业时代》:云计算的出现让全世界所有信息和通信技术覆盖的地方,都试图通过技术来生成一个数字化的投影。这种更彻底的数字化浪潮将为商业和经济带来怎样的影响?

柏安娜:云计算从提出到取得飞速发展是最近五年的事,它在面向消费者和企业的相关服务及应用的数量都在快速增加。云计算模式很有吸引力,它可以在低运营和低拥有成本的基础上进行大规模的扩展,而且它具有按需提供服务的能力,因为它的基础设施是共享的。可以看到,中国和美国的云建设都在飞速发展。这就像一个虚拟的循环,随着越来越多的人上网——目前有23亿人上网,他们会购买更多设备。这些设备与数据中心连接,需要建设云基础设施来支持这些设备。这会推动新服务和解决方案的创新,从而吸引更多人上网。这些推动了云计算的发展,并推动相关服务的发展。在这个令人惊叹的循环中,随之带来的是我们从未想过的新式服务和解决方案。就像你所说的,我们现在真正处于数字创新时代,新服务在线上不停地涌现,因为我们能够在云中进行新功能的快速部署。

《数字商业时代》:与这种数字化浪潮最为匹配的技术,似乎就是大数据分析技术,现在和未来一段时间内,有哪些因大数据技术而生的商业模式值得人们关注?

柏安娜:一直有很多企业数据,但从来没有分析和利用这些数据的高效方式。这种情况下,数据就没有发挥作用。现在围绕大数据有很多行业创新。一个是计算成本继续增加,例如横向扩展存储等。一个重大成本是这些数据的存储成本,传统存储方式太过昂贵。因此,你看到存储创新,基于英特尔平台的横向扩展存储。然后是围绕开源数据分析解决方案的大量创新。Hadoop是个非常好的开源框架,让你能够提取所有这些数据,高效地存储并实时分析。计算存储平台和分析解决方案相结合,让企业和消费者都能看到重大数据。有个很好的例子,中国政府要求电信运营商为消费者提供90天的交易记录,让消费者能够上网了解过去90天的所有消费情况,这是一个重大的大数据问题,涉及的数据量也非常巨大。我们与电信运营商合作,利用Hadoop向他们提供一个稳定、优化的Hadoop平台以分析和报告这些信息,从而满足政府的监管要求。我们目前是Hadoop框架的分销商,我们现在所做的是以前从未做过的事情。

数据就是价值

大数据时代,IT将不再是成本,而成为价值。

《数字商业时代》:有迹象表明在云计算与数据的时代它将开始主导企业业务的发展甚至是变成一个核心业务,简而言之就是变成企业的盈利中心,你对这一趋势有何看法?

大数据平台解决方案篇9

慧图科技拥有具有自主知识产权的地理信息平台TopMap Earth三维地理信息系统、TopMap ActiveX组件式地理信息系统开发平台、TopMap World网络地理信息系统开发平台、TopMap Desktop 桌面地理信息系统。

经过多年的技术积累,北京慧图信息科技有限公司(以下简称慧图科技)可提供涵盖数据采集、信息处理、环境支撑、业务应用、决策支持、辅助业务平台等多个层面的水利信息化解决方案。该解决方案中的各个环节可根据不同部门的需求进行组合、集成。

数据采集 数据采集是指包括雨情自动监测、水情自动监测、墒情自动监测、地下水自动监测等在内的自动监测、数据接收系统等。

信息处理 数据采集软件系统是各种信息的汇集平台,承担着监测站监测数据的接收、分析处理、整理入库等任务。

环境支撑 环境支撑是信息化业务的重要组成部分,担负着保证系统正常运转的任务。

业务应用 业务应用是水利信息化项目的核心部分。慧图科技的解决方案主要提供雨水情、水资源、旱情分析、防汛抗旱、山洪灾害防治等信息。

决策支持 决策支持系统基于水利行业各类业务应用系统,可根据各级管理部门的决策要求,抽取出可为防汛、抗旱、水资源调度等具体决策提供支持的各类业务。决策支持系统是各级水利和防汛抗旱主管部门的有力助手。

辅助业务平台 辅助业务平台包括短信群发平台、值班管理平台、防汛实时通、移动巡查系统等。辅助业务平台是对水利行业核心业务的一种扩展。

一站式解决方案 慧图科技可提供涵盖GIS平台产品、应用软件、硬件系统集成和服务的完整解决方案。

完全基于自主知识产权 慧图科技已了涵盖软硬件的多个具有自主知识产权的产品,包括土壤墒情传感器、GIS软件产品、山洪灾害监测预警平台、汛情监视系统等。

强大的技术实力及品牌影响力 慧图科技“基于LiveMap的灾情移动巡视平台”获2011年度科技部科技型中小企业技术创新基金,TopMap被国家防总指定为全国103个县级山洪灾害试点的两个推荐GIS平台之一,“慧图山洪灾害监测预警系统v1.0”在2011年山洪灾害监视预警系统测评中获第一名。

大数据平台解决方案篇10

面向多租户的动态资源池。锦江酒店的IT部门试用并部署了WindowsServer 2012。通过Hyper-V 3.0的诸多特性并结合System Center 2012各个组件的整合,锦江酒店搭建起了基于微软虚拟化解决方案的私有云基本架构,能向下属业务单位提供主机托管、应用监控和性能扩展支持,并实现业务单位之间的资源使用和网络访问的隔离,并可以灵活地进行云平台的计费和配额管理。

基于Windows Server 2012动态资源池管理。锦江酒店的IT部门构建了基于Windows Server 2012 Hyper-V3.0的两个资源池,分别容纳不同性能要求的虚机,针对低密度资源池的虚机,Hyper-V 3.0能使虚机使用更多的虚拟CPU及内存,大大提升这些虚机的性能确保关键应用的连续稳定运行;对于高密度资源池中的虚机,Hyper-V 3.0充分在虚机间按需动态分配资源,实现资源池底层资源的复用。

整合周边IT资产,降低整体拥有成本。在引入了基于Windows Server2012的云解决方案之后,锦江酒店充分整合既有的IT资源和设备,Windows Server 2012的动态资源池充分兼容各种类型的存储,并和锦江酒店现有的网络设备融合,WindowsServer 2012现在已经帮助锦江实现包含运算存储和网络资源在内的统一资源池。

IT价值最大化

目前,整个平台面向多租户场景涵盖了资源管理、监控、配置、运维和自助服务门户等多个方面,具有可根据业务发展逐步扩展,迅速响应新的业务需求的强大能力。实现了对锦江酒店IT资源的集中式管理和灵活的建设及运营费用分担模式。提高了IT资源的利用效率,降低了IT运营和管理成本,探索了IT持续创新和优化的新模式。其IT部门开始像一个真正的IT服务提供商一样,提供用户所需要的服务,并按需收费,逐步搭建起流程化、标准化的IT运维体系。

构建灵活高效的IT基础架构平台。微软私有云解决方案为锦江酒店的用户提供了基于动态资源池的私有云,实现了针对不同业务部门相互隔离而且具有个性化的IT服务。用户可以通过自主门户来请求、获得、使用计算资源,以及计算资源集约化管理及按需消费。通过这种方式,业务处理和IT系统开发不再受到现有硬件资源限制,采购时间等制约,加快了IT能力提升速度,保持在瞬息万变的商业环境中的竞争优势。

利用最佳实践工作流来标准化数据中心流程。锦江酒店为其数据中心打造起高可用、高性能的动态资源池,实现了流程化、标准化的运维体系。借助这一管理平台和微软云策略,锦江酒店可以安全无忧地迈向云计算,充分利用并灵活控制现有的数据中心投资。微软在解决方案实施过程中,导入微软全球数据中心和Windows Azure平台运营中所获得的知识和技术,继续推动锦江酒店私有云方案发展。

实现了将IT集中建设,费用分担以降低运营成本。借助WindowsServer 2012动态资源池解决方案和System Center 2012管理解决方案,大大提升了用户的IT使用体验,无论是运维人员还是最终业务人员都能轻松管理和使用IT资源,使IT价值看得见、摸得着。IT部门使用灵活的资源监控和统计功能,实现了三家独立法人公司共同建设锦江酒店数据中心的目标。通过共同建设、集中管理、费用分担的建设和管理模式,大大缩短了酒店的建设周期,降低了酒店IT运维的复杂度,提高了系统的可靠性。有力的支持了公司的标准建设,品牌战略和业务的拓展。

联手NetApp

在企业的IT架构中,计算资源与存储资源相辅相成,无论是在传统C/S架构时代还是如今正在迈向的云计算时代。锦江酒店的私有云平台自然也少不了存储这个关键要素。锦江酒店采用了NetApp的存储设备。NetApp是全球存储及数据管理领域的领先企业。作为微软2012年度私有云合作伙伴大奖的获得者与微软紧密合作,联手开发和提供多个面向Microsoft技术的创新型存储和数据管理解决方案,帮助国内客户实现高效灵活的IT基础及推动向云的转变。凭借针对Windows Server 2012的支持,NetApp简化了存储和数据管理,加快了公共云、私有云及混合云迁移。锦江国际酒店将微软私有云解决方案与NetApp存储解决方案集成,大大提升其IT对于业务发展的支持水平,为公司发展带来强大的后发优势,成为微软与NetApp解决方案共同助力企业发展的又一例证。

大数据平台解决方案篇11

随着江淮乘用车事业的发展,大量信息系统逐渐被引入乘用车营销体系中,实现着对不同阶段业务数据的有效管理,推动着相关业务的快速发展。但是,由于这些系统是针对特定需求开发而来,并没有统一规划,且每个系统所专长的领域不同,彼此间缺乏联系,容易形成“信息孤岛”,又不可能把所有业务流程都放到一个系统中,因此,多系统并存是当前乃至今后的常态。如果无法实现多系统数据资源的整合,任由各系统各自为政,数据就难以共享和重用,且维护难度大、管理困难。因此,实现乘用车营销体系内多个信息系统的集成和数据共享是信息化建设部门当前最紧迫的任务,也是实现公司资源最优化配置的关键步骤之一。

就系统集成而言,传统的解决方案有:集线器解决方案、对点集成解决方案、总线型解决方案和基于中间件的解决方案。然而,这些传统的解决方案都有其缺点或不足之处:

(1)集线器解决方案在各应用交互时可能导致效率瓶颈,并存在单点失效的问题,且只能通过加入多集成Hub来扩展系统,成本较高;

(2)点对点集成解决方案中集成系统之间耦合度高、不易扩展,且需要手工编写异构应用系统和平台的接入,代码量大;

(3)总线型解决方案的适配器和集成引擎被捆绑在应用程序平台上,增加了复杂度,网络负载压力也较大;

(4)基于中间件型解决方案,由于不同中间件厂商的实现技术不同,容易造成可移植性、兼容性比较差,不能充分利用现有硬件资源,不便于管理和维护。

Web服务,能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件,就可相互交换数据或集成。它建立于SOA基础之上,作为一个平立的、松耦合的、自包含的、基于可编程的web的应用程序,可以对跨平台、跨业务范围的信息系统的集成实现实时的、动态的支持。因此,本文创新性地提出了一个基于Web服务的经销商管理系统数据交互平台架构,并通过了模拟客户端的远程调用来验证了该平台的合理性和有效性。

2 基于Web服务的数据交互平台设计

2.1乘用车营销体系信息化框架

江淮乘用车营销体系由多个专业信息系统构成,其信息化框架主要包括信息交互平台、业务运营系统、主数据平台、分析决策平台和基础技术平台。如图1所示。

DMS系统:包含销售、售后协同管理系统和经销商销售、售后管理系统,涵盖了整车订单、配车发运、A/C卡管理、实销上报、配件业务、索赔业务、客户档案及上下端库存管理,完全实现了厂商业务全面覆盖。

DBS系统:江淮乘用车业务支持系统,承担着乘用车营销体系办公平台的重任。

移动APP:是营销体系内开展业务的又一快捷通道。通过APP可以加强车厂和终端客户的联系,实时获取到客户的需求数据,用于市场策略的决策支持。

微信公众号平台:包含微信订阅号、服务号和企业号,通过订阅号和服务号做营销、服务客户,通过企业号构建营销体系内部员工的紧密连接。

电商平台:乘用车自建的电商平台。

除此之外还有一些业务辅助系统,如:WMS、电子图册系统、400投诉系统等。

2.2 数据交互平台设计

针对传统解决方案的不足,结合Web服务技术的优势,我们提出了基于Web服务的乘用车经销商管理系统数据交互平台,用于实现对事业部内部和事业部间的数据交互业务实时的、动态的支持。该平台以需方为主导,由五个部分组成(如图2所示),用户界面、接入认证、交互数据信息库、Web服务注册中心、授权准入认证系统。

用户界面:为用户提供数据交互平台使用介绍、接入规范及Web服务调用文档等,主要是为了使开发人员能快速了解数据交互平台,缩短交互应用的开发时间。

接入认证:对请求调用平台Web服务的接入方进行认证,是确保乘用车营销数据安全的必要过程。

交互数据信息库:交互平台中的一个关键部分,提供了所有交互数据的调用逻辑和功能,负责返回/处理请求方请求的数据信息。

Web服务注册中心:显然,公有的UDDI注册中心无法为我们的数据交互平台提供足够的信息。因此,私有的Web服务注册中心是必不可少的。私有注册中心能够扩展服务列表,对数据交互平台的提供交互数据的能力提升发挥着重要的作用。

授权准入认证系统:数据交互平台简化了数据交互的复杂程度,在提高数据交互效率、减小系统集成成本的同时也增加了企业信息泄漏的风险,建立授权准入机制,根据授权开放数据交互查询功能是必不可少的。

2.3 优势分析

通过上述验证过程可以看到,基于Web服务的数据交互平台在跨平台数据交互中省去了繁杂的业务逻辑和中间层应用开发,只需根据数据交互平台的调用规范,简单地定义下本地调用结果解析逻辑和存储方式即可完成,大大降低了数据调用的开发周期和成本,为跨平台系统集成提供了一个有效的模式。且数据交互平台通过Web服务封装了业务系统的业务逻辑,避免了自身数据库结构暴露给第三方平台,在确保数据安全的同时也实现了对第三方数据调用的管控,有效控制了由数据交互产生的业务系统应用服务器的负载。同时,一次开发,多平台使用,从企业全局角度来讲,为企业跨平台、跨业务范围的系统集成提供了便利,降低了企业信息系统集成的成本,提升了企业的核心竞争力。

3 数据交互平台调用案例

数据交互平台部署较为简单,在本例中主要通过模拟客户端调用数据交互平台的获取产品清单的Web服务为例,来验证数据交互平台提供交互数据解析使用的过程。在服务器首页提供了Web服务调用规范和使用说明。以产品清单为例,验证Web服务调用和结果解析的过程。

3.1 建立产品清单XML并声明字段定义

先建立产品清单XML,然后根据数据交互平台提供的接口文档定义产品清单数据中的字段,并编译。产品清单信息(单条产品信息)如图3。

3.2 Web服务调用

为了验证Web服务被调用的过程和返回数据的正确性和完整性,项目组设计开发了一个模拟客户端的JAVA类,用来调用Web服务、获取产品清单数据。这个模拟客户端也可以用来日后验证新Web服务是否满足业务需求。显然,只要通过这个模拟客户端验证正确的,其它平台也可获取相应正确的请求数据。模拟客户端设计首先定义模拟客户端DmsClient。然后定义接口代码,在调用过程过根据此代码调用相应功能接口的Web服务。再初始化Web服务,并根据WSDL的描述进行调用。最后根据获取的产品清单数据,并与业务逻辑进行PO封装。

3.3 封装数据和本地业务逻辑

调用Web服务获取数据结果后,需要将获取的数据和本地业务逻辑进行封装。本地存储数据和数据库数据一一对应,数据库中多行数据可以用该类的集合存储。根据不同调用平台定义稍有不同,PO工厂类设计首先定义产品清单数据PO工厂类,然后将数据结果进行本地存储,在此基础上,封装本地业务逻辑。

3.4 常量定义

规范了应用中常量的定义。包括Web服务网址、Web服务名称和Web服务方法名称等。

4 结论

数据交互平台能够实时的、动态的为不同的应用提供数据支持,实现企业信息系统的快速、有效地集成,从而解决了由“信息孤岛”引发的各种问题,使公司能够快速地了解一线业务数据、响应市场需求。该平台有效改善了跨平台数据交互的效率,提升了企业信息系统集成的整体性能。尽管本交互平台是针对乘用车营销公司DMS系统提出来的,但对各事业部乃至股份公司的信息系统数据交互都有着重要的借鉴意义。

参考文献

大数据平台解决方案篇12

近年来,国内许多电力企业的业务不断发展,除了传统的火电发电,还涉及风力发电、光伏发电、电站检修和运营服务等方面业务。为了加快两化融合,促进企业管理及信息化双提升要求是建设企业运营管理系统的大数据平台的关键驱动因素,大数据平台的建成将成为企业管理及信息化运转的驱动引擎,是加快电力信息化规划实现步伐。

通过大数据平台建设,形成全公司范围的运营管理解决方案,保障企业管理工作标准化、规范化、精细化、高效化,真正为决策服务。电力企业大数据平台具有业务数据量大,分析模式复杂,数据读取频繁,等诸多特点,如何利用最前沿的软硬一体的大数据库应用支撑是摆在电力企业运营管理系统建设面前的重要难题。

1 大数据定义与特征

大数据又称海量数据,指的是所涉及的数据规模巨大,以至于目前已有的软件工具无法在合理时间内,处理、管理、挖掘这些数据,并将其整理成为帮助企业经营决策更积极目的的信息。大数据的4V特征:数量(Volume),即数据巨大;多样性(Variety),即数据类型繁多;速度(Velocity),即处理速度快;价值性(Veracity),即追求高质量的数据。

2 SAP HANA技术

SAP HANA提供多用途的内存应用设备,企业可以利用它即时掌握业务运营情况,从而对所有可用的数据进行分析,并对快速变化的业务环境做出迅速响应。

通过SAP HANA,企业可以在业务运作期间基于海量实时详细信息分析业务运营情况。企业可以探索和分析来源于所有数据源的全部交易数据和分析数据。运营数据在产生时由内存获取,并通过灵活的视图迅速将分析信息呈现给用户。外部数据可轻松的被添加至分析模型,与整个企业的数据进行整合。

3 电力大数据平台的架构设计

电力大数据平台系统具有业务数据量大,分析模式复杂,数据读取频繁,等诸多特点,如何利用最前沿的软硬一体的大数据库应用支撑是摆在电力企业运营管理系统建设面前的重要难题。

3.1 电力大数据平台架构

将数据平台总体架构划分为三大层:采集层,存储层以及分析/展现层。这种架构,是对传统标准企业级数据仓库架构的扩展,既能满足一个数据中心平台层面的所有需求,又具备充分的前瞻性,为未来EOM提供实时、兼具广度和深度的大数据应用提供支撑。

3.2 数据采集层设计

数据抽取、转换、加载的任务将在此处完成。整个平台的数据整合能力将由SAP HANA Smart Data Integrator来提供,通过开放的数据接口连接各种类型的底层数据源,并且在数据加载的同时进行第一轮的数据清洗任务,提高保证数据的规范性。

3.3 数据存储层设计

数据存储管理是本方案的核心部分。在整个方案设计中,SAP建议把数据按照数据的时效性分层管理,即历史数据和活动数据。历史数据部分包含所有的分析数据,存放电力企业历年来的数据。活动数据(热点数据)部分包含日常分析中最常使用的数据,所有的前端分析数据都将在活动数据中命中,在活动数据中将进行保证最大的数据分析并提高和数据检索效率。

3.4 数据分析/展现层

SAP建议使用SAP BusinessObject作为整体的数据展现平台。BO中的语义层工具Information Designer Tool(IDT)将负责业务数据模型的整体管理,通过IDT中的数据调用,把需要展现的数据输送给前端工具进行报表展示。

4 关键技术及方案优势

高性能内存计算技术:数据分析应用,对实效性往往要求极高,对数据存储平台提出了更高的要求:高速的数据装载的同时,提供毫秒级的查询响应。全面的数据集成能力:本方案ETL工具将利用SAP数据采集系统SAP Data Integrator,这是一个专门面向企业信息管理的应用平台,帮助企业迁移、转变和提升数据。实时数据流分析能力:SAP在信息集成过程,增加了独一无二的架构――基于内存的实时数据流处理机制,把需要处理的数据在内存中流动起来,高效地输送到各个处理环节,实现高频次、小批量的数据处理调度,到达高吞吐量、低延时的理想效果。

5 结语

本文提出了一套针对电力系统的解决方案和基于SAP HANA的大数据平台架构,大数据平台架构包括对电力数据采集层,数据存储层和数据分析/展现层,该平台在高性能,数据集成,实时数据流分析和可靠性上具有很大的提高。对电力大数据平台的研究还存在很多不足之处,还有待在今后的学习和工作中进一步研究。

参考文献

大数据平台解决方案篇13

天津人民医院现有HIS系统服务器一套,是由两台IBM的P650小型机服务器组成的Oracle RAC数据库负载均衡集群。两台服务器通过一台SAN交换机连接到一套IBM DS4700磁盘阵列,共享盘阵存储数据。由于信息系统应用水平、复杂程度和应用范围的扩大带来了对服务器性能要求提高,因此天津人民医院需要一套满足相应的信息系统高可用性的全新的信息系统平台。

在HIS平台之外,为了防止两台数据库服务器同时发生故障,通常会再备份一台单独的服务器用于系统应急。如果由于某种原因两台服务器不能对外提供服务,而网络工作正常时,由这台备用服务器对外提供服务。

数据备份方面可以使用磁带库进行备份。因为相对磁盘备份而言,磁带库备份具有速度快、存储成本低、易于管理、对系统依赖小、便于保存以及方便移动等多方面优势。

存储备份及容灾系统架构

随着天津人民医院信息化进程的加速,医院现有的各个业务科室对信息系统的服务提供的连续性要求也相应提到一个高度。作为信息系统的基础,信息平台的安全性和稳定性将会是设计和建设时的重要参考标准。

天津人民医院在现有医院信息系统平台建设过程中,系统架构和服务器一般会采用各种高可用方案,保证服务器所承载的业务的连续性和高效性;存储一般采用集中存储的方式进行建设,以便于管理,可以将数据集中存储,实现充分利用投资购买性能更优越的存储,从而提高存储性能。

现有的存储高可用解决方案主要有以下四种方式。

1. 通过存储产品本身的复制功能进行数据的块级复制。这种方法是使用存储厂商自己的复制功能,由存储控制器进行控制,然后通过SAN光纤通道交换机进行数据传输,复制采用块级复制。

2. 系统级远程复制容灾方案。这类解决方案通常是在服务器操作系统上,安装相应的Agent,然后由管理服务器通过网络或者FC通道进行应用级的数据复制甚至是容灾集群。

3. 存储虚拟化容灾方案。虚拟存储的架构,是近年来提出的一类存储高可用解决方案。它主要是通过对存储和服务器之间的联络进行管理和控制,借助其自身软件及设备对数据的流向从根本上进行调整,从而实现存储的多种复制和容灾方式。

4. CDP容灾方案。CDP系统在现今的系统容灾或备份方案中,具备了其他产品或解决方案所不具备的优势,即它可以将备份及恢复的节点细化到具体的操作命令的层面。CDP系统可以作为其他复制容灾系统的一个非常有效的补充,和其他产品联合组成一个完整的、多层次的整体存储容灾方案。

在线咨询
了解我们
获奖信息
挂牌上市
版权说明
在线咨询
杂志之家服务支持
发表咨询:400-888-7501
订阅咨询:400-888-7502
期刊咨询服务
服务流程
网站特色
常见问题
工作日 8:00-24:00
7x16小时支持
经营许可
出版物经营许可证
企业营业执照
银行开户许可证
增值电信业务经营许可证
其它
公文范文
期刊知识
期刊咨询
杂志订阅
支付方式
手机阅读