欢迎来到杂志之家!发表咨询:400-888-7501 订阅咨询:400-888-7502 股权代码 102064

数据分析设计实用13篇

数据分析设计
数据分析设计篇1

本节课是在学生上节学习了Excel2000数据编辑和计算的基础上,提高学生运用Excel2000知识解决实际问题的能力上的授课内容。

由于我校地处农村乡镇,学生水平参差不齐,基础不牢固,故我们在进行课堂教学时要降低难度,教师以指引等手段引导学生设计问题、思考问题、解决问题,以达到我们完成教学的目的。

本节课内容实践性强、难度不算大,但涉及知识面较广,所以借助于“校园卡拉OK大赛”评分表为实际问题分析对象,从排序、筛选到分类汇总三种操作入手,层层跟进,让学生体验如何利用技术方法实现分析数据的目的。最后的巩固练习通过二个实例,引导学生培养分析统计数据的能力。

[教学目标]

知识与技能:

1、 了解电子表格是进行数据分析的工具

2、 掌握排序、筛选和分类汇总等分析方法的特点与意义

3、 能运用排序、筛选和分类汇总等方法进行简单的数据分析

过程与方法:本节课通过对学生生活中的实际问题的需求分析,学生掌握排序、筛选、分类汇总等数据分析的分析的基本方法,以及利用这些方法所能实现的分析目标,培养学生观察问题、思考问题的能力和数据分析能力。

情感态度与价值观:体验利用数据分析手段分析数据的过程,感受数据背后所蕴涵的丰富信息,培养学生对数据的情感和从数据中探求信息的意识。

[重点、难点与疑点]

本节的重点是排序、筛选和分类汇总等基本分析方法的运用,难点是如何利用这些分析方法实现数据分析的目的,疑点是这些方法所能实现的分析目标。

[教法设计]

本节课教学重点在于如何运用EXCEL知识解决实际问题,所以教学过程中使用了分组讨论法、作品展示激励法等多种教学方法以激发学生完成课堂教学任务。

[学法设计]

学生思维活跃,有强烈的求知欲望,在教学过程中,力争抓住这一特点,并强化其好胜心理。授课过程中,让学生亲自体验信息处理的过程,自主学习与合作讨论相结合,加强合作意识的培养。

[教学过程和教学模式]

根据本节课的知识特点、学生已有的知识水平和教学目标的确定,我选用了自主学习的教学模式,主要采用学生分组合作研讨,自身动手实践的方法。课前准备为大屏幕投影,待处理的电子表格和教学短片。

[教学过程设计]

提出问题------分组解决实际问题-----成果展示与评价------课堂小结 ――知识拓展。

[教学过程]

1、 提出问题,激发兴趣

*屏幕展示卡拉OK比赛现场花絮,把学生的注意力吸引到课堂上来,激发他们亲自实践的欲望。

*场景及解说:为庆祝“五四”青年节,学校举办了一场校园歌曲卡拉OK大赛,赛后德育处的李主任找到我让我帮他一个忙。“帮他分析出每名选手的总名次、级部名次 ,评出最佳校园歌手、年级优秀歌手 ;每个年级的选手得分情况 ;哪个年级的成绩好,评出优胜年级 。 根据李主任提供的数据,我们同学们给他解决一下这几个问题好不好?要想处理好这几个问题,我们必须学会如下知识点:排序、筛选、分类汇总。导入新课。

*打开待处理的数据表(屏幕广播),

*提出本节课的任务(屏幕广播):

任务1按“得分”排序,得出每名选手的总名次,评出最佳校园歌手(排序、自动填充)

任务2、按“年级”和“得分”排序得出每名选手的出级部名次,评出年级优秀歌手(排序、自动填充)

任务3 利用筛选功能显示分析每个年级的选手得分情况(自动筛选)

任务4 试分析哪个年级的成绩好,评出优胜年级(分类汇总)

2、自主学习,合作研讨

首先将学生成四个小组,以小组为单位阅读、实践和研讨本节课的知识要点。要求借助计算机进行实践并在小组内思考、探究完成学案。(教师巡视指导)

(本环节的设计目的是:知识点较简单,学生自主学习与合作学习相结合,加强交流意识、合作意识的培养)

3、强化应用--------学生尝试解决问题

(1)、排序方法:请参考学案,注意根据需要选择不同的排序方式以及自动填充名次序列的方法

(2)、筛选方法:请参考学案,注意筛选只是将不满足条件的信息暂时隐藏,不等于删除操作,筛选对文件信息没有破坏作用。学生可自己尝试如何恢复显示所有信息。

(3)、分类汇总:操作思路:先分类(排序)再统计(求和、平均值、计数等)操作过程参考学案,值得注意的是,在分类汇总前,必须先按分类项目对表格数据进行排序,否则,将不会得到正确的结果。

要求:在完成上述任务后,以小组为单位报告。

得出基本操作步骤,学生相互协作自主合作完成上述问题,教师巡视指导。

4、成果展示与评价

(1)每组各选出一名同学在大屏幕上展示作业

(2)全班交流:各组间互帮互助,解决(1)中出现的实际问题并交流操作

(本环节的设计目的是拉近小组间的差距,防止某一个小组的工作出现停顿情况,而且通过小组间的操作心得交流,各组可以有针对性地调整本组的操作计划,提高学习效率。)

(3)教师点评。

A、教师从学生在操作技巧上的表现进行评价:例如数据处理结果正确?方法是否得当?问题出在哪里?如何补救?

B、教师从学生在操作过程中的表现上进行评价: 例如考虑问题的角度是否恰当?思考问题的方式是否新颖独特?有无独到的见解?有无值得大家学习的精神和勇气?

(本环节的设计目的是:展示作品,激励学生的成就感。)

5、课堂小结

同学们,你们今天运用自己的知识成功帮助李主任解决了难题,我为你们骄傲。通过今天的学习,你们掌握了一些信息处理的知识,希望对你们以后的学习或工作中有所帮助。

(本环节的设计目的是:让学生抓住课堂内容的主干。)

[巩固与提高(课后作业)]

(1)分析某次运动会初一级部运动员成绩,为学校挑选各项目的运动员,并做出公平合理的评价。

(2)分析我国部分城市月平均气温表,按年平均气温排序,分析哪些城市年平均气温最高或最低;并找出月平均气温最高或最低的城市,试用你学过的地理知识解释其原因。

数据分析设计篇2

一、设计的规范和标准

(1)TIA-942标准。它是集现有相关标准和规范于一体,并且有效的解决了数据中心基础设施的建设和设计阶段的信息隔阂问题,同时对于电力之上的问题也有全面的考虑。它全面的描述了在设备规划、数据中心的建设等方面的内容,为数据中心的规划、设计和施工提供了要求和指南。(2)THE UPTIME INSTITUTE数据中心等级标准。这个标准能够帮助建设人员针对数据中心在建设当中充分利用资源,达到资源的优化配置,减少资源浪费,进而有效的降低投资成本,提高设备的利用率减少故障发生的几率,并且能够有效的提高组织效率。

二、配电系统设计

(1)数据中心用电负荷。对UPS电源系统进行统计之时,如果能够明确具体负荷设备,则直接根据设备数据进行统计;如果无法明确,则按照设备机柜平均负荷进行统计;如果无法确认机柜数量,则根据机房面积平均负荷进行估计。对于变配电系统负荷统计,主要是对UPS电源、机房照明等相关设备进行统计。(2)供电电源。根据数据中心的具体情况确定供电电压,通常情况选择10kv。如果有长远的规划,且规划当中要求用电负荷较大,则选择35kv及其以上。同时电源引入应该根据数据中心具体情况而定,比如用途、等级等方面。需要建立专线以供数据中心使用,并且应该从两个独立的变电所引入,如果选择一个变电所,则供电母线必须是两段独立的存在。(3)应急电源。数据中心必须要有相应的应急电源,以保障可靠性运转。通常可以使用柴油发电机组,并且充分满足相应的电力需求。

三、平面布局设计

平面布局的设计和子系统之间联系十分紧密,而且是进行子系统设计的前提和基础。如果平面布局的设计出现不合理情况而需要变更,不仅会严重影响到子系统,而且变更所需要的费用非常高,变更的整个过程还存在诸多不可控的潜在风险。因此在设计之时要进行充分的讨论和全面的考虑,并且结合数据中心建设的具体要求,以及相关的标准规范,最终保障设计的科学性和合理性,尽量减少后期和建设当中的更改机率,促进建设工作的顺利完成。通常情况下,需要考虑数据中心的四个方面的内容,即动力区、主机房区、辅助机房区、总控中心区四个区域。

为了方便进行统一的安全管理,可以在数据中心的每个楼层只设计一个安全出入口。应信息安全要求,在出入口应当设置专人看守,并且配备相应的出入闸机等设备。在进行重点机房的部署之时,应该布置在整个建筑的中心位置,并且需要将机房的外墙和建筑的外墙有效分离,保持机房外墙的独立性。而针对辅助机房以及机房的走道,则可以部署在建筑物的。通过此种布局,不仅能够最大限度的减少空调能耗,而且也能够进一步的加强重点地方的安全性。

四、精密空调系统的设计

为了达到既能够有效提高制冷的效率,又能够保持能耗最大限度降低的目标,可以通过以下几种方式进行:合理布置冷热通道,保持气流的组织良好,进而达到加强制冷的效果,同时有效的降低耗能;完善内墙的作用,加强其的保温处理效果;通过使用智能化的照明系统,进而最大限度的减少电力的浪费,以及降低冷气的损失;通过分步的方式进行发展,机电设备的最佳运行情况是保持在75%左右;分析气流同时优化布线,保持机房内部的冷气可以畅通。

五、综合布线系统的设计

在进行设计之时也要严格的按照TIA-942的标准进行,建筑物单独设置冗余的接入运营商以及接入间的位置。针对核心网络区、主干路径与水平路径都必须使用冗余备份,只有这样才能在最大程度之上保障网络的可靠性。数据中心可以使用结构化的综合布线系统构架,将布线的路径简化,减少网线的数量,集中跳线区域,提高网络扩展的便利性,降低故障发生率和宕机情况。结构化综合布线系统和传统方式相比具有无与伦比的优越性,其使用了预端接光缆技术,大大提高了部署的速度,从而保障了管理简单且容易,并且故障发生几率也被有效降低,可靠性提高。

六、装饰装修系统

(1)首先针对隔断的设计。为了保证机房内不出现内柱,所以机房的建筑通常使用的是大跨度结构。为了方便控制空调、灰尘、噪音,以及便于统一的管理,因此针对大的机房可以通过玻璃的方式将其隔断,最终形成一个个较小的相对独立的区域。为了保障机房的安全性,要求门窗的设计应该要防火防盗,因此可以选择无框的大玻璃门,既美观又安全明亮。(2)其次是对地面的设计。由于机房具有一定的特殊性,所以通常要求地板要防静电,为了便于拆卸还可以运用活动地板。(3)然后是吊顶设计,一般选择金属板材。在进行设计之时还要充分考虑限制层高、美观以及成本问题。最后是墙面设计。对于墙面的设计和吊顶类似,也通常使用金属板材,不仅质量有所保障而且看起来美观,还能够充分满足防火要求,同时施工简易效率较高。

七、绿色理念在设计当中的运用

目前在进行数据中心的基础设施建设和设计之时,大部分都不太注意绿色理念的运用。在进行设计之时通常只考虑处理能力、网络规划等问题。对于能耗、环保问题等考虑较少。而以上阐述的设计方案充分运用了绿色设计理念,立足于最大限度的降低能耗,减少对环境的污染和破坏,进而降低运营成本。这是符合我国的节能减排决策,同时符合可持续发展目标。

在进行建设之时可以充分的吸收和利用国外先进技术和成功经验,并且结合自身的特点以及建设要求,进而达到最佳的建设效果。比如针对机房的散热问题,可以通过改变排列方式,进而增加散热效果,既不用增加制冷的设备在一定程度之上减少浪费和污染,又是符合绿色理念的。针对传统的队列式摆放,可以使用“面对面,背靠背”的方式以改进。但这种方式比较适合正在修建当中的机房,如果是已经完成的机房,改换摆放方式将会涉及到多个设施的改变,包括布线、地板等。

八、结束语

综上所述在进行数据中心基础设施的建设和设计之时,要严格按照设计的标准和规范进行,尤其是要注意空调、配电系统、布线系统等的设计。在设计之中为了符合环保要求还需要引入绿色理念,既能够有效的满足所有的建设需求,又能够有效的降低成本保护环境。

参考文献

[1]李长春,赵利红,张谦.需求层次理论与数据中心基础设施建设[J].信息系统工程,2012,11:27-29

[2]孙鑫.面向云环境数据中心的高效资源调度机制研究[D].北京邮电大学,2012

数据分析设计篇3

1 业务对象分析

库房中储存的样品主要是岩石样和流体样,根据取样方式的不同可以把岩石样分为岩心样、壁心样、岩屑样和露头样,把流体样分为常温常压流体样和高温高压(统称PVT)样,根据流体相态又可以把流体样分为油样、气样和水样。

分析化验所使用的样品是小样,也叫做实验用样,是大块岩石样或大桶流体样中的一部分。根据实验的目的和要求,可以把小样分为水平样和垂直样。

2 分析化验项目分析

根据样品的类型可以把分析化验分为流体样实验、岩石样实验和岩石样-流体相共存实验3种。

2.1 流体样实验

流体样实验是对从井筒或地面上取得的流体样进行分析的,研究井筒中流体的特性,为油气田开发前期设计提供参考依据,为生产井提能分配或井下作业提供基本数据支持。

根据流体取样方式的不同,把流体样实验分为常温常压流体实验和PVT实验,由于流体相可以分为油相、气相和水相,所以流体实验又细分为常温常压油样实验、常温常压气样实验、常温常压水样实验、原油PVT实验、易挥发油PVT实验和凝析气PVT实验。

2.2 岩石样实验

岩石样实验是对钻井过程中取到的岩石所进行的分析或鉴定,是地层岩石特性最直接、最准确的表现。

根据实验的目的不同,把岩石实验分为常规岩心分析、特殊岩心分析、岩石地化分析等。

2.3 岩石样-流体相共存实验

岩石样-流体相共存实验是分析岩石在以不同的流体相作用下,所呈现出来的岩石的润湿性和联通性等,主要有毛管压力实验和相对渗透率实验等。

根据流体相作用方式的不同可以分为压汞法和驱替法,驱替实验分为油驱替水、水驱替油和气驱替水等。

3 业务分析

业务分析是数据库设计的基石,只有业务分析好,才能设计出满足需要的业务模型。根据工作内容可以把业务分析分为业务调研、业务划分、业务活动分析和数据分析。

3.1 业务调研

确定分析化验业务域的业务调研范围和调研内容,形成业务调研清单,并制定业务调研模板。业务调研模板是业务调研的依据,必须要包含业务名称、业务流程和数据应用情况等。在执行调研时,按照业务调研模板内容,详细了解分析化验业务现状、数据库现状、应用现状和数据管理机制等,并收集相关资料(报表、数据、业务规范等)。

3.2 业务划分

根据业务调研情况对分析化验业务域进行业务划分,划分为一级业务和业务活动,一级业务主要有常规岩心分析、特殊岩心分析、岩石地化分析、油气地化分析、岩矿分析、同位素分析、岩石力学分析、古生物分析、油气水分析和流体PVT分析等。

业务活动是对一级业务进行细分,直至划分到不能再分为止。如一级业务常规岩心分析包含有岩石物性分析、岩心伽玛测定和岩心CT扫描等。

3.3 业务活动分析

根据业务划分得到一个个业务活动,每一个业务活动都有自己的业务含义和业务范围。业务活动分析就是要详细分析每一个业务活动流程,如业务活动的时间、地点、参与人员、业务规则、输入数据、输出数据、相关的标准规范等。如岩石物性分析是实验员(who)收到分析化验任务后(when),在实验室(where)根据样品基本信息和检测任务单的要求对岩心样品(which)进行岩石孔隙度、渗透率、含油饱和度、密度、碳酸盐岩含量的分析化验,形成岩石物性分析成果数据表和业务分析报告(what),为表征岩石孔隙的发育程度、储集流体的通过能力和岩石渗流特征提供重要参数,为储量计算、采收率确定等提供参数依据(why)。

3.4 数据分析

数据分析是对业务活动数据集和现有专业数据库物理表进行详细分析,业务活动数据集分析是对业务活动的输入数据和输出数据进行分析,规范业务活动输入数据集和输出数据集,形成业务活动数据集;现有专业数据库物理表分析是对现有在用专业数据库物理数据表进行分析,分析出专业数据库物理数据表的实际业务含义,具体是哪个业务活动产生的,对应于业务活动的哪个数据集,形成专业数据库物理数据表对业务活动数据集的映射关系。

数据分析表如下:

业务活动 输入数据 输出数据 业务活动数据集 专业数据库

岩石物性分析 检测任务单 岩石物性

分析报告 岩石物性分析报告 文档数据库

实验样品信息 岩石物性分析

成果数据 分析化验数据库

4 数据模型设计

数据模型设计是实现业务分析到物理模型设计的所有过程,主要分为业务模型设计、采集模型设计、逻辑模型设计和物理模型设计。

4.1 业务模型设计

根据业务调研和分析成果,对业务模型进行标准化梳理,对数据流进行详细分析,完成从业务分析到业务模型的转换,形成业务模型。

4.2 采集模型设计

制定业务模型中数据集合并原则,根据这些原则分析业务模型中需要合并的数据集,通过专业工具完成业务模型数据集的合并工作,实现从业务模型到采集模型的转换。业务模型数据集合并原则:首先是业务活动场景相同;其次是业务活动产生的数据项相似。

4.3 逻辑模型设计

通过对POSC Epicentre逻辑模型和PPDM模型的研究,结合石油企业业务实际,采用面向对象的设计方法设计分析化验逻辑模型。逻辑模型主要分为对象模型、活动模型和属性模型。对象模型是对分析化验业务域中所涉及到的业务进行抽象,提取出一个个业务对象,用前缀OOE_表示,如岩心的对象模型是OOE_Core等;活动模型是对分析化验业务域中所有业务场景进行抽象,形成业务活动编目,存储在OOE_Activity实体里,具体的业务分析活动只是业务活动编目的具体实例。如岩石物性分析是业务活动,***井岩心常规分析报告是业务活动实例;属性模型是业务活动数据集中的相同数据项的抽象,提取出一个个属性对象,使用前缀OOP_表示,如孔隙度的属性模型是OOP_Porosity。

4.4 物理模型设计

设计从逻辑模型到物理模型的投影规则,依据投影规则实现逻辑模型到物理模型的转换,投影出不同版本的数据库,以支持不同的数据存储和管理需求。常用的投影规则有直接投影、复制投影和合并投影,不同的实体具有不同的投影规则。在投影时,为了保证物理模型的最优化设计和数据存储的最少冗余,要求分析所有实体对应的最优投影规则,根据最优投影规则一次投影出物理模型。

5 总结

数据分析设计篇4

一、前言

采用计算机操作可以将机电结构数据进行简单的导入,这就是机电结构分层系统设计的目的,本文重点对机电结构设计的意义以及形式进行了详细的分析,目的是提高机电结构设计的质量,供相关的设计人员参考。

二、机电数据结构分层系统设计意义

机电数据结构分层制作系统设计的目的就是将产品技术资料光盘进行电子化转换后,把提取的有用信息放入机电数据样表,然后通过其自动转换成可导入信息管理系统的机电数据结构分层文件。机电数据结构分层文件是信息管理系统中重要的输入数据,是编制采购计划及实现预防性维护的依据,其制作质量是否准确、规范直接关系到企业的配件库存及产品维护的成本。未开发软件之前,机电数据结构分层是通过人工来完成的,费时费力,特别是对于一些结构复杂且配件数量比较多的机电产品人工分层显得尤为烦琐,极易出现漏分及父子关系关联的错误,这严重影响数据的正确性,且无法保证时限性。机电数据结构分层制作系统实现了数据结构分层工作的自动化,从根本上解决数据分层工作中的大量人力耗费问题,可为企业信息化管理系统提供了准确、规范的数据信息,实现产品结构分层信息的共享及更新的便捷化,真正达到了配件的计划与控制。

三、机电数据结构分层制作系统实现的技术

2、采用了多线程编程技术。数据结构分层功能模块通过采用多线程编程技术,提高应用程序响应度,使处理器效率更高,且占用较少的系统资源。

3、桌面编程技术。当前桌面应用开发技术还是首推Delphi。Delphi是一个以面向对象程序设计为中心的应用程序开发工具,具有基于窗体和面向对象的方法、高速的编译器及强大而成熟的组件技术等特性,因此该软件是基于Delphi7.0环境开发而成。

四、数据的传输技术及实现

ADO是Microsoft为数据访问范例OLEDB而设计,是一个便于使用的应用程序接口。ADO通过OLEDB提供访问和操作数据库服务器端的数据,特点是速度快、内存支出少和磁盘遗迹小…。ADO在关键的应用方案中使用最少的网络流量,并且在前端和数据源之间使用最少的层数,所有这些为程序运行提供了轻质量、高性能的接口。Delphi提供了ADO数据库编程技术,由于ADO内置在微软的操作系统中,因此开发数据库应用程序避免了BDE的配置和安装,减少了的难度。

开发和一个基于Client/Server方式的应用程序,需要在服务器端安装后台数据库软件,并且建立或导入自开发程序所需要的数据库、账号和角色等。有两种方法可以实现,一种是在程序开发完成时,备份最终使用的数据库,连的程序一同提交给使用者,在用户的服务器端安装数据库系统后,根据实际情况手工导入所需的数据库。另一种方法是在开发的程序中编写代码实现数据库安装和初始化,提交给用户的只是的程序,用户在服务器端安装数据库系统后,在客户端运行应用程序,完成程序所需数据库的建立和初始化。显然,后一种方法更加灵活可靠,自动化程度高。本文讲述如何在Delphi7.0开发环境下使用ADO技术,编程实现SQLServer2000数据库服务器的连接和程序所需数据库的初始化。这是数据结构技术最为核心的内容。

1、机电数据结构分层制作系统设计思路

Delphi是一个高效的可视化数据库管理信息系开发工具。利用Delphi 控制EXCEL数据层、格式复杂的报表等与EXCEL 相关的工作,通情况下,对一些不常用到的 操作,只需利其自身函数强大的处理功能进行操作即可,而对一些经常用到且有规律可循的操作,则可以利用Delphi快速应用程序开发工具编写程序控制EXCEL格式的文件,更好地提高工作效率。由于分层系统使用的后台数据库是SQLServer ,SQLServer而 对源表格式的要求比较高,因此在往系统中导入准备分层的机电数据表时,应先将整个表的格式设置为文本格式,并且在制作完成时,进一步核查是否与模板要求相符,将格式不符的进行更正。

2、机电数据结构分层文件中分层编号的数字表达形式能够非常直观地了解该产品与组件、组件与零部件之间的关联关系,产品部分配件关联见表1。

分层文件中组件的多少及分层的级数反映了产品机构及装配的复杂程度。对于属于价值高、重要、可重复使用、可用于同类其他产品的重要零部件,定为跟踪件,其分层号与产品前均标识字母Z,同产品一样作为资产进行全寿命跟踪管理,其他零部件分层号前标识字母B,这是为下一步关接生成而特殊设定的,每个配件所要求反映的技术参数列事先根据系统要求设定。

五、系统界面配置及软件流程

1、系统界面配置

系统界面配置该软件界面配置 比较人性化,实现了分层的个性化设置、页面高清显示颜色的设置、分层完成后关机设置等。 “系统―设置―初始化数据库”,可以通过此路径删除导入的所有机电数据表,也可以在此界面进行删除。每次使用之前,要进行初始化数据库操作。

机电数据表有 5形式的模板,分别为无ZO主 组 件―― ―无直属件和有直属件,有ZO 组件―― ―无直属件和有直属件,对于多台设备分层情况,像刮板输送机,转载机和破碎机和液压支架就属于多台设备的情况,根据软件要求规范成一种特殊形式的模板。规范后的机电数据表导入后台数据库,进行自动分层。整个分层过程清晰明了,对数据的每次处,都会显示到“处理日志”中。分层结束后,显示分层完成,并将结果显示到页面中。将系统完成的结构分层文件与人工分层完成的结构分层文件通过VLOOKUP进行核对后,其结果准确无误。对于处理同等数据量的机电数据表,效率由原来的1周,提高到 完成。

2、系统软件流程

系统软件的编程是基于下面的流程框图来编制

的,设备结构分层的实现主要有以下几个步骤:一是读取规范好的 表中的数据。将表中 数据节点、一级 主组件数据节点及基础数据父子数据表存入数据库临时表中,以便对数据进行更深一步操作 。二是进行两次判断,首先判断 主组件节点是否为空,如果是显示分层结果,如果不是查询是否有子节点;再次进行判断,如果否再读取主组件节点,如果是生成父子数据,该步是本程序中的一个重点。经过不断循环,完整实现数据横向及纵向多层分层结构。三是从数据库中读出数据,把分层结果写入EXCEL表中。由于程序执行是按主组件与子组件的图号件号来进行关联,一旦数据表中前后相同组件的图号件号不一致,该程序将会关联错误,导致错误的分层结果,因此要充分发挥该系统的作用,必须在数据源头把关,并正确选择模板。

数据分析设计篇5

在用三因素有交互作用的方差分析来研究运动强度、运动量和运动持续的时间对运动成绩的影响时,对影响运动成绩的3个因素各按3个水平进行试验,见表1。如果进行全面搭配法方案安排试验,此方案数据点分布的均匀性极好,因素和水平的搭配十分全面,唯一的缺点是试验次数较多,为33×2=54次(指数3代表3个因素,底数3代表每因素有3个水平,×后面的2,表示重复一次试验),如图1所示。因素、水平数愈多,则试验次数就愈多[1]。例如,作一个5因素3水平的不重复试验,就需要35=243次试验。试验次数越多,就需要更多的人力、物力和财力作保证,而且需要占用更多的时间,这显然是十分困难的。有时由于所需的时间太长,使试验的条件发生改变,还会导致试验失败,即使试验有了结果,但对运动训练的实际指导意义也可能已经不太大了;因此,需要寻找一种合适的试验设计方法。

对于如何去做试验,怎样才能做好试验的问题是统计学很关注的一个问题。这就需要我们在做具体的试验前,首先要做好试验设计。

试验设计的一个最重要的原则:在做试验前,通过必要的事前考虑,作出合理周密的事先安排,从而在实际的试验中,通过动用最少的人力、物力、财力及尽可能短的时间,以便用最少的试验次数达到同做大量全面试验等效的结果。

1.1.3因素和交互作用

选择的正交表要能容纳所考虑的因素和交互作用。为了对试验结果进行方差分析或回归分析,还必须至少留一个空白列,作为“误差”列,在极差分析中要作为“其他因素”列处理。

1.1.4试验精度

在同水平中取何种试验次数的L表,取决于试验精度的要求。如果试验精度要求高,则宜取试验次数多的L表。

1.1.5研究的成本

要根据研究的成本来决定适合的L表的选择。若试验费用很昂贵,或试验的经费很有限,或人力和时间都比较紧张,则应选试验次数少一些的L表。

1.1.6修正水平数

在按原来考虑的因素、水平和交互作用去选择正交表时,如无正好适用的正交表可选,则简便且可行的办法是适当修改原定的水平数。

1.1.7适当选用大表

在对某些因素间的交互作用的影响是否确实存在没有把握的情况下,如果条件许可,则应尽量选用大表,让影响存在的可能性较大的因素和交互作用各占适当的列,在用方差分析进行显著性检验时,就可得出结论。这样既不增加太多试验的工作量,又不致于漏掉重要的信息。

1.2正交试验设计的基本步骤

1.2.1根据研究目的设计试验因素和试验指标

先根据研究课题来确定研究目的,再从专业的角度在众多影响研究目的的因素中找出几个主要影响因素,根据研究精度的要求和课题经费的情况确定因素的水平,一般在条件允许的前提下,主要影响因素的水平可以分得多一些,同时还将确定最能反映试验目的的测试指标,以便通过对试验结果的分析找出主、次影响因素。

3结论

1)正交试验设计可有效地减少试验次数,同时还可得到与做大量试验等效的结论,可以节省大量的人力、物力,提高研究经费的使用效率。

2) 在SPSS17.0中,可以利用数据菜单中正交设计过程中的生成程序产生正交表,用显示程序打印正交设计方案。由SPSS17.0产生的正交表同正交试验设计书中的正交设计表不一定相同。在需要作极差分析的同时,还要考虑交互作用,应根据交互作用表作表头设计。

3) 在不需要极差分析或极差分析中不需要考虑交互作用时,可直接采用SPSS17.0产生的正交表来安排试验(但生成正交表时要考虑求交互作用时的试验次数,即要根据因素数、水平数、交互作用安排在哪些列,来决定需要多大的正交表),也可直接用SPSS中多因素方差分析的方法来完成正交试验设计的方差分析,同时可考虑交互作用。

4)在用SPSS17.0进行正交试验设计分析可以代替手工计算。

由于篇幅有限,只讨论了各因素等水平的情形,其他不等水平的混合设计,在SPSS中的实现方法是相同的。

参考文献:

[1]刘达民,程岩.应用统计[M].北京:化学工业出版社,2004:153156.

数据分析设计篇6

随着文史资料研究的逐步深入,构建文史数据库成为了提高文史资料研究质量的重要手段。通过对数据库的设计过程进行了解后发现,数据库的设计与实现步骤主要为需求分析阶段、概念结构设计阶段、逻辑结构设计阶段和物理实施阶段。要想保证文史数据库设计取得积极效果,就要明确设计思路,同时在数据模型的建立上下功夫。在确定设计思路过程中,应合理确定数据模型、概念模型和现实需求。在数据模型建立过程中,应严格规范化要求,提高数据模型建立质量。

2 文史数据库的设计与实现的步骤分析

通过了解发现,文史数据库的设计与实现主要分为以下几大步骤:

2.1 需求分析阶段

在文史数据库设计之前,需要明确文史数据库需要具备哪些功能,需要研究文史数据库的特点及文史数据库与其他数据库的区别,保证文史数据库的设计能够满足实际需要,提高文史数据库的设计效果。

2.2 概念结构设计阶段

在明确了文史数据库的需求以后,需要进行数据库结构的简单构建,其中重要的一环是划分数据库的基本结构,并建立数据库的基本的概念,保证结构层次能够满足实际需要。

2.3 逻辑结构设计阶段

逻辑结构设计是文史数据库设计的重要阶段,是保证文史数据库功能实现的关键阶段,在这一过程中,需要构建适合数据库需要的数学模型,并提高数据模型的运算效果,保证数据库的功能得以实现。

2.4 物理实施阶段

所谓物理实施阶段主要是利用数据库设计原理,将物理元件连接和组装在一起,实现数据库的功能,在文史数据库设计与实现过程中,物理实施需要连接硬件系统,并将数学模型落实到系统中。

3 文史数据库的设计与实现的思路分析

数据库系统:需要机器中的某种数据库管理系统支持,物理存储逻辑结构;数据模型:逻辑结构设计关系模型;概念模型:(e-r模型)现实需求。

e-r模型中的术语:实体、属性、实体型、实体集、键、联系。实体名(属性1,属性2,……,属性n) 图形描述规则:(1)“矩形”框用于表示实体集;(2)“椭圆形”框用于表示实体集中实体的公共属性;(3)“菱形”框用于表示实体集之间的联系。实体之间的联系有三种类型:(1:1)、(1:n)、(n:m)。

数据模型:关系、属性、关键字(候选关键字,主关键字,外部键)、关系模式 关系名(属性1,属性2,属性3,……属性n)。关系完整性约束:用户自定义完整性、实体完整性、参照完整性。

e-r模型和数据模型的对应关系:实体名(属性1,属性2,……,属性n)关系模型:关系名(属性1,属性2,……,属性n)。

4 文史数据库的设计与实现的数据模型建立分析

数据模型构成: 数据结构:数据库的框架。二维表格(关系模型) 数据完整性:用约束保证数据正确。 数据操作:插入,删除、修改。

关系数据模型的规范化要求:(1)一个关系是一个二维表格。每个关系只包含一个实体的信息。(2)关系中每一分量不可再分,是最基本的数据单位。(3)每一列是一个属性,有唯一的属性名。属性在表中的顺序无关紧要。每一列的数据分量是同属性的。(4)二维表格中每一行(除属性名行)是一个元组,表中不能有重复的元组(元组是唯一的),用关键字(主关键字和候选关键字)来保证元组的唯一性。每一行由一个实体的诸多属性构成,且各行的顺序可以是任意的。

基于文史数据库的特点,在文史数据库设计过程中,应对数据模型建立引起足够的重视,应从数据模型建立入手,全面提高文史数据库的构建效果。

5 结语

通过本文的分析可知,在文史数据库的设计与实现过程中,要想保证数据库的设计与实现取得积极效果,就要对数据库的设计

骤、数据库的思路确定和数据库模型建立等方面有足够的了解。同时,还要认真分析文史数据库的特点,明确文史数据库与其他数据库的区别,保证文史数据库在构建过程中能够满足实效性要求,达到提高文史数据库构建质量的目的。由此可见,在文史数据库设计与实现过程中,我们要明确设计步骤,把握设计原则,提高设计质量,满足实际要求,使文史数据库的设计能够取得积极效果。

参考文献:

[1]季伟,刘永辉,刘剑,崔卫.实现三网融合的ftth工程设计[j].光通信技术,2010年05期.

[2]刘亚荣,杨春,李新,蒋存波.基于gpon的高校ftth设计方案[j].光通信技术,2011年02期.

[3]张杰,郑振鹏,乐孜纯,付明磊.一种融合型光网络单元的设计与实现[j].光通信技术,2012年01期.

数据分析设计篇7

与传统数据数量手段比较,大数据技术具有数据类型复杂、处理迅速、实效性强等优点,在智能交通领域运用大数据技术,可以采集海量的数据,这些数据内包含许多不可估量的价值,通过挖掘和分析能够快速得到所需的数据信息[1]。针对上述情况,本文提出基于大数据技术智能交通台数据平台各功能层设计情况,并提出其在交通数据诊断、路网延迟指数等方面的应用。

1智能交通数据平台功能需求

随着智能交通管控平台违法数据、道路信息增长速度日益加快,过去的关系型数据库在数据保存、处理等方面的性能已无法满足庞大的数据需求。关系型数据库在对智能交通转向场景的规律展开分析时,难以从多个维度数据类型间创建良好的相关性联系。大数据技术的应用就是为将这些结构或者半结构化的智能交通数据实施整合处理,因此,依托大数据技术设计的智能交通数据分析平台具有的处理功能如下:①过车数据:处在行使状态的车辆从卡口、电子警察等智能视频采集点通过时,能够准确记录该车辆的车牌号、颜色、车型等结构化的数据信息。②车辆违规行驶数据:前段配置的采集设备能从各路口采集车辆是否闯红灯、压线、违法掉头或停车等数据。同时,利用智能的视频采集点或固定源能够实时采集车辆行驶速度、车头间距等车流量信息。③运用大数据技术设计的智能交通数据分析平台能够与信号控制系统实现对接,及时获取信号控制系统的相位控制等信息。同时,智能交通数据分析平台还具备监控和智能交通管控平台,能够提供过车信息数据、路网信息、违法数据等。

2大数据背景下智能交通数据平台架构

2.1设计整体架构

智能交通数据分析平台是采用先进的计算机信息技术、通信技术、传感技术、人工智能等有效整合用于交通运输信息的管理和控制中,注重人、车与道路之间的协调,组成一种有利于改善环境、节约能源、保护安全的综合运输系统。智能交通数据分析平台运用层次化结构模型展开设计,并根据大数据建设要求,整个平台包含数据感知、资源层、应用层三个层次,数据感知层主要任务就是采集交通信息,资源层旨在管理交通领域的数据;应用层旨在负责实时调度智能交通资源。本次设计的智能交通数据平台系统能满足采集、存储、调度及处理数据等方面的需求,具体架构如图1所示。

2.2各模块层设计

2.2.1资源层从智能交通数据存储方面分析,运用数据仓库与挖掘技术实现大数据的存储和分析。其中,数据仓库技术能够满足智能交通数据平台处理海量数据的要求,该技术依托预设的存储模式,把交通领域中的异构数据根据数据结构数据实施提取、调用、处理等操作。同时,根据预设的仓储模型把数据存放在数据仓库内,借助数据仓库技术设计的智能交通数据平台下数据存储及挖掘架构见图2。

2.2.2应用层设计利用SOA实现智能交通数据平台系统应用层的设计,该层主要包含三个子模块:①应用实现模块:该模块旨在完成数据的调度,借助逻辑编程及时实现相应的功能;②应用流程模块:大数据调度流程依托专业的BPEL工具调度各种资源;③特殊调度模块:该模块的主要任务是把自定义调度流程转换成BPEL流程。依托SOA服务设计的应用层。

2.2.3数据表现层智能交通数据平台系统中的表现层是使用者直接参与的界面,用户可依托浏览器、平板、手机等终端设备浏览各种智能交通信息数据。该层主要任务是确保用户与整个系统的交互性,因此,配备简洁的外观、界面框架、各单元控件等。

3智能交通数据分析平台系统的应用

3.1智能交通数据共享及数据诊断

智能交通数据平台系统各功能的实现离不开各模块之间的信息整合与共享,因此,实现各模块信息融合的主要方式就是创建信息共享平台,这个平台能支持相关子模块功能提取所需的数据资源及信息共享服务。此外,一个完整的智能交通系统还必须配置智能交通信息中心、管理中心、智能交通基础设备等,它能满足城市交通信息规范化发展要求,包含各类信息性质、功能及传送方法,组成相应的信息流机制,对共享的数据进行存储和管理操作。依托大数据技术的相关功能,这些共享数据可以由日益变化的智能交通各数据信息提取出来,实现各地区、不同领域的数据库实施综合处理,将历史数据迁移至大数据平台下,还要保持数据的完整性及各种数据之间的关系可以理解。同时,可依据各模块不同需求及相关关系为客户提供各种数据信息服务,组织内部存储各类数据直接输出来,其他子系统保存相关数据从信息共享平台提供一系列的查询功能。此外,大数据平台可以及时统计并输出道路网络的拥堵、事故情况,并能归纳为利于用户决策的有用信息,例如:利用大数据分析,某个路口闯红灯数量明显少于平时,出现异常数据可以设置报警规则,提醒出现异常信息[2]。维护者对现场道路智能交通设施实施排查操作,判定是否存在设备故障。利用大数据技术直观展现道路不均指数,提供最佳的信号机配时/相位方案,便于决策人员制定科学的决策。

3.2道路网延迟指数分析

依托大数据技术对各个路口/路段历史流量进行统计,进一步分析路网的延迟指数。智能交通延迟指数求解方法是实际通过旅行时间与自由流通旅行时间相减,若所得数值为负数,则设定为0,表明并未发生延迟,并把这些数据映射至[0,10]数据区间之内。如果智能交通延迟指数较大,说明这个地点的拥堵情况更严重。左侧向使用者展现设定日期、特点等交通延迟指数改变情况,来回移动水平滚动条,能够及时查看不同时间段的延迟数据。左侧展现路口、道路等级、行政区划等各维度下相对应点的延迟指数和排名情况。通过综合分析道路延迟指数,能够为决策人员提供新建道路规划等决策提供支持。

3.3道路路口组织优化设计

数据分析设计篇8

商业银行作为经营信用、货币的企业,面向的客户是几乎全方位的,同时银行业的竞争也是异常残酷的[1]。从网点、ATM、POS、网银、手机银行乃至其他网络信息等各类渠道数据信息中,挖掘、分析出有效的数据,可以增加营销效率、加快产品创新,快人一步扩大业务发展空间和市场份额[2]。大数据可以使商业银行决策由经验依赖到数据依赖的转变,实时、深入地把握业务和市场动态,从而更加科学、有效地决策,让商业银行能够稳健、可持续发展[3]。大数据的挖掘、分析可以有效地提高商业银行精细化管理水平,在风险控制、成本核算、资本管理、绩效考核等各个方面发挥出巨大作用,让经营管理能力大幅提升,更理性、更高效、更精确[4]。

1大数据技术

1.1HadoopMapReduce技术

Hadoop是一种分布式系统的平台,通过它可以很轻松地搭建一个高效、高质量的分布系统[5]。Hadoop的最核心的设计思想:MapReduce是Hadoop的核心组件之一,Hadoop主要包括2部分:一是分布式文件系统HDFS,HDFS为海量的数据提供了存储;二是分布式计算框MapReduce,为海量的数据提供了计算。MapReduce是大规模数据计算的利器,Map和Reduce是它的主要思想,Map负责将数据打散,Reduce负责对数据进行聚集。Hadoop采用并行工作模式,同时维护多个工作数据副本,确保失败的节点能够重新分布处理,具有可靠、高效、可伸缩、低成本的优点。

1.2NOSQL数据库技术

NOSQL(NotOnlySQL)数据库是指非关系数据库。这是相对于传统关系数据库提出的概念,随着Web2.0网站的兴起,数据量越来越大,传统关系型数据在处理大数据、实时读写以及多表联查已经越来越力不从心,而NOSQL以键值对存储,机构不固定,每个元组可以根据需要增加、减少键值对,减少了时间和空间的开销,同时NOSQL可以处理大数据,能够良好地运行在廉价的PC服务器机器上,便于扩展[7]。

1.3内存分析技术

内存分析(In-memoryAnalytics)技术是在内存中直接获取分析数据。随着64位操作系统的普及,系统可用内存大幅度提升,同时由于工艺不断成熟,内存容量不断,价格不断下降。由于内存容量暴增,人们开始直接将数据预读到内存中,对内存中的数据进行分析加工,而不用如传统的那样将数据反复不断地读入内存、写入磁盘,从而极大地提升了数据分析效率。

2商业银行数据应用现状

目前,商业银行对于大数据的挖掘还处于起步阶段,没有一个在设计之初就目标明确的定位于大数据挖掘、分析的系统[8]。现有的几个与数据挖掘相关的管理信息系统有PCRM系统(个人优质客户系统)、RPTS系统(综合报表系统)、GDP系统(基础数据平台系统)等,这些系统在设计之初就具有先天的局限性,它们仅仅是针对某个或者某几个业务部门的应用开发的,远远还谈不上大数据分析。同时这些系统由于没有统一的规划设计,物理架构大致相同,一些重要数据,如定期、活期主档及明细表全部重复加工,造成人力、财力的浪费,效率较低[9]。在上面提到的几个管理信息系统中,GDP系统是相对比较典型的应用,现在对GDP系统物理架构和逻辑架构进行分析。如图1所示的GDP物理架构图,采用成熟的3层B/S架构,2台乃至多台PC服务器部署WEB前置服务,做表示层;由1台小型机部署应用服务程序,做逻辑层;1台小型机上运行数据库系统,做数据访问层。数据库由控制库和日终库组成,其中控制库使用SYBASEASE库,将不同的处理任务划分成一个个的作业链,作业链中包含不同的作业,通过对作业和作业链调度次序进行控制;日终库采用SYBASEIQ库,对日终数据进行高效处理。控制库与日终库可在同一台小型机上。2台PC服务器使用IBMWebSphere部署高可用集群,提供WEB服务,包含作业调度服务和前台展示。

3构建商业银行数据分析

系统模型商业银行作为传统金融企业,与新兴的互联网企业不同之处在于:行内的数据中含有许多机密、隐私的信息,同时无论媒体还是客户都关心银行数据的安全性。在数据挖掘、分析包括使用的时候,效率与安全的选择需要慎重考量。为了避免资源的浪费,本文在设计模型前,必须对现有数据进行详尽分析,剔除重复、无效的数据,将有效数据进行分类。商业银行数据应用中大致可以分为2种类型:一类是高可靠数据,以数据的准确性为主,需要提供给统计部门、核算部门及监管部门,对于这类数据我们必须在使用前进行数据清洗、筛选后,才能够真正使用;另一类则不需要很精确,只需要一个大致数量级或者一个大的方向,主要供决策层、管理经营层及产品研发、营销等部门使用,对于这类数据其实才是真正符合现今大数据的概念,无需对数据进行清洗,可以直接进行挖掘。针对侧重于安全可靠和快速高效这2种不同的需求,以及结合商业银行现有技术发展,本文设计出下面2种模型。

3.1高可靠模型

基于商业银行对数据的精度要求较高,在设计模型时首先考虑的是数据的完整性和安全性,其次才考虑效率等其他的问题。因此,本文对现有成熟和完备的商业银行GDP系统3层架构和业务定位深入分析的基础上,进行了一些改进,克服现有GDP系统3层结构的不足。

3.2高效率模型

对于商业银行精度要求不高,但是非常具有时效性和海量的数据,不需要考虑数据的完整性、安全性。为此,本文使用一些互联网的新技术以及开源的软件,抛弃原有3层架构,引入大数据挖掘新技术,实现大数据的挖掘需求。

4数据分析

当将海量的数据挖掘出来后,怎样使用这些数据?投入这么多人力、物力当然是希望它能带来更多的收益,怎样将数据变成收益?这就需要对数据进行分析,结合自身以及行业的现状进行分析。在传统的数据中,以少量的数据为依据,以数据的准确性为目标进行的统计工作,其实这样的统计是有偏差和片面的。而大数据则以海量数据为依托,强调数据的完整性、综合性和复杂性,通过答题轮廓,捕捉发展脉络,确定未来发展方向。从决策层出发,大数据可以为我们更快地找出未来银行的发展方向,最大限度地避免在决策方向上出现偏差。一直以来商业银行的决策是由个人或小团队进行的,但是在这些决策中往往有很多依靠过往的经验、主管判断的,这就带来决策缺少扎实的依据,很多决策适合一些地方,但在另外一些地方却未必很适合。特别是现在科技发展日新月异,对传统银行业带来了巨大的冲击,原来的很多经验不但不能带来帮助,甚至会制约决策层的思维,决策远远满足不了前瞻性、有效性和针对性的要求。

而大数据的分析则可以更准确、更快捷地帮助决策层把握脉络,从而做出具有前瞻性、及时的、精准的决策。从管理执行层来看,通过大数据的分析可以更快捷地推出精品产品,更有效地营销客户,更高效的使用行内各种资源,提高管理能力,创造更多利润。通过大数据的分析,管理层能够分析出哪些产品受哪些客户的喜好,分析各类客户都有什么需求,可以根据这些有针对性地开发一些受客户欢迎的产品。可以对一些高质量的VIP客户进行分析,对他们的资金利用进行跟踪,尽量将资金链锁定在行内,利用资金空闲时段进行中间业务的营销,可以对这些客户在贷款的利率上进行一定幅度的优惠等等。可以对基层行、网点人员效率进行分析、优化,对行内的电子设备,如ATM、POS机等进行分析,在使用量庞大的地方可以加大投放,收回一些效率低下的设备等等。从监管层来看,通过大数据的分析可以更加直观、有效地对商业银行的合规经营做出监管。可以从大数据中对各地的经营、营销费用、采购招标等需要进行监管的地方进行分析,一旦发现某个地方有异常情况,就可以进行重点关注、重点监管,而不是像以前那样无差别的监管,或者靠经验去进行监管,从而能够更快、更有效地进行监管,提前去发现问题,制止问题事件的扩大,为商业银行减少损失,更有效保障商业银行的利益。

5结语

大数据在商业银行决策、生产运行和经营管理中越来越重要,构建商业银行自身的大数据挖掘、分析系统已经迫在眉睫了,如何构建大数据分析系统、利用分析系统实现数据到价值、利润的转化,这需要不断的研究。本文通过深入分析商业银行的数据分析现状,总结其数据分析的优、缺点。并针对侧重于安全可靠和快速高效2种不同需求,以及结合商业银行现有技术发展,设计了商业银行数据分析系统,使商业银行从珍贵数据中分析、挖掘对其战略发展和业务经营有巨大推动作用的信息。

参考文献:

[1]薛良飞.云计算在新型信息化系统中的综合研究[D].济南:山东大学,2013.

[2]李斌,黄治国,彭星.利率市场化会降低城市商业银行投融资水平吗?——基于中国24家城市商业银行数据的实证研究[J].中南财经政法大学学报,2015(1):40-47.

[3]方先明,苏晓珺,孙利.我国商业银行竞争力水平研究——基于2010—2012年16家上市商业银行数据的分析[J].中央财经大学学报,2014(3):31-38.

[4]刘晓茜.云计算数据中心结构及其调度机制研究[D].北京:中国科学技术大学,2011.[5]陆嘉恒.Hadoop实战[M].北京:机械工业出版社,2012.

[6]张世明,徐和祥,钱冬明,等.云架构模式下“网络学习空间人人通”体系探析[J].华东师范大学学报(自然科学版),2014(2):30-39.

[7]江务学,张璟,王志明.云计算及其架构模式[J].辽宁工程技术大学学报(自然科学版),2011(4):575-579.

数据分析设计篇9

1绪论

1.1 课题背景

数据也称观测值,是实验、测量、观察、调查等的结果,常以数量的形式给出。数据采集,又称数据获取,就是将系统需要管理的所有对象的原始数据收集、归类、整理、录入到系统当中去。数据采集是计算机管理系统使用前的一个数据初始化过程。数据采集技术广泛引用在各个领域。比如摄像头,麦克风,都是数据采集工具。

数据采集(data acquisition)是将被测对象(外部世界、现场)的各种参量(可以是物理量,也可以是化学量、生物量等)通过各种传感元件作适当转换后,再经信号调理、采样、量化、编码、传输等步骤,最后送到控制器进行数据处理或存储记录的过程。

被采集数据是已被转换为电讯号的各种物理量,如温度、水位、风速、压力等,可以是模拟量,也可以是数字量。采集一般是采样方式,即隔一定时间(称采样周期)对同一点数据重复采集。采集的数据大多是瞬时值,也可是某段时间内的一个特征值。准确的数据测量是数据采集的基础。数据测量方法有接触式和非接触式,检测元件多种多样。不论哪种方法和元件,都以不影响被测对象状态和测量环境为前提,以保证数据的正确性。数据采集含义很广,包括对连续物理量的采集。在计算机辅助制图、测图、设计中,对图形或图像数字化过程也可称为数据采集,此时被采集的是几何量数据。

在智能仪器、信号处理以及工业自动控制等领域,都存在着数据的测量与控制问题,常常需要对外部的温度、压力、流量、位移等模拟量进行采集。数据采集技术是一种流行且实用的电子技术。它广泛应用于信号检测、信号处理、仪器仪表等领域。近年来,随着数字化技术的不断发展,数据采集技术也呈现出速度更高、通道更多、数据量更大的发展态势。

数据采集系统是一种应用极为广泛的模拟量测量设备,其基本任务是把信号送入计算机或相应的信号处理系统,根据不同的需要进行相应的计算和处理。它将模拟量采集、转换成数字量后,再经过计算机处理得出所需的数据。同时,还可以用计算机将得到的数据进行储存、显示和打印,以实现对某些物理量的监视,其中一部分数据还将被用作生产过程中的反馈控制量。

数据采集系统是计算机测控系统中非常重要的环节,目前,有各种数据采集卡或采集系统可供选择,以满足生产和科研试验等各方面的不同需要,但由于数据源以及用户需求的多样性,有时并不能满足要求。特别是在某些应用中,需要同时高速采集多个通道的数据,而且为了分析比较各通道信号间的相互关系,常常要求所有通道的采集必须同步。现有的数据采集系统能够满足上述要求的比较少,且价格十分昂贵,体积较大,分量较重,使用十分不方便。

一般模拟量是通过各种数据采集卡进行数据采集。目前常用的是具有 isa 总线、pci 总线等接口形式的 a/d 采集卡,虽然数据传输率很高,但是还存在整个系统笨重,缺乏灵活性,不能实现即插即用,不适合小型、便携设备采用等缺点。另外这些类型的采集卡在计算机上安装比较麻烦,而且由于受计算机插槽数量、地址、中断资源的限制不可能挂接很多设备。因此,工程师们往往需要花费大量的时间和资源用于系统搭建。

随着现代工业技术的迅猛发展,生产规模的不断壮大,生产过程和制作工艺的日趋复杂,对自动测试和各种信息集成的要求也就越来越高。数据采集系统的好坏将直接影响自动测试系统的可靠性和稳定性,为了满足不同的测试需求,以及减少对资源的浪费,在系统的设计上应该尽量满足通用性和可扩展性。在高度发展的当今社会中,科学技术的突飞猛进和生产过程的高度自动化已成为人所共知的必然趋势,而它们的共同要求是必须建立在有着不断发展与提高的信息工业基础上。人们只有从外界获取大量准确、可靠的信息经过一系列的科学分析、处理、加工与判断,进而认识和掌握自然界与科学技术中的各种现象与其相关的变化规律,并通过相应的系统和方法实现科学实验研究与生产过程的高度自动化。换言之,生产过程的自动化面临的第一个问题就是必须根据从各种传感器得到的数据来检测、监视现场,以保证现场设备的正常工作。所以对现场进行数据采集是重要的前期基础工作,然后再对现场数据进行传输和相应的处理工作,以满足不同的需要。

数据采集卡是中低端数据采集系统设计的必选产品。基于 isa、pci 的插卡式数据采集设备存在以下缺陷:安装麻烦;价格昂贵;受计算机插槽数量、地址、中断资源限制,可扩展性差;在一些电磁干扰性强的测试现场,无法专门对其做电磁屏蔽,导致采集的数据失真。而现代工业生产和科学研究的发展要求数据采集卡具有更好的数据采集、处理能力,传统的 cpu 已经不能满足这一要求。针对以上要求,本文将论述一种基于pc机的声卡技术,它安装容易,成本较低。只需利用计算机本身的软硬件资源,而不需添加其他任何设备即可构成数据采集与分析系统,使用matiab语言编制简洁的图形用户界面,该界面操作方便,并且可以根据用户的需求进行功能扩充。

数据分析在整个科研工作中是个重要的必不可少的环节,它的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来,以找出所研究对象的内在规律。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。数据分析是组织有目的地收集数据、分析数据,使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期,包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程,以提升有效性。例如,一个企业的领导人要通过市场调查,分析所得数据以判定市场动向,从而制定合适的生产及销售计划。因此数据分析有极其广泛的应用范围。数据分析系统工作的质量和速度如何,对整个科研工作的影响也是很大的。因此研究一种质量性能高的通用数据采集平台具有很大的意义。

在近几十年来 ic 技术和计算机技术的高速发展,为数据采集与分析提供了非常良好与可靠的科学技术基础,也提出了更高的要求和强有力的推动。如今面临着先进的计算机技术和信息技术与落后的信息采集与分析技术的现实差距,那将大大影响科学技术的高度发展和生产过程的高度自动化。所以,近几十年来世界各国都大量投入进行信息采集与分析的工作,尤其是在经济发达的美、英、德、法日等国与我国,都对这一技术高度重视。

1.2 国内外研究动态

数据采集是获取信息的基本手段,数据采集技术作为信息科学的一个重要分支,与传感器、信号测量与处理、微型计算机等技术为基础而形成的一门综合应用技术,它研究信息数据的采集、存储、处理及控制等作业,具有很强的实用性。随着科学技术的发展,数据采集系统得到了越来越广泛得应用,同时人们对数据采集系统的各项技术指标,如:采样率、线性度、精度、输入范围、控制方法以及抗干扰能力等提出了越来越高的要求,特别是精度和采样率更是使用者和设计者所共同关注的重要问题,于是,高速及超高速数据采集系统应运而生并且得到了快速发展。今天,数据采集技术己经在雷达、通信、水声、振动工程、无损监测、智能仪器、工业自动控制以及生物医学工程等众多领域得到广泛的应用并且收到了良好的效果。高速数据采集系统在国防、航天、边缘科学研究中及国民经济的各个领域的成功的应用,进一步引起了各方的关注,推动了它的研制和发展。随着科学技术的发展,数据采集系统得到了越来越广泛的应用。目前,国外很多公司与厂商都投入巨资进行数据采集系统的研制开发与生产销售,其中比较著名的有 neff, ni、hp,tek 等。

从数据采集系统产品来看,各大公司提供的系列产品都包括了完成数据采集的诸如信号放大、滤波、多路开关、模数转换和接口等各种模块。现有的高速数据采集器件和开发的产品中,目前还没有完全实现高速、高分辨率。在雷达、通信、谱分析、瞬态分析、电视等应用领域,为满足实时检测和高速采集的日益更新的需要,实现数据采集的高速、高分辨率已成为数据采集系统的一个发展方向。现有的高速 adc 器件和产品价格都比较昂贵,有些高速、高分辨率的器件本身还存在着不稳定性,因此,在数据采集系统向高速、高分辨率发展的同时,开发和研制的器件和产品应不断地提高可靠性,降低成本,提高性价比,以便使之得到更广泛的应用。在国内,由于历史、技术等原因,我们的产品普遍存在:通用性差、用途单一、测点少、测量距离小、环境适应性差等缺点,远没有形成系列化、模块化、标准化的通用产品,根本无法满足国内用户不断增长的需要,也远远不能与国外产品抗衡,正因此使得价格高昂的国外产品占有了相当大的市场份额。

1.3 数据采集系统的现状及发展

数据采集与分析一直是生产实践研究与应用领域的一个热点和难点。随着微电子制造工艺水平的飞速提高及数据分析理论的进一步完善与成熟,目前国内外对数据采集系统的高性能方面的研究上取得了很大的成就。就 a/d 转换的精度、速度和通道数来说,采样通道从单通道发展到双通道、多通道,采样频率、分辨率、精度逐步提高,为分析功能的加强提供了前提条件。而在数据分析的微处理器上,最初的数据采集系统以 8 位单片机为核心,随着微电子技术的不断发展,新兴单片机的不断问世,十六位、三十二位单片机也为数据采集系统研制厂家所采用,近年来采用具有 dsp 功能的数据采集系统也己投入市场。同时,通用 pc 机的 cpu 用于数据处理也较为常见。总之,伴随着高性能微处理器的采用和用户技术要求的不断提高,数据采集系统的功能也越来越完善。数据采集系统的发展主要体现在以下几个趋势:

首先,在专业测控方面,基于 pc 计算机的数据采集系统越来越成熟和智能化。在过去的二十年中,开放式架构 pc 机的处理能力平均每十八个月就增强一倍。为了充分利用处理器速度的发展,现代开放式测量平台结合了高速总线接口,如 pci和 pxi/compact pci,以便获得性能的进一步提升。计算机的性能提升和由此引起的基于计算机的测量技术的创新,正在持续不断地模糊着传统仪器和基于计算机的测量仪器之间的界线。

其次,在通用测控方面,采用嵌入式微处理器的方案也由早期的采用 a/d 器件和标准单片机组成应用系统发展到在单芯片上实现完整的数据采集与分析,即目前极为热门的 soc (system on chip)。通常在一块芯片上会集成一个,可以采样多路模拟信号的 a/d 转换子系统和一个硬 cpu 核(比如增强型 80_52 内核),而且其cpu 的运算处理速度和性能也较早期的标准 cpu 内核提高了数倍,而且有着极低的功耗。这种单芯片解决方案降低了系统的成本和设计的复杂性。

此外,为了解决 soc 方案中数据处理性能的不足,采用 dsp 作为数据采集系统的 cpu 的研究与应用目前也逐渐引起业内重视。但是这类产品目前仅仅处于发展的初级阶段,在精度、速度或其它性能指标上并不能很好的满足要求。因此,国内外以 dsp 作为数据采集系统的采样控制和分析运算的研究与应用正在展开。

近年来随着芯片技术、计算机技术和网络技术的发展,数据采集技术取得了许多新的技术成果,市场上推出了繁多的新产品。高速数据采集技术的发展一方面是提高采集速率,另一方面不断向两端延伸。一端是输入的信号调理,另一端是采集后的数字化信号的实时处理与事后处理。20世纪90年代末,随着数字技术快速发展,数据采集技术已向着并行、高速、大量存储、实时分析处理、集成化等方向发展。

(1)采样方式

①过采样(over sampling)。采样方式中最早是过采样,根据采样定理,采样频率fs必须高于被采信号最高频率fch的两倍,才不致产生频率混叠现象。例如信号最高频率为10khz,采样频率必须高于20khz。

②欠采样(under sampling)。在通信和动态数据的采集中,发展了一种欠采样技术,即采样频率fs可以低于信号频率fch,但信号的频带宽度不得大于0.5fs,利用采样信号产生的高次谐波,将采样后的信号移至第二或者更高的奈奎斯特区。例如采样频率fs为10khz,可对频带fch落于11~14khz的信号(频带宽度为3khz,低于0.5fs=5khz)进行欠采样。于是在采样频率2次谐波两边产生的采样后的信号频带为f2ch = 2fs±fch = 20 khz±(11~14 khz)= 31~34 khz,或9~6 khz

③等效时间采样(equivalent time sampling )。主要是对于重复的周期波形进行等效时间采样。例如美国泰克公司的tds784d数字存储示波器,其实际的采样频率为 1 gs/s ( 1ghz ),对于重复的周期信号,采取周期微差法,可以达到250gs/s(250ghz)的等效时间采样。例如对于 1 ghz 的方波,进行周期微差法采样,每个周期的采样只有微小的时差,将若干个周期中的样点集中排列,即可测出方波上升沿和下降沿的波形。对于单次瞬态信号,这种方法是无效的。

④变速率变分辨率采样。

(2)采集方式的发展

①扫描式采集(scanning acquisition):时分制、多通道巡回采集。

②并行式采集(parallel acquisition):多个通道同步并行采集,每个通道采用一个独立的a/d转换器,通道采集速率只取决于a/d的转换速率,与通道数无关。

③交替采集(internative acquisition):一个通道由多个a/d转换器交替采集,使每个通道采样速率等于多个a/d的转换速率之和,可以高于单个a/d的转换速率。

(3)采集数据的实时分析与处理软件

目前国外的测试仪器或系统生产厂家,在生产硬件的同时,推出其相应的支持软件或软件开发平台,如为产品开发者提供的软件工具;为系统集成者提供系统应用软件的集成的环境;为终端用户提供编写自己的用户应用程序的手段。

1.4 本文主要内容和章节安排

本文完成了一种基于matlab的数据采集系统的方案的设计,实现了在matlab环境下利用声卡和matlab数据采集工具箱进行的数据采集与分析。

全文的结构安排如下:

第一章 绪论,说明了研究背景、意义、国内外现状,以及系统的发展现状。

第二章 主要介绍了系统结构特点及性能

第三章 主要介绍了声卡、matlab软件及其工具箱的使用

第四章 主要讨论了系统结构功能设计与实现,以及数据采集与分析的具体过程

第五章 主要对数据采集进行了举例

2数据采集系统结构特点

2.1 系统组成结构

数据采集系统主要由两部分组成:采集子系统和计算机子系统,即下位机智能数据采集系统和上位机 hmi(human machine interface)系统。采集子系统实现将客观世界被测对象信号采集和转换为能被计算机处理的数字信号的功能等;计算机子系统实现对采集数据的控制、存储和处理等功能,计算机起着对采集数据的存储和处理、统计分析、提供人机接口与其他计算机的数据通信和交换的功能。

数据采集系统涉及多学科,所研究的对象是物理或生物等各种非电或电信号。根据各种非电或电信号的特征,利用相应的归一化技术,将其转换为可真实反映事物特征的电信号后,经a/d转换器转换为计算机可识别的有限长二进制数字编码,以此作为研究自然科学和实现工业实时控制的重要依据,实现对宏观和微观自然科学的量化认识,典型的数据采集系统组成如图2-1所示。

图2-1 典型数据采集系统的组成

而一般的外置式数据采集系统结构如图2-2所示。模拟信号由传感器采得经过信号调理模块送入数据采集硬件设备。在数据采集设备中完成a/d转换,包括采样、量化、编码,转化成数字信号后送入与之相连的pc机中。根据不同的要求,在pc机上利用matlab以及二次编程实现数据的实时分析与处理。用户可以通过人机交互界面修改、设定各项参数来控制数据采集硬件设备的工作状态,同时可以得到数据的采集与分析结果, 从而实现数据采集与分析的自动化。

图2-2 一般的外置式数据采集系统结构

利用声卡在windows环境下开发数据采集系统时,由于受编程语言的限制,其数据分析与处理的功能非常有限。例如,为了对所采集的数据进行功率谱分析,则需要用户以vb或c语言来编写功率谱分析的子程序,这显然增加了开发的难度,并且也极不利于分析功能的进一步扩展。

而利用声卡作为a/d转换工具,经过衰减和取样电路得到的模拟信号送至声卡的线路输入端linein,并利用matlab中提供的数据采集工具箱,可满足控制声卡进行数据采集的要求。用户通过调用matlab命令, 可对采集的数据进行分析和处理。

整个系统可分为数据采集和数据分析两大部分,以友好的图形界面与用户进行交互沟通。数据采集部分实现数据采集功能,根据用户选择的采样频率和预设的采样时间,从声卡获得用户需要的数据;数据分析部分对采集到的数据进行频谱分析。全部数据的时域和频域波形以图形方式直观地呈现于用户面前。此外,还提供保存数据以及回放数据的功能。

图2-3给出了基于matlab的数据采集系统的简图,主要部件数据采集工具箱提供了硬件驱动程序和matlab环境之间“对话”所需的硬件驱动程序适配器、数据采集引擎和m-文件函数.

图2-3 基于matlab的数据采集系统简图

硬件驱动程序适配器在硬件驱动程序和数据采集引擎之间交换属性数值、数据和事件;数据采集引擎用来存储各个设备对象,以及每个设备对象的属性值;对采集到的数据进行存储并且使不同事件同步;m-文件用来创建设备对象、采集或输出数据、配置属性值和检测数据采集状态和数据采集设备。

2.2 系统的特点和性能指标

现代数据采集系统发展到今天,一般来说具有如下主要特点:

(1)现代采集系统一般都由计算机控制,使得数据采集的质量和效率等大为提高,也节省了硬件投资。

(2)软件在数据采集系统中的作用越来越大,增加了系统设计的灵活性。

(3)数据采集与数据处理相互结合的日益紧密,形成数据采集与处理系统,可实现从数据采集、处理到控制的全部工作。

(4)数据采集过程一般都具有“实时”特性,实时的标准是能满足实际需要;对于通用采集系统一般希望有尽可能高的速度,以满足更多的应用环境。

(5)随着电子技术的发展,电路集成度的提高,数据采集系统的体积越来越小,可靠性越来越高,甚至出现了单片数据采集系统。

(6)总线在数据采集系统中有着广泛的应用,总线技术它对数据采集系统结构的发展起着重要作用。

评价一个数据采集系统的性能有很多指标,但是一般采用以下几个比较常用的指标进行评价。

(1)系统分辨率

系统分辨率是指数据采集系统可以分辨的输入信号的最小变化量。通常可以用如下几种方法表示系统分辨率:

使用系统所采用的 a/d 转换器的位数表示系统分辨率;

使用最低有效位值(lsb)占系统满度值的百分比表示系统分辨率;

使用系统可分辨的实际电压数值表示系统分辨率;

使用满度值可以分的级数表示系统分辨率。

(2)系统精度

系统精度是指当系统工作在额定采集速率下,整个数据采集系统所能达到的转换精度。a/d 转换器的精度是系统精度的极限值。实际上,系统精度往往达不到a/d 转换器的精度。因为系统精度取决于系统的各个环节(子系统)的精度,如前置放大器、滤波器、模拟多路开关等。只有当这些子系统的精度都明显优于 a/d 转换器的精度时,系统精度才有可能达到 a/d 转换器的精度。系统精度是系统的实际输出值与理论输出值之差,它是系统各种误差的总和,通常表示为满度值的百分数。

(3)采集速率

采集速率又称为系统通过速率或吞吐率,是指在满足系统精度指标的前提下,系统对输入的模拟信号在单位时间内所能完成的采集次数,或者说是系统每个通道、每秒钟可采集的有效数据的数量。这里说的“采集”包括对被测物理量进行采样、量化、编码、传输和存储的全部过程。

(4)动态范围

动态范围是指某个确定的物理量的变化范围。信号的动态范围是指信号的最大幅度和最小幅度之比的分贝数。

2.3 系统常见的几种结构形式

(1)多通道共享采样/保持器和 a/d 转换器数据采集系统

这种系统构成如下图所示,这种结构形式采用分时转换工作的方式,多路被测信号共用一个采样/保持器和一个 a/d 转换器。当采样保持器的输出已充分逼近输入信号(按给定精度)时,在控制命令的作用下,采样保持器由采样状态进入保持状态,a/d 转换器开始进行转换,转换完毕后输出数字信号。在转换期间,多路开关将下一路信号切换到采样/保持器的输入端,系统不断重复以上的操作,可以实现对多通道模拟信号的数据采集。采样方式可以按顺序或随机进行。

多通道共享采样保持器和 ad 转换器数据采集系统图

这种采集系统结构形式最简单,所用芯片数量少,适用于信号变化率不高、对采样信号不要求同步的场合。如果被测信号变化速率较慢,可以不用采样保持器,直接进行 a/d 转换。如果信号很弱而干扰噪声强,需要在系统电路中增加信号放大电路和滤波环节。

(2)多通道同步数据采集系统

多通道同步型数据采集系统图

其结构如上图所示,也属于分时转换系统。

多路模拟输入信号共用一个 a/d 转换器,但是每个通道各有一个采样/保持器,在同一采样指令控制下对各路信号同步进行信号采样,得到各路信号在同一时刻的瞬时值。模拟开关分时将各路采样/保持器切换到 a/d 转换器上,进行模数转换。这些同步数据可以描述各路信号的相位关系,所以这种结构被称为同步型数据采集系统。

由于各路信号必须串行的在共用的 a/d 转换器中进行转换和计算,若采样信号回路过多时,这种采集结构的速度仍然较慢。

(3)多通道并行数据采集系统

多通道并行数据采集系统框图如上图所示。这种结构形式中,每个通道都有自己的采样保持器和a/d转换器,经过a/d转换的数据经过接口电路送到计算机中。相对于前两种数据采集系统,这种结构形式的数据采集速度最快,但所用的硬件电路复杂,成本较高。

通用型模拟量数据采集模块则属于这一类的数据采集子系统。数据采集模块是属于单片机的智能器件,在整个数据采集系统中,每个模块可以认为是实时、并行地工作,每个模块仅完成几路信号的检测和采集,实时响应性能优。

(4)分布式数据采集系统

以上介绍的三种结构形式中,系统各部件之间的空间距离很近,逻辑上耦合程度紧密,都可以称之为数据采集系统。这种系统的优点是:结构简单,容易实现,能满足中小规模的集中数据采集的要求。在市面上均有成熟产品可供选用。系统的体积和设备量小,造价低。

由于工作原理、结构形式和性能设计等原因,这类系统也存在不少缺点:

因为系统结构不灵活,不易扩展,所以不适合大规模的数据采集应用场合。抗干扰能力差,尤其对于被测对象物理位置分散、传感器输出的微弱信号需要长距离传输时,所受的干扰不容忽视的。可靠性差。系统结构中某一部件出现故障会导致整个系统工作崩溃。由于各部件之间紧密耦合,导致系统的可扩展性和灵活性差。分布式数据采集系统是数据采集技术、计算机技术和通信技术综合和发展的产物,基于“分散采集、集中管理”的思想设计的系统结构形式,由若干个“数据采集点”和上位机以及通信接口组成。分布式数据采集系统结构如下图所示:

分布式数据采集系统图

处于分散部位的数据采集点相当于小型的集中数据采集系统,位于被测对象的附近,可独立完成数据采集和预处理任务,并将采集的数据转换为数字信号的形式传送给上位机,采用数据传输的方法可以克服模拟信号传输的固有缺陷。分布式数据采集系统的主要特点是:

(1)系统适应能力强。因为可以通过选用适当数量的数据采集点来构成相应规模的系统,所以无论是大规模的系统,还是中小规模的系统,分布式结构都能够适应。

(2)系统可靠性高。由于采用了多个数据采集点,若某个数据采集点出现故障,只会影响某项数据的采集,而不会对系统的其他部分造成任何影响。

(3)系统实时相应性好。由于系统各个数据采集点之间是真正“并行”工作的,所以系统的实时相应性较好。

(4)另外,这种数据采集系统是用数字信号传输代替模拟信号传输,有利于克服常模干扰和共模干扰。因此,这种系统特别适合于在恶劣的环境下工作。目前对于大规模的数据采集场合一般都采用分布式结构,根据不同的数据采集工作原理、结构形式和性能特点,在本系统中采用集中式的数据采集器件作为数据采集终端,采用上下位的连接方式,最终组成整个数据采集系统。

3 matlab软件

3.1 matlab 简介

matlab 是美国mathworks 公司开发的一种功能极其强大的高技术计算机语言和内容极其丰富的软件库,它适合于工程各领域的分析设计与复杂计算的软件,该软件包括基本部分和专业扩展两大部分.扩展部分称为工具箱,用于解决某一方面的专业问题.它以矩阵和向量的运算以及运算结果的可视化为基础,把广泛应用于各个学科领域的数值分析、矩阵计算、函数生成、信号处理、图形及图像处理、建模与仿真等诸多强大功能集成在一个便于用户使用的交互式环境中,为使用者提供了一个高效的编程工具及丰富的算法资源。对于信号处理和图像处理等数字处理领域,matlab 更是得天独厚,它丰富的m文件和强大的绘图可视功能为使用者带来了极大的方便, 被广泛的应用于信号与图像处理、控制系统设计、通信、系统仿真等诸多领域,尤其对初学者可起到事半功倍之效。

matlab是一种解释语言,所有的程序和指令都必须在matlab解释器中读入后才能运行,因而极大地限制了代码执行速度。matlab强大的计算功能只能在其平台上才能使用,也就是说,必需在安装了其解释器的机器上才能使用matlab的m文件,这样就给工程应用带来了很大不便。对于一般用户来讲,matlab只能作为离线的计算和分析工具,而不能作为实时的工程工具。幸运的是,开发matlab的mathworks公司为广大的应用者提供了应用程序接口(api,applicationprogram interface)和编译器(compiler)。利用matlab和c语言交互,也可以开发基于matlab的数据采集系统。如果配上数据采集线路,该系统就可以作为一个虚拟仪器来使用。

3.2 数据采集工具箱及声卡简介

matlab 自带的数据采集工具箱(data acquisitiontoolbox, daq) 能更容易地将实验测得的数据进行分析和可视化操作。数据采集设备包括: 多媒体声卡、美国国家仪器e系列和1200 系列接口板、hewlett-packard-vxie1432- 系列接口板及其他各种数据采集硬件设备。数据采集硬件设备的内部特性对matlab 的接口完全透明, 无论是使用一个或几个硬件设备, 数据采集工具箱都会向所有硬件设备提供单一和统一的接口。通过调用matlab 命令和函数可对与计算机兼容的数据采集硬件设备进行访问并对其属性进行可视化监控。

数据采集工具箱是一种建立在matlab环境下的m函数文件和mex动态链接库文件的集合,包含3大区域的组件:m文件函数、数据采集引擎及硬件驱动适配器。它具有如下特点:是一种通过使用与pc机兼容的、即插即用的数据采集设备在matlab环境中的架构;支持模拟信号的输入输出以及数字信号的输入、输出,子系统还包括同步模拟输入输出的转换;支持声卡;事件驱动采集。

在matlab数据采集工具箱里集成了数据采集的m 文件格式的函数和mex文件格式的动态链接库。其主要特征如下:

(1)提供了将实时测量数据从数据采集硬件采集到matlab中的框架。

(2)支持模拟量输入(ai)、模拟量输出(a0)以及数字量i/0子系统,包括模拟量i/o实时变换。

数据分析设计篇10

气象灾害是影响农业发展、经济建设、社会发展的一个重要障碍。为减小气象灾害为国民经济带来的损失,提高气象预警能力,各地都根据自身情况建立了气象灾害数据库。利用该系统收集的全面的、系统的气象信息,气象工作人员可以对气象灾害的发生发展情况进行准确分析,并根据分析结果科学制定各种防灾灭灾决策,以帮助减小气象灾害所带来的损失。

随着业务的深入,科技的发展,气象预警对气象灾情信息的要求从基本的文字信息、灾害信息扩展到受灾时间地点信息、受灾程度信息、受灾空间属性信息等多个方面。因此设计一个能够满足使用需求的气象灾情信息数据库显得更加重要。

1 数据库系统要求分析

为满足气象灾情信息评估,数据库应该具有如下几方面的功能。首先是,数据精细化。为保证后续信息分析的精确度和细化度,在数据分类和逻辑构成上应该进行细分。其次是GIS化。空间属性信息已经成为当前气象灾情信息的一个标准配置,将数据库信息GIS化可以为数据应用和决策制定提供有力支撑。再次是规范化。规范准确的灾情信息可以充分满足灾情评估和减灾防灾的工作需求。最后是可扩展性。为方便后续扩容需求和多样化的数据分析需求,该数据库应该在结构上具有一定的可扩展性。本文就基于SQL Server的气象灾情信息数据库进行了分析和设计。

2 数据库设计方案

2.1 灾情信息表

对灾情数据进行信息分类是一项非常重要的过程,适当的分类可以简化系统结构,实现数据的精确分析。具体来说,灾情数据分为两部分,一部分是过程信息表,一部分是灾情信息表。其中,过程信息表用来记录灾害天气发生过程中的灾害信息,这部分记录是灾情数据库的基础;灾情信息表是受灾后的灾情详细信息记录,如灾害强度、灾害损失、灾害原因等。两部分在数据使用方面体现为一对多关系,即一次灾害过程对应着多个灾情信息记录。

灾情信息表是整个数据库系统的核心,其结构是否科学合理决定了后续灾情分析的准确程度。为满足分析需求,通常灾情详细信息表的数据存储字段可分为灾情起因信息、基本信息、空间属性信息、灾害带来的损失信息、后期影响信息等几部分。

2.2 灾情的协同通报信息结构

数据库的建立不仅仅用于记录,还应该具有联网通报的功能,通过该功能可以实现信息的联网分析和总结,提高灾情通报的实时性和系统使用效率,减少或者避免重复工作所带来的人力资源浪费。

该部分数据库架构为,在灾情协同录入界面,辅助录入人员可以将灾情数据进行及时收集整理后进行录入,然后利用协同通报系统将信息上传到数据库端并将该部分数据标记为待审核数据。经过工作人员的审核和评定后,若该数据录入准确且具有唯一性,则取消待审核状态,转为灾情详细信息数据,为后续上报或者灾情分析评估等提供数据支持。该部分的信息需要进行单独存放,以免与灾情信息表产生混淆。

2.3 灾情评估信息数据结构

灾情根据灾害特点和灾害原因可以分为多种类别,如自然灾害和人为灾害、地质灾害和天气灾害等。不同的灾害收集方式和评估方式均有所不同,因此在数据库架构中如何合理制定灾害信息采集分析表对应用灾害数据进行灾情评估具有重要作用。

该部分数据库应该按照如下方式进行构建。首先建立灾情分类数据库,不同灾情与对应灾情描述之间进行特征关联,同类型灾害进行细分和归类。然后根据灾情特征建立对应的数据模型,便于数据录入和灾害评估。

2.4 辅助数据表结构

为提高系统的应用性能,可以增设部分辅助数据表作为灾情数据库的补充。利用该表可以进行新灾情的自定义等,增强数据库的可扩展性。同样辅助表还具有区域记录功能,通过对受灾区域进行记录,可以提高灾情地理分布的精确度,增强局部预警能力。

3 基于灾情数据库的灾害评估技术分析

在建立气象灾情信息数据库的基础上结合使用GIS技术、数据分析技术、WEB技术等,可以保证对数据库的充分利用,实现灾情的精确评估,减少灾害带来的经济损失。

3.1 灾情统计分析技术

对灾情进行记录的主要目的在于利用这些数据进行统计分析,并对分析结果进行总结,生成统计报表,根据报表制定防灾决策,或者指导今后的灾情预警等。该技术生成的统计报表可以用于存储或检索。其中,检索功能可以进行要素关联检索、条件检索、影响检索等。通过进行细分检索和信息对比,可以方便的实现灾害评估。

3.2 可视化分布图显示技术

在对灾害数据库进行限定检索后,可以获得相关灾情信息和气象数据。结合使用可视化技术等,可以根据数据统计量生成要素分布图。如灾情分布图、灾害损失分布图等。这些分布图可以直观、便捷的实现天气和灾情的关联,突出灾害易发点,为不同天气下的灾害预防工作提供理论依据。

3.3 灾害防御对策技术

灾害防御对策技术主要是指对数据库内的灾害数据进行分析,根据各要素的影响程度调用对应的防御对策信息以供气象工作人员参考。该技术的实现需要对现有的应对策略进行收集、整理和归类,并根据灾害程度制作成相应的数据库文件,进而将该数据库与灾害信息库进行关联。

4 总结

该系统为气象工作人员提供了一个适当的、操作简便的信息平台,利用该平台,气象工作人员可以对特定灾害、特定时间、特定地点的气象灾害进行统计和风险评估。基于数据库的气象灾情信息统计系统还能够方便的与其他相关系统实现信息共享,便于向气象灾害潜在覆盖用户提供预测信息。综上所述,气象 灾情信息数据库具有广泛的应用空间,并对现实工作具有一定的指导意义。

参考文献

[1]吴亚玲,吴佳银,曾峰.深圳市气象灾情信息数据库的设计与应用[J].广东气象,2010,32(3).

数据分析设计篇11

CAD/CAE/CAM 集成就是为实现各CAD/CAE/CAM 系统之间完整的产品数据交换,达到信息共享的目的。为此应采用统一的标准来实现产品数据的定义,ISO制订了《SO10303一产品数据的表达与交换》,又称STEP标准。该标准根据集成要求、内容以及数据量,有如下四个层次的集成方式。

1.1 基于中性文件的集成方式 数据存放在有专门格式规定的STEP文件中,各应用系统之间数据交换经过前/后置处理程序处理为中性文件进行交换。这种方式实现简单,但存在数据冗余度大,数据独立性差、难于扩充的缺点。

1.2 基于工作格式的集成方式 工作格式是产品数据结构在内存中的表现形式,它利用内存数据管理系统使要处理的数据常驻内存,对它进行集中处理,产生STEP文件。其特点是处理数据的速度快,可以不必考虑数据的存储方式,实现简单。缺点是由于内存空间的限制,当处理大量的数据时要设置页交换文件,而且也存在着数据冗余,难于扩充的问题。

1.3 基于工程数据库的集成方式 应用系统通过工程数据库来统一管理和操纵数据,进行数据交换。这种方式简化了信息交换方式,适用于数据量大、数据管理规模大,可满足数据共享性、独立性、安全性和完整性要求。它不仅可描述数据本身,还可通过存取路径来描述数据之间的联系。通过工程数据库存取所需信息,达到数据共享和一致,减少了数据的冗余度,节约空间,缩短存取时间。这是实现系统集成的一种理想集成方式。

2 CAD/CAE工程数据特点及对数据库功能要求

2.1 CAD/CAE工程数据特点 在CAD/CAE集成过程中要利用和生成的大量的工程设计和分析数据。其中一部分是各种设计规范和标准以及产品的技术参数,这些数据是设计过程选用的静态数据。另一部分是设计过程中生成的数据,如产品的结构分析、性能分析、图形、尺寸公差、技术要求、材料热处理等数据,这些数据具有高度的动态性。与一般的商业数据相比,CAD/CAE工程数据有着与其显著不同的特点,具体如下:①数据结构复杂。机械产品设计中的数据不仅包括结构化数据,它还包括图形、长文本、表格、线图、视频等非结构化数据,而且在设计过程中数量不断增大,类型不断增多,且要不断修改和补充。②数据联系复杂。在数据元素之间存在复杂的联系,其中一对多、多对多的联系比较普遍。这种密切的联系,构成复杂的网状结构,从而使数据模型十分复杂。③数据的一致性。工程数据中存在着从产品的初始模型推导出的二次数据,一旦初始模型被修改,导出数据也就失效,需要重新计算,用新的数据取代失效的数据,以保持数据库中数据的一致性。④模式的动态修改。工程设计过程中工程设计人员建立的几何数学模型的结构会经常修改,要求工程数据库模式能支持这种动态修改,能进行动态数据的定义、删除和恢复等。

2.2 CAD/CAE工程数据处理对工程数据库的功能要求 由于上述CAD/CAE工程数据特点,对用于CAD/CAE工程领域的工程数据库提出如下要求:①能描述和处理复杂数据类型。由于工程数据结构复杂,语义关系丰富,因此EDBMS不仅要支持用户定义复杂的类型,而且还要支持多对多关系、递归关系等复杂数据结构的描述。②动态处理模式变化的能力。由于设计过程和工艺规划过程中产生的数据是不断变化的,要求EDBMS能支持动态描述数据的能力,使用户既能修改数据库中的值,又能修改数据结构的模式。③版本控制管理。设计是一个设计——分析——再设计的反复过程。设计者经常要对设计过程进行回溯,并重新进行新一轮的设计。版本管理应能记录设计过程中的历史数据,使设计回溯到一个合理的阶段,不致使整个设计推翻重新开始。同时设计对象的版本管理应能提供多个设计者并行更新同一设计对象的机制。④支持工程设计事务。工程设计事务是长达以小时、天或周计的长事务。长时间封锁某一设计对象,将严重影响设计的并行性。在EDBMS中必须解决工程长事务中对设计对象的封锁、恢复和共享问题。

3 采用基于Web的工程数据库管理系统的原因

3.1 Web技术与工程数据库管理技术的关系 工程数据管理系统(EDBMS)作为一种应用框架,其对开放性和扩展性的要求与web的开放系统结构相互补充。在web技术上构建EDBMS可充分享受到Web开放体系带来的优势,增强EDBMS异构环境下的应用。并且随着网络化虚拟设计模式的迅速发展,产品的设计过程在并行和协同中完成,对于异地的并行协同设计过程,己有的工程数据管理技术不能很好满足现在全球化产品开发战略发展的需要。因此,必须根据新的形式,通过web技术扩展其功能,使之适应网络化虚拟设计的产品数据和过程管理,使之能够支持异地和异构环境的设计与制造。

3.2 Web-basedEDBMS的优点 随着网络技术的发展,90年代中后期,出现了以Web技术为基础的新型系统平台B/S(Brow—ser/Server)模式,B/S模式把传统的c/s模式中的服务器部分分为数据库服务器和应用服务器,从而构成一个三层结构。本文的数据管理系统就是采用这种三层结构模式。WebbasedEDBMS的优点如下:①易于分散用户交流、同步。② 简化了系统的开发与维护。3)较强的跨平台性,用户界面统一、友好。

4 CAD/CAE数据管理系统与PDM的关系

数据分析设计篇12

目前在激光准直、测角、自动跟踪等精密光电检测系统中,探测目标位置的连续变化已经变得非常重要。位置敏感探测器(Position Sensitive Detector,PSD)是对入射到光敏面上的光斑能量中心位置敏感的光电感应器件,可以利用少数几个输出光电信号的相对程度来计算位置信息。由其构成的数据分析系统具有位置分辨率高、响应速度快等特点[1];四象限探测器(Four-Quadrant photodetector,QPD)通过比较四个象限的电流来确定光斑中心在二维平面上的位置坐标,其数据分析系统可以探测目标位置的连续变化,具有位置分辨率高、响应速度快、调节方便等特点[2-3]。该文在对光电位置敏感器件构成的数据分析系统研究的基础上,开发了一套上位机软件界面。该上位机软件交互界面设计了供用户选择位置敏感器件型号及输入系统修正参数的窗口,通过对串口通信和USB通信方法的研究,设置了上下位机通信控制部分,同时,设计了光斑中心位置数据文本直观显示、模拟坐标绘制、历史信息保存模块,及设备状态显示模块。软件功能全面、界面友好、操作直观、方便,且适用于其他型号的位置敏感器件数据分析系统中。

1 开发工具简介

Visual C++ 6.0拥有强大的功能和友好的界面,能为用户提供一个良好的可视化开发环境,它将程序和资源的编辑、编译、调试和运行融为一体,且提供了大量的程序开发工具。MFC是它一个庞大的类库,实现了标准的用户接口,提供了管理窗口、菜单、对话框的代码,可实现基本的输入/输出和数据存储,为用户开发Windows应用程序建立了一个非常灵活的应用程序框架[4]。

在MFC中对消息的处理利用了消息映射的方法,该方法的基础是宏定义实现,通过宏定义将消息分派到不同的成员函数进行处理。因此,在这种机制的支持下,MFC具有强大的消息处理能力[5]。

借助VC++提供的软件代码自动生成可视化资源编辑的功能及MFC消息映射机制,可以很便捷地开发上位机软件交互界面。

2 交互界面设计

上位机软件交互界面包括供用户选择位置敏感器件型号及输入相应修正参数的窗口部分,上下位机通信控制部分,数据/设备状态显示部分。

2.1 供用户选择输入的窗口设计

利用下拉式列表框控件提供供用户选择位置敏感器件型号的窗口。通过给其连接变量m_Type,利用m_Type.AddString()函数为列表框添加选项,m_Type.SelectString(-1, "HY1315(Active area 1.3*15mm)")函数添加默认选项。软件通过m_Type. GetCurSel()函数获得用户的选择,完成相应量程及坐标轴范围的改变及显示。利用编辑框控件提供用户输入增益及修正系数的窗口,以完善数据处理[6]。

2.2 上下位机通信控制模块设计

上下位机通信控制模块是数据分析系统实时数据采集的核心部分。设计中采用了串口通信和USB通信两种方式进行数据采集与传输。其中,串口通信用于测试,USB通信用于实际数据传输。

图1 USB通信流程图

2.2.1 串口通信控制部分

利用单选按钮控件提供串口号选择窗口,通过函数GetCheckedRadioButton()获取串口号。通过按钮控制串口设备的状态,按钮交互的实现,通过MFC类向导对按钮按下时,触发消息BN_CLICKED进行拦截,并重写对应的消息处理函数On*Button(),在函数中完成相应按钮的功能。串口控制区中,“Open”、“Close”按钮对应的函数在获取用户选择的串口号后,分别完成对应串口的打开及关闭功能;“Start”、“Stop”按钮通过控制参数m_SPStop控制串口通信的开始与否。借助串口类成员函数OnComm()实现接收字符及相应数据处理的功能[7]。

2.2.2 USB通信控制部分

USB通信接口具有即插即用的特点,方便与微处理器进行联机通信,同时USB的通信效率要远远高于RS232、RS485等通信接口。USB通信控制部分通过按钮控制数据传输,根据用户选定的位置敏感器件型号,进行相应的数据处理。通信程序流程图如图1所示。

“Link”按钮通过标志位m_OpenFlag控制设备是否连接。“Start”和“Stop”按钮通过标志位m_stop控制数据接收与否。“Suspand”按钮通过参数m_pause控制数据传输的暂停和继续,当按下该按钮时,按钮改变为“Continue”字样,同时通过调用Invalidate()函数使整个客户区无效,这时Windows会在应用程序的消息队列中放置WM_PAINT消息,MFC为窗口类提供了其消息处理函数OnPaint();当再次按下该按钮时,OnPaint()函数负责重绘窗口,从而重新进行数据传输。

上下位机的数据通信通过直接调用CH375DLL.dll动态链接库实现。CH372是一款USB总线的通用设备接口芯片,是芯片CH375的功能简化版,硬件成本更低,且完全兼容CH375,可以直接使用其WDM驱动程序和动态链接库。CH372在计算机端提供了应用层接口,即由动态链接库DLL提供的面向功能应用的API,包括:设备管理API、数据传输API及中断处理API。设备管理API包含了打开设备函数CH375OpenDevice(),关闭设备函数CH375CloseDevice();数据传输API包含了读取数据块(数据上传)函数CH375ReadData(),写出数据块(数据下传)函数CH375WriteData()等[8]。

2.3数据/设备状态显示设计

上位机软件在数据传输过程中,借助CString类成员变量stateinfo直观显示设备状态。数据接收处理后,借助Format()函数,以文字形式直观显示光斑中心位置的横纵坐标值,利用绘图函数在模拟坐标中显示光斑位置。借助文件实现数据历史信息保存的功能,关键代码如下:

GetDlgItem(IDC_RECEIVE_EDIT)PostMessage(WM_VSCROLL,SB_BOTTOM,NULL);

CString strPath;

图2 HY1315系统调试结果图

GetModuleFileName(NULL,strPath.GetBufferSetLength(MAX_PATH+1),MAX_PATH);

strPath.ReleaseBuffer();

//此时strPath内容为工程文件全路径,如:E:\TestPro\Exam\ Test.exe

//以下函数作用是获取最后一个"\"的位置

图3 四象限探测器系统调试结果图

int nPos=strPath.ReverseFind('\\');

//开始取全路径

strPath=strPath.Left(nPos+1);//此时strPath保存为当前工程的全路径,如:E:\TestPro\Exam\

//保存文件

CFile m_rFile;

if(!m_rFile.Open("Rec.txt",CFile::modeCreate | CFile::modeWrite)) {

AfxMessageBox("创建记录文件失败!");}

m_rFile.Write(m_Receive,m_Receive.GetLength());

m_rFile.Close();

3 实际调试结果

上位机软件设计完成后,运行程序,选择位置敏感器件的型号为默认选项,即一维位置敏感探测器HY1315,连接其对应的系统设备,输入需要的增益参数,选择串口号,单击串口控制区“Open”按钮打开串口,“Start”按钮接收数据,此时上位机界面数据、设备状态显示,模拟光斑坐标结果如图2所示。再次运行程序,选择四象限探测器型号,即QP36(Active area 6*6mm),连接相应系统设备,单击USB通信控制区按钮,可以控制数据传输设备的状态,单击“Link”按钮打开设备,“Start”按钮接收数据,此时上位机软件界面结果如图3所示。

4 结束语

针对位置敏感器件构成的数据分析系统,通过对串口通信和USB通信方法的研究,借助VC++提供的软件代码自动生成可视化资源编辑的功能及MFC消息映射机制,设计了上位机人机交互界面。调试结果证明,该界面能够实现用户选择输入,实现数据的上下位机通信传输,直观显示数据,准确绘出光斑在模拟坐标中的位置,完成光斑位置的历史信息存储。设计为数据分析系统提供了一套功能全面、界面友好、操作直观、方便的上位机软件。应用中只需修改对应的数据处理,即可应用到其他类似的数据分析系统中,很大程度上增强了系统的实际应用性。该界面已用于PSD及QPD数据分析系统试验箱中。

参考文献:

[1] Henry J,Livingstone J.Improved position sensitive detectors using high resistivity subs- trates[J].J Phys D :Appl Phys ,2008,41.

[2] Liu Yun,De Xu,MinTan.A new pre-alignm ent approach based on four-quadrant-photo- detector for IC mask[J].International Journal of Automation and Computing,2007, 4(2): 208 -216.

[3] Guo Li,Zheng Shuang.A high-performanc -e smallsignal amplifier[J].Journal of Northe-ast Agricultuial University,2005,12(2):141-145.

[4] Wang Ziying.The design of scene simula- tion system based on MFC programming fra- mework[J].Advanced Computer Control (ICA CC).2010,V3: 302-305.

[5] 潘恒.基于VC++/MFC的麻将牌连连看程序设计.[J]科协论坛:下半月,2011,25(5): 53-54.

[6] 揣锦华.面向对象程序设计与VC++实践[M].西安:西安电子科技大学出版社,2005:201-204.

数据分析设计篇13

简单点说,设计是服务于用户的,了解用户才能更好地做设计,数据是了解用户的一种途径。

2、数据在项目中的作用有哪些?

要了解这个作用,我们先回到设计师看数据的主要场景,总结起来无外乎两类:

一个是因为项目的需求,通过数据的论证,让设计走得更从容,有理有据,而不是设计师自己的YY;

另外一个是日常监测的需求,自己做的产品,总要知道大概有多少人在用,使用的情况如何,用户的行为和预期是否一致。也就是说要了解你的设计被使用的情况,否则你怎么知道设计的好不好,是不是达到了设计目标,是不是真的帮助用户解决了问题。

先来分析下项目中看数据的场景。几乎整个设计的过程都可能会用到数据,概括起来可以把这个过程切分成三部分:

第一部分:设计前数据帮你发现问题

所有设计开始之前的研究和分析,都是为了更明确用户的需求,明确为什么要做这个设计?从业务的角度来看,这个产品对公司有何价值,此次设计要达到什么目的;从用户的角度来看,这个产品对用户有何价值,此次设计要为用户解决什么问题;在了解业务诉求和用户诉求的过程中,我们难免要用到数据,这个阶段,数据的作用就是为了“发现问题”,看看设计可以解决什么问题,从而更佳明确设计的目标。

当然具体的工作中,多数设计师都比较纠结,既要考虑业务诉求,又要考虑用户诉求,如果这两者不能完全匹配的时候,我们该咋办,是两者的相加吗?还是我们就只考虑用户诉求,对业务诉求看看就行了。我个人的理解是,现实工作中我们都不是在追求最完美的设计,更多的是在做平衡,如果是一个用户型的产品,比如偏向于为用户提供某个功能的平台,本身就是完全从用户的角度出发,通过为用户提供功能帮助用户解决问题的,应该向用户诉求靠拢多一些;如果是一个商业型的产品,比如偏向于为用户提供某些内容的平台,那么在为用户提供主动查找的入口的同时,可以适度的向着业务发展需求倾斜,做适度的业务层面的引导;当然这个也不是绝对的,往往同一个平台,同一个产品,在不同的发展阶段也有不同的需求,如果是一个全新的产品,业务的生存就变得格外重要,这个时候设计应该多一些考虑业务诉求,先帮助业务生存,否则,这个产品都要挂了,还怎么为用户提供服务呢?

当然,好的设计师总是能在业务和用户之间找到巧妙的平衡,找到二者的交集,举个例子,假如这个产品这个阶段就是要做用户规模,而用户诉求是享受个性化的服务,看似完全不关的两个诉求,实际上我们完全可以通过更好的个性化服务提升用户满意度,获得好的用户口碑,再间接地借助用户口碑提升产品的用户规模,这二者之间并不是完全的不相干,更多的时候看能否找到他们的关联性,抓住阶段性的设计目标。

通过一个具体的例子看看如何利用数据来发现问题?数据代表的是用户的目标、行为和态度,但是单独看一个数字是没办法发现问题的,数据的对比是最简单有效地手段。我们知道交易关系买家所产生的交易对1688网站有着非常重要的意义,我们想提升交易关系型买家的交易体验,但是不知道从何入手,因此做了大量的数据分析。交易关系买家是通过什么方式找到老卖家?不同路径的转化率如何?不同用户查找方式与转化率有什么差异?

首先,通过用户群的细分,我们发现,交易关系买家通过搜索支付订单转化率是搜索整体支付订单转化率的2倍。因此,在搜索结果中增加老买家标签,方便找到老卖家。

此外,我们还发现,普通会员、1-2星会员等级,是提升交易关系交易的关键用户。通过以上的数据分析,我们找到了目前主要的一些问题,围绕着这些问题,后续做了优化方案。

第二部分:设计中数据帮你判断思路

因为设计师的个人经验不同,创造性思维不同,因此不同的设计师面对同一个问题,解决方案也很可能差别较大,即便是同一个设计师也会想到不同的解决方案,到底哪个方案更合适,有些情况下数据可以给你参考意见,为你提供“判断思路”,协助你做决策;条条大路通罗马,但是哪一条路才是当前最合适的呢?

通过一个具体的例子看看如何利用数据来判断思路?有一个批发类的电商网站(1688.com)的频道首页(ye.1688.com),我们发现用户的转化率很低,就去研究了数据,然后结合了对典型用户做的用户访谈的结论,最后发现转化率底的原因其实很简单,这个频道的首页入口主要是来源于整个网站的首页,而整个网站的首页是一个全行业品类的页面,用户如果是女装行业的买家,她从一个全品类的首页点击一个链接进入另一个全品类的页面,再艰难的找到女装这个类目,再点击进入List页面查看商品,这个路径是非常深的,那么怎么解决这个问题呢?那就是要避免做女装的用户从网站首页进入这个频道之后还要再次选择女装类目,才能看到女装的商品!

解决这个问题的思路有哪些?可以在网站首页增加入口,让用户直接点击女装类目进入频道首页,给用户展示女装商品;可以在用户进入频道首页之后,根据行业偏好的个性化数据来推荐商品,推荐的不准确,用户也可以去定制;到底哪个更靠谱?两个思路各有利弊,鉴于前一个思路需要有外部依赖,要改动网站首页,所以我们内心都很期望后一个思路能跑通,但是怎么知道这个思路行不行?首先我们需要知道行业的个性化推荐能覆盖多大的人群,又有多少的人愿意去定制行业偏好?

对于普通的网站来说这个可能是一个不够明确的问题,但是1688.com是一个会员用户早就过亿的B类电商网站,有着如此庞大的用户规模,较高的用户覆盖率,这就意味着对用户行为数据的积累,再者B类的用户有一个显著地特征就是在一个较长的时间里,行业的偏好相对比较稳定,如果是一个主营女装的买家,那么她的偏好一般会以女装为主,不会超出服装的范围,最多会有少量的服装周边配套的采购。

如上图,通过行业偏好的个性化算法,我们追踪了一段时间来访这个频道首页(ye.1688.com)的用户数据,我们发现大约2/3的用户是有着非常明确的行业偏好的,那么这基本可以断定做行业偏好的个性化推荐是靠谱的!但是剩下的1/3用户愿意去定制行业偏好吗?我们当时因为时间原因,无法直接从这1/3无明确偏好的用户中去判断他们是否愿意定制偏好,但是通过整个用户群的问卷抽样调查发现,大约3成的用户表示定制行业偏好是很好的服务,基于这些情况,我们判定基于行业偏好的个性化推荐能够解决绝大部分用户的行业偏好问题,提升了内容的相关性。这个方案最终上线后,实际上有大约10%的人真正找到定制入口并且产生了定制行为,70%的人不用定制,实现了默认的精准推荐。

第三部分:设计后数据帮你验证方案

我们的设计方案到底做的好不好呢?衡量标准就是看设计方案是否能够达成设计目标?这也需要数据来量化,通常会用GSM的模型来支撑设计的验证。G(Goal)设计目标、S(Signal)现象信号、M(Metric)衡量指标,所谓的设计目标,就是要确定设计要达成什么结果,要解决什么问题;衡量指标,我们不能凭空猜想,必须建立在设计目标的基础上,先假设设计目标会实现,那么会出现什么现象或信号呢?列举出所有的现象或信号,选择我们可以监控的到的,然后对这个现象或信号产品进行量化,自然就得到了衡量指标,但是指标的波动幅度往往要依赖经验来定。

比如说,某个产品的设计目标是通过设计的引导,让更多的买家产生购买,想象一下,如果设计目标实现了,会有什么现象呢?可能会有更多的人有购买意愿,看了商品详情页,点击了购买按钮等等,最终也产生了购买,那么,衡量指标是哪个?设计只是改变了商品信息的呈现方式,并不能改变商品本身的质量或背后的服务,所以我们应该重点考察设计是否强化了引导,提升了购买意愿,是否激发了用户进一步了解的行为,主要是指浏览行为,最典型的就是到达了商品列表页或者商品详情页等,量化的结果就是看又进一步行为的用户的比例;

通过一个具体的例子看看如何利用数据来验证你的设计方案是否达成设计目标。曾经有一个找产地的功能模块,我们在设计前进行了调研,用户告诉我们他们需要找产地,而且比较习惯于用地图来找产地,我们欣喜若狂,照着这个方向做了个产地直达的楼层,我们坚信用户告诉我们的肯定是对的!但是这样的设计真的能达到帮助用户高效找产地的需求吗?来看下面的数据分析。

用户的目标不是要找产地吗?还告诉我们用地图找产地很符合他们的习惯呢?为什么上线后,用户却不怎么使用这个版块???我看到这个数据非常的意外,一时之间根本摸不着头脑,后来再去看了看这个板块的热力图,一下子恍然大悟。通过数据分析得出,地图纵然符合用户习惯,但是才这么狭小的地图上进行如此复杂的操作,其效率是非常底下的,因此将地图找产地的功能保留下来,只是不作为默认的方式,采用了按照热门的、区域的、附近的、可搜索的、地图的方式综合承载,最后取得了较好的效果!

3、如何利用数据做日常监控?

作为一个设计师,你的作品上线后,有多少人用?这些用户是谁?有什么特征?用户具体是怎么在使用你的产品的?你的设计是否还有优化的空间?如何才能为用户打造更好的使用体验?怎么才能知道这些数据好不好,有没有问题呢?主要是靠比较、靠经验,靠对这个产品长期跟进产生的直觉,只有在对这个产品非常熟悉的前提下,你才有可能对数据的变化给予比较靠谱的解读。

在线咨询
了解我们
获奖信息
挂牌上市
版权说明
在线咨询
杂志之家服务支持
发表咨询:400-888-7501
订阅咨询:400-888-7502
期刊咨询服务
服务流程
网站特色
常见问题
工作日 8:00-24:00
7x16小时支持
经营许可
出版物经营许可证
企业营业执照
银行开户许可证
增值电信业务经营许可证
其它
公文范文
期刊知识
期刊咨询
杂志订阅
支付方式
手机阅读