科研项目评估实用13篇

科研项目评估
科研项目评估篇1

1.1.1电子数据库选择检索中国科技期刊数据库(维普,VIP),中国知网数据库(CNKI),中国科技论文与引文数据库(万方,CSTPCD),中国生物医学文献数据库(CBM),检索年限从数据库创始至2010年8月,中文检索词采用:“科研项目、评估方法和评估体系”,英文检索词采用“medicalresearch,management,as-sessment,evaluation”。根据不同数据库的特点制定检索策略进行检索。

1.1.2手工检索手工检索《中华医学科研管理杂志》中关于研究项目评估方法的文献。

1.1.3网络搜索采用Google高级搜索功能,在官方网站上搜索关于医学科研项目评估方法相关的信息。

1.1.4其他检查纳入文献的参考文献,从题目判断是否符合纳入标准,如不能从题目判断是否相关,则获取全文后决定是否纳入。咨询相关领域的专家或管理人员,询问医学科研项目评估方法相关问题。

1.2文献筛选和数据提取由两名研究者独立筛选文献和提取数据,不一致的地方讨论后解决。如果讨论后仍不能达成一致,则请第三方裁决。数据提取采用统一的数据提取表格,但根据文献类型和内容有所不同。主要分两个部分:建立评估指标体系和选择评价内容,前者包括:评估指标筛选、评估指标确定、指标值的标准化和权重分配方法;后者包括立项评估、项目过程评估、项目验收评估和项目绩效评估。

1.3数据分析对个案报告或经验总结的文献采用主题分析方法的定性分析方法,提炼各评估方法或措施的主要内容和核心词汇,将不同科研项目评估方法纳入确定的主题下。对相同或相似的措施合并,或用能涵盖两者意义的词语代替。

1.4研究质量评价采用2006年中国循证医学中心针对管理领域的证据分级标准,反应本研究提供的证据强度[2]。

2结果

2.1筛选结果共检出65篇文献,经筛选后最终纳入17篇文献[3~19],其中立题评估5篇,过程评估3篇,验收评估2篇,成果评估4篇,全程评估3篇。证据等级方面,有两篇文献为综述或专家经验介绍,属D级证据[12,15],其他有明确的研究方法,属C级证据。

2.2建立评估系统的方法科研项目评估较常用的是德尔菲法和综合评价法。指标的筛选及选择主要采用下面两种途径实现:①专家评议法:根据指标的重要性打分,按加权总分值从大到小排序来取舍指标。②现场调查法:通过一定数量的样本调查对备选指标进行实际测量,再对各项备选指标的实测值做统计处理,根据统计分析的结果筛选指标。常用的分析方法有:变异系数法、相关系数法、多元回归法、主成分分析法、因子分析法、聚类分析法及判别分析法。指标评价标准的确定:①使用上级部门提出的各项标准与要求。②参考有关机构提出的有关目标与指标;③根据历史上一段时期的指标值,经统计处理而获得评价标准,即根据被评价样本的均值或最优值为标准。指标值的标准化要采用累计概率法、指数法、线性插值法、等级划分法对指标值进行量化处理。确定指标的权重,处于不同层次水平的各项指标,在整个指标体系中的贡献并不相等,根据各指标在评估中的重要程度,科学、合理地确定每一项指标的权重是保证指标体系在评估中切实可行的关键。可通过直接经验法、特尔菲法、百分权重法、层次分析法、排序法、连环比率法和集值迭代法。其中百分权重法和层次分析法是较为常用的确定权重方法。综合评价方法主要有加权求和法、单纯求积法、对数形式的加权平均法、几何平均法、分组乘积求和法(综合指数法)、分组相加求积法(综合系数法)、模糊数学综合评判法、交叉积差法和Ridit法等。各种综合评价的方法都有其优缺点和适用条件,在实际应用中根据具体情况选择使用。

2.3评估内容5篇文献介绍了立题评估的方法[4,7,10,11,14]。立项评估按照公开、公平和竞争的原则,对科研项目进行的评判活动。主要内容包括:立项的必要性、研究目标及技术路线的可行性、成果的应用前景、课题实施的人员、设备及组织管理等条件。总的来说立项评估就是通过对项目的立题依据、研究方案、研究基础、研究队伍及经费等的评价,来反映项目是否具有科学性、创新性、可行性和实施的必要性。3篇文献介绍了过程评估的方法[12,17,18]。项目过程评估为了解、控制并及时对项目进行调整,管理部门或人员必须跟踪项目进展并对其进行评估。过程评估是根据项目需要而进行。由于缺乏及时的项目信息交流手段和有效的监控办法,管理部门难以掌握项目的动态情况,使得过程评估成为科研项目评估的难点。项目实施过程中的评价和调控仍是我国科技项目管理中的薄弱环节,也是容易被忽视的环节[1]。2篇文献介绍了验收评估的方法[5,19]。在项目结束后进行,主要根据项目任务书的内容做最终结题检查。各种科技计划及基金项目都有明确的要求,如国家自然科学基金项目结题报告包括研究计划执行情况、研究工作主要进展和所取得的成果、国内外学术合作交流与人才培养情况、经费使用情况的说明、存在的问题、建议及其他需要说明的情况。4篇研究介绍了绩效评估的方法[3,6,8,10]。项目绩效评估多在项目结束一定时间后进行,一般以投入产出来评价项目的绩效,投入指人力、物力、财力和信息资源,产出包括论文论著、人才培养、科学成果、发明专利和技术服务等。由于该系统多指标量化困难,实际评估中多以易获得的指标来分析投入产出,投入指标常为人力和经费,前者包括学历、职称等,产出为科研成果、鉴定成果、论文论著、人才培养、专利及学术交流,通过构建投入产出分析系统,来量化评估项目绩效。有研究试图从社会效益和经济效益方面进行评价。3篇文献介绍了同时对两个以上环节进行评估[13,15,16]。

3讨论

科研项目评估篇2

一、高科技产品研发专案项目风险的内涵

一般而言,项目风险是指事故发生的不确定性(Riskis Uncertainty)与事故发生遭受损失的机会(Riskisthe Chance of Loss)。根据韦伯(Webster)字典的定义,项目风险为Possibility of Loss or Injury,由此可知,项目风险包含了机率(Probability)与损失(Loss)两个变量。陈济尧(2005)认为项目风险可区分为主观与客观的项目风险两类。主观的项目风险是指事故发生的不确定性(Riskis Uncertainty)及损失的不确定性。主观的项目风险强调的不确定性是属于一种个人主观的观点,偏重于个人的内在心理状态。而客观的项目风险是指事故发生遭受损失的机率。所以企业、团体在活动过程中发生损失的可能性与机率,可以以或然率来评估,或然率为0则表示不会遭受损失,若为1则表示必定会有损失。故此类定义是项目风险是可以被客观地测量。

基于风险的内涵,诸多学者对高科技产品研发专案项目风险的含义进行了研究。Alan Webb(2013)将高科技产品研发专案项目风险定义为与预期后果相反的结果,可能是财务的或实体的,导因在于高科技产品研发专案项目过程中所做的决策,或是源于高科技产品研发专案项目存在的环境。

二、高科技产品研发专案项目风险的识别

有效的风险管理必须透过事先一连串的程序,包括风险识别、风险评估、风险分级来进行风险分析;另外,应于项目管理计划中制定风险计划,研究风险解决办法以减缓风险发生时的影响,进行风险控制活动,并且不断地进行风险监督一直持续至项目结束(Boehm,2012)。在此过程中,风险识别是高科技产品研发专案项目在实施过程中首先要实施的步骤,要想做好风险管理工作,这是必须要完成的步骤,它是整个高科技产品研发专案项目风险管理的基础性工作,也能够为后续的风险评估工作提供辅助作用。

三、高科技产品研发专案项目风险评估指标体系的构成

基于上述分析,本研究采用WBS方法,将高科技产品研发专案项目分成几个较小、可处理的项目工作项目,每个项目工作项目再利用项目工作细项分类表,依照工作属性细分为多个工作细项,然后将每部分利用LindaWallace风险因子表加以详细分析及判断,以找出最可能的风险事项,从而寻求出高科技产品研发专案项目风险因素的构成体系。

四、高科技产品研发专案项目风险的评估方法

高科技产品研发专案项目风险的评估主要采用定性之方法,并根据其定义来对高科技产品研发专案项目的风险评估取决以下几个方面:首先,高科技产品研发专案项目风险发生的概率;其次,高科技产品研发专案项目风险的影响程度;最后,高科技产品研发专案项目风险事件的状态评估。

1.风险概率评估。高科技产品研发专案项目的风险概率,主要是要用高科技产品研发专案项目的风险概率来描述高科技产品研发专案项目上述各种风险发生的可能性以及高科技产品研发专案项目上述各种风险发生可能性的高低。

2.风险影响程度评估。高科技产品研发专案项目风险风险影响程度,揭示了高科技产品研发专案项目的风险一旦发生,则高科技产品研发专案项目风险将会对高科技产品研发专案项目预期要实现目标影响程度的高低。高科技产品研发专案项目风险影响程度的评估可以用 0~10 之间的数值来加以系统性的度量。同样地,在0~10的数值范围内,高科技产品研发专案项目风险影响程度的评估可以分为5个等级,即高科技产品研发专案项目风险极低、高科技产品研发专案项目风险低、高科技产品研发专案项目风险中、高科技产品研发专案项目风险高和高科技产品研发专案项目风险极高。

3.风险事件状态评估。高科技产品研发专案项目风险事件状态是高科技产品研发专案项目风险概率与高科技产品研发专案项目风险影响程度二者之乘积。高科技产品研发专案项目风险的大小用其来衡量,所以一定要综合考虑高科技产品研发专案项目风险影响程度的大小以及其概率。具体而言,高科技产品研发专案项目风险按照由大到小的顺序可以划分为如下等级和状态:第一,高科技产品研发专案项目风险影响大,高科技产品研发专案项目风险可能性大;第二,高科技产品研发专案项目风险影响大,高科技产品研发专案项目风险可能性小;第三,高科技产品研发专案项目风险影响小,高科技产品研发专案项目风险可能性大;第四,高科技产品研发专案项目风险影响小,高科技产品研发专案项目风险可能性小。

参考文献

科研项目评估篇3

Key words : planning;projects; acceptance check ;evaluation;

科技计划评估是政府科技投入决策与管理的重要依据,对计划项目的评估包括了从立项、实施和结果或者影响的各个阶段。项目验收评估指项目结束后,对计划目标完成情况、成果结论、效益、作用和影响进行评估,检验项目完成后与项目立项时指标的一致性,以及能否在市场上应用,为新的资金支持提供决策依据。

科技计划项目验收评估是科技计划管理和项目绩效管理的关键环节,是根据项目任务书内容,对研究项目的完成情况进行评估。做好科技计划项目的验收评估工作,了解科技计划项目的执行进度、资源使用情况、目标任务的完成程度和存在问题,是科技计划管理工作的重要环节,是保障科技计划项目的顺利实施,实现计划目标的重要手段,对促进科技计划执行的有效性具有积极的作用。

我国的科技计划项目验收是指由验收单位按计划任务书或所规定的验收标准和方法进行测试、评价,并做出结论,本来是鉴定的前提,后因验收与鉴定的目的不同而脱离出来,相对于鉴定,项目验收活动开展得较少,或将二者合二为一。这两种评价活动一般都是由项目管理方(立项部门)来完成的,验收中的专家评审过程也大体与鉴定一致。由于验收工作不受重视,存在着评价内容简单、定性评价结论不准确、缺少定量评价指标等问题,立项部门即是项目管理方,又是评估方,验收通过率高,很少有不能通过验收的项目。而国外发达国家一般都是通过立法来保障项目绩效评价工作,并通过第三方中介机构实施的,故效果很好,保证了项目的完成。

我国1990年代后期在科技管理中引入科技计划立项评估机制后,科技评估活动在全国各省市逐步开展起来,主要以科技计划项目立项评估为主。2003 年5月,科学技术部、教育部等部门联合印发了《关于改进科学技术进行评价工作的决定》。同年 9 月,科学技术部印发了《科学技术评价办法》(试行)。这两个文件规定,对重大科学技术项目要求实行全程评价,包括立项、中期评估和结题验收,并可根据需要在项目结题2至5年内进行绩效评价;一般性生产技术项目评价应侧重立项评价和结题验收。此后,“国家高技术研究发展计划(863计划)”和“国家重点基础研究发展计划(973计划)”等计划项目的中后期评估纳入到计划管理环节,交由第三方――评估机构来完成。2008年,黑龙江省也首次开展科技计划项目的验收评估,完成了14项国家“十五”863计划引导项目的验收评估工作,效果很好,得到了科技部火炬中心的认可;此后,又对黑龙江省重点科技成果推广计划项目进行了验收评估,共有27个农业项目、9个工业项目通过了验收,评估结果为计划项目管理部门对下一轮项目决策提供了很好的反馈支持。

一、评估方式

验收评估主要依据有关评估规范和验收规范来操作。从实际操作上来看,验收评估一般采取同行评议来选择专家,主要包括实地考核、材料审阅、现场答辩和会议形式的讨论,并以定量和定性的方式给出验收评估结论意见。其中定量的方式主要考核取得成果和专利、论著、经费决算、以及取得的技术指标和经济指标。国家“十五”863计划引导项目和黑龙江省科技成果推广计划项目的执行情况评估工作就是严格按照上述方式实施的。评估活动遵循客观公正和科学规范的原则,参考计划评估典型案例,在充分利用已有信息基础上,综合运用案卷分析、数据统计、专利分析、座谈调研等多种方法,系统采集计划项目执行的有关信息。采集并分析了执行总结报告、计划拨款、统计数据、执行者队伍、企业参与情况、成果和专利产出等,重点对项目实施状况、组织实施及效果、取得专利及其效果、企业参与状况及其效果等关键问题进行了评估分析,评估结果说明该方式达到了分析诊断、决策参考、完善管理的评估目的,体现了突出重点、兼顾总体,面向需求、面向决策的特点。

二、评估方法

科技计划验收评估方法主要有两种:一种是综合指标体系评估的方法,即以定性和定量相结合的分析方法为主要手段,构建定性指标和定量指标相结合的评估指标体系及评估模型,评估计划目标实现的程度和实施效果的优劣分析;另一种是以数学模型为基础,强调严格的定量指标和计算方法,用于评估投入产出的情况。对一些大的评估项目,往往会针对评估问题的特点专门设计一套评估方法。如美国对日本和德国超导材料电力应用项目的评估、法国对阿丽亚娜火箭项目的评估等。用于科技项目评估的方法很多,但是每一方法都有一定的适用范围,注重方法之间的互补性,根据不同项目情况灵活使用,才能有利于提高评估的质量。

同行评议法是某一或若干领域的专家采用同一种评议标准,共同对涉及相关领域的某一事项进行评价的活动,是目前世界各国在做评价工作时最常用的方法。设方案Ai的指标因素bj的得分为aij。通过加权平均法计算Ai方案的综合评价值的公式如下:

为权系数,满足层次分析法(Analytic Hierarchy Process,简称AHP法)是美国运筹学家A.L.Saty于20世纪70年代初提出的定性和定量分析相结合的决策分析及综合评价的方法。通过专家调查,构建层次指标权重判断矩阵,并计算各指标的赋值,对主观判断作定量描述,是管理决策科学中非常实用、具有很大发展前途的一种方法,适用于处理多目标、多层次、多因素的复杂系统问题 。

三、指标体系

项目验收评估指标一般包括:计划目标完成情况、研究成果情况、应用前景、人才培养情况、资金和资源使用情况、创造效益(包括科学价值和社会效益)情况等。1991年经合组织发展援助委员会(OECD/DAC)首先提出项目中后期评估的指标体系,包括相关性、效果、效率、影响和可持续性等5大评估指标。日本在进行项目后期根据研究开发的目的、性质、方式、规模、时间等因素,评估课题的意义、目的、目标、方法和资源(人才和资金等)分配是否合理妥当。评估指标主要有:目标达成度情况、研究成果及扩散效果等。韩国对项目中后期评估的内容还包括:项目是否落后和重复、与其他项目的集成情况等。

我国的科技计划项目验收评估指标,以863计划为例,863计划课题验收评议指标包括:研究内容的完成情况、技术指标的实现情况、计划进度的执行情况、研究成果的水平、研究成果的应用前景、项目组织管理情况、人才培养情况、技术资料的完整性、经费使用的合理性、资产使用和管理情况等。专家评议时,针对这些内容分别给出定性和定量的意见,其中“经费使用的合理性”和“资产使用和管理情况”两项指标的评议内容只能由财务专家填写。分值分布情况,如表1所示。

通过此次863计划引导项目的验收评估,以及之后的推广计划项目验收评估,提出修正后的科技计划项目验收评估指标还应考虑:项目已取得的科学价值、经济效益、社会效益、生态效益情况等;应用性项目及其相关产品是否能够形成立项时预期的市场竞争力,公益性项目能否发挥出立项时预期的社会效益;项目实施过程中技术问题等目标任务的解决与开发推广的结合程度。科技计划项目验收评估指标体系P,如表2所示。

具体一些重点指标的权重,“成果水平”、“应用前景”、“已应用或开况”、“经济效益”、“预算执行和经费使用”、“固定资产使用和管理”在项目验收的各项指标中属于关键内容,应为一级权重。其中“预算执行和经费使用”、“固定资产使用和管理”两项指标可根据有关资料给出较为准确的评价意见,“自筹经费占项目总经费比例”和“购置大型设备的共享程度”是主要量化指标;“成果水平”指标不易给出准确、具体的评价结论,其定性评价主要是通过在国内外同类技术中进行比较得出的。取得的论文论著、专利、调研报告,取得的新产品、新品种、新工艺、新设备、新标准等现在可以得到量化统计,通过文献计量法进行评估后,只要根据一定的数据指标赋分值就能够实现准确评价。

四、工作体会与建议

1.通过第三方的事后评估,建立了有效的计划项目监督管理机制,促进了科技计划管理工作的规范化、科学化,增强了项目验收的公正性。

2.开展计划项目后期评估,改善了以往科研“重立项,轻结果”的局面,提高了科技投入资金的资助质量和效益,强化了科技计划项目的信用管理意识,对促进科技计划执行的有效性起到积极作用。

3.开展计划项目后期评估,可以将项目管理全过程的成功与不足置换成项目管理知识,对项目管理提供以“项目后期评估”知识为依据的决策支持,为下一步的科技计划安排和资金预算提供了依据。

4.当前科技计划项目中后期评估工作存在的主要问题就是计划执行情况和验收评估不受重视,计划项目中后期绩效评价机制缺少政府的强势推动。从发达国家的绩效评估实践看,必要的立法支持是确保计划绩效评估法制化、制度化、规范化的重要保证。要明确科技计划评估的任务导向,进一步完善科技计划项目绩效评估制度建设。

5.加强科技计划从立项、执行情况和验收全过程的评估服务和研究,尽快建立综合的、可操作性强的科技计划评价体系。通过验收评估和绩效评估的实践,感到如果有完善的项目中期评估机制,评估时间再充裕一些,评估的效果会更好。

尽快转变政府的职能,改变现行的科技项目评审中政府既是政策的制订者,又是政策的执行者和监督者的做法,由社会中介机构或专门的专业机构来对科技计划项目进行评估,完善科技计划项目评估制度并给予立法保障,是科技计划管理工作贯彻落实科学发展观的当务之急。只有用科学发展观引导科学评价观,合理地将科技计划项目评估向项目的中后期评估、成果评估、绩效评估等方面延伸,强化计划项目的合同制效力,提高项目执行的质量和实施的效率,才能使成果的创新性得到保证,使科技计划管理工作更加科学高效,全面、协调、可持续的发展。

参考文献:

[1]科学技术部,教育部,中国科学院,中

国工程院,国家自然科学基金委员会.

关于改进科技评价的决定[S].2003.

[2]科学技术部.科学技术评价办法(试行)

[S].2003.

[3]彼得・罗西,霍华德・弗里曼,马克 ・李

普希.项目评估―方法与技术[K] .邱泽

奇,译.

[4]Jan-EricFurubo, RayC . Rist, Rolf

Sandahl,刘世威,译 . Internationnal Atlas

Evaluation (内部资料)[Z].2001.

[5]方衍. 国外政府评估:以史为鉴,洋学

中用(内部资料)[Z].2007.

[6]OECD. Evaluation of Research.1997. [7]肖利,乐慧兰.迈向新世纪的日本科技

评估[J].科学对社会的影响,2002,(2).

[8]方衍. 日本、韩国科技评估的实践及其

经验借鉴(内部资料)[Z].2003.

科研项目评估篇4

科研项目后评估工作在国外企业受到广泛重视,并建立了完善科研项目后评估体系。当前,国内对于科研项目后评估的研究尚处于探索阶段,无论是从理论还是从实践方面,均缺乏一套比较完善的测评体系和方法,相应的规章制度、评估体系、评估机制等存在许多不足。

一、科研项目后评估内涵

(一)科研项目后评估的定位、目的

项目后评估又称“事后评估”,它是指项目完成后,对项目的立项、准备、投资、决策、实施,直到投产运营全过程的活动进行总结,对项目规划、立项、实施、结尾的全生命周期的实际情况与预计情况进行比较研究,衡量和评价实际情况与预计情况发生偏离的程度,然后分析项目成功和失败的原因,全面总结投资项目管理的经验教训,再反馈到将来的项目中去,为宏观决策和决策政策的实施提供科学依据。

(二)科研项目后评估的对象、功能

科研项目后评估是对已完成的科研项目的目的、执行过程、效益、作用和影响进行系统、客观的分析,达到提高科研项目决策和管理水平、提高科研投入效益的目的,以科研项目管理规划、立项、实施、收尾、投运等各阶段为对象,以甄别、反馈、纽带、监管为核心功能。

二、科研项目后评估理论框架

(一)CIPP评估理论框架

CIPP评估模式,亦称“决策导向”或“改良导向”评估模式,是美国著名教育评价专家斯塔弗尔比姆倡导的评估模式。他认为,评价就是为管理者做决策提供信息服务的过程。CIPP评估模式主要包括对项目的背景评估(Context Evaluation)、输入评估(Input Evaluation)、过程评估(Process Evaluation)、结果评估(Product Evaluation)四个方面的评价。21世纪初,斯塔弗尔比姆在4步骤基础上,对其作出了补充和完善,把成果评价分解橛跋欤impact)、成效(effectiveness)、可持续性(sustainability)和可应用性(transportability)评价四个阶段,由此构成背景评估、输入评估、过程评估、成果评估、成效评估、可持续性评估、可用性评估七个步骤的评价模式。

(二)科研项目CIPOE评估框架模型

以CIPP四大评估方向为模块,以各评估目标为要点,将CIPP的成果评估再次分解为成效评估,形成科研项目后评估框架模型,其中包含5大模块、16项二级评估要素。如图1所示。

其中,背景评估包括环境、问题、需求、机会、目标等五个要素;输入评估包括资源类型和质量两个要素;过程评估包括既定决策、目标差距、过程记录三个要素;成果评估包括价值衡量、目标衡量两个要素;成效评估包括影响、成效、可持续性、可应用性四个要素。

三、科研项目后评估指标体系

(一)科研项目后评估指标体系构建原则

科研项目后评估指标体系构建,总体上应满足导向性、可行性、联系性、可比性和定性与定量结合五项原则。

(二)科研项目后评估指标体系

以CIPP评估模式为理论依托,以CIPOE科技项目后评估模型为框架,以科研项目管理现状及阶段活动为要素,以归纳梳理、筛选整合、优化调整为方法,最终形成科研项目后评估指标体系。

(作者单位为成都大学政治学院)

参考文献

[1] 李军,张勐,刘林海,等.充分发挥后评估在科技计划项目管理中的作用[J].科技信息,2004(7):48-49.

[2] 龚旭,夏文莉.美国联邦政府开展的基础研究绩效评估及其启示[J].科研管理,2003(2):1-8.

科研项目评估篇5

2、科技评估

科技评估是对科学技术活动的科学性、可行性和有效性进行评判,为决策提供参考意见的咨询活动,是由科技评估机构根据委托方的目的,由专门的机构和人员依据大量的客观事实和数据,遵循一定的原则、程序和标准,运用科学、可行的方法对科技政策、科技计划、科技发展领域、科技项目、科技成果、科技机构、科技人员以及与科技活动有关的行为所进行的专业化咨询和评判活动。科技评估整体包括评估准备、评估设计、信息获取、评估分析与综合、撰写评估报告等评估活动全过程的集成性技术方法体系,由评估方法与程序、评估指标体系、评估模型、评估专家等要素组成。科技评估增强了科技管理中决策的科学性,为科学决策提供了运作基础,极大地优化了决策过程;同时增强了科技管理部门运用科技政策、科技计划等宏观杠杆调节、配置科技资源的能力,增加了对项目执行过程监控和对其绩效考核的科学性。此外,完善的科技项目评估技术方法体系,尤其是中期评估、验收评估和追踪评估,从制度上加强了对公共科技资源使用情况的监督,能够健全科技资源使用责任机制。

二、科技评估过程中科技查新的作用和意义

科技评估与科技查新都是属于科技咨询活动,都贯穿科技活动的全程。科技查新工作是科技评估的基础之一,在科技评估工作中,每个环节都离不开查新工作的支持,在科技活动的前期及后期科技评估和科技查新的相互依赖更显著。客观、科学、公正地评估科技项目,已成为科技项目管理工作的当务之急,科技评估需要大量与技术有关的科技文献、相关竞争者、技术进展等信息,都需要科技查新工作来提供。实践证明:科技查新为科研立项、正确评价科技成果提供了科学、可靠的依据。科技查新是指通过手工检索和计算机检索等手段,运用综合分析和对比方法为评价科技项目新颖性和先进性提供客观事实依据的一种文献检索方法。它通过相关文献与科技发展项目之间的对比、分析与鉴别,从而确定科技发展项目的新颖性、先进性。科技评估可依靠科技查新所提供的信息及结论,通过评估专家的分析,对被评估对象做出更为科学的评估结论,因而在科技项目评估阶段进行科技查新对科学研究具有现实意义。在科研项目立项前,要了解科研课题在论点、研究目标、技术路线、技术内容、技术指标、技术水平等方面是否具有新颖性,必须及时、全面、准确地掌握国内外的有关信息,通过科技查新可对所选项目是否具有新颖性作出判断,提供客观依据,避免科研工作低水平的重复,减少科技项目中期鉴定的失准现象,促进科研管理的科学化和规范化;在科技成果鉴定和评估过程中,仅凭专家小组的专业知识和经验,难免会有疏漏之处。利用科技查新报告作为文献依据,可以避免科技评估过程中某些人为因素造成的不确切结论。而且,从科研项目管理角度看,对某些耗时漫长且在申报或立项阶段已进行过科技查新的科研项目,如果在中期和后期评估阶段不进行再次查新,无法保证经过投入大量的人力、财力、物力完成科研项目成果的新颖性,也无法了解与科研项目有关的国内外研究动态,造成研究的低水平重复以及科研经费及资源的浪费。由此可见,在科技发展项目评估阶段进行科技查新的重要性并不亚于科技立项查新和科技成果鉴定查新,科技发展项目评估阶段的科技查新不是“做结论”,而是在科研项目进行过程中通过查新了解本学科、本领域的研究现状,及时调整研究方向、研究策略,才能准确把握科学研究前沿,彻底杜绝才低水平重复研究,确保科研管理部门在科技项目管理上做出正确的决策。

三、科技评估过程中忽视科技查新的原因造成科技项目评估阶段科技查新被忽视的原因主要有以下几点:

1、对查新工作的宣传和普及不够政府管理部门对科技查新的重视程度不够,很多人对查新工作的重要性和必要性认识不足,以至于项目申请单位和科研人员对项目评估阶段科技查新的意识更加淡薄,甚至很多人会认为科技查新只是走形式而已。

2、对项目评估阶段查新工作的监督不够科技管理部门对项目评估阶段开展科技查新工作缺乏有效的监督,对在项目评估阶段不进行科技查新的的申报单位和科研人员没有形成约束机制。

3、对查新机构的信任度不够部分科研单位和科研人员对科技查新机构缺乏足够的信任,担心在科技查新过程中查新人员不遵守职业操守泄露科研机密,所以不愿意将重要科研技术要点提供给查新机构,因此而放弃查新。

4、科研项目经费不够由于科研项目没有足够的经费支持不足,除非有特定的约束,否则科研机构和科研人员不愿意再从有限的项目经费中抽取一点出来进行查新。以上几方面的愿意造成绝大多数科研单位只在项目申报、鉴定或报奖时进行科技查新,而忽视项目评估阶段科技查新的重要性,从而造成科研项目的先进性、新颖性和实用性无法得到保证。

四、加强科技项目评估阶段科技查新的建议

1、加强对科技查新工作的宣传力度查新机构可借助科技系统相关会议、在期刊、举办专题讲座、开辟宣传栏,印发资料等各种渠道,向有潜在查新需求的用户宣传科技查新工作的重要性、意义、程序、手段和方法,增加对查新的重视和理解,让更多的用户了解查新,并能将学到的查新知识应用于科研过程。

科研项目评估篇6

集团级评估组织体系的构成及其职责包括以下几个方面。

1)决策机构及其职责。集团级评估组织体系的决策机构是集团公司航天型号工作领导小组,一般由集团总部型号主管领导和相关部门主管领导构成,主要负责评估工作的组织领导和重大事项决策,审批《评估管理办法》和相关规章制度、年度《评估手册》、实施计划和评估报告,以及监督、检查和指导集团级科研生产管理评估工作。

2)执行机构及其职责。集团级评估组织体系的执行机构一般是评估工作组及下设的评估办公室,由集团总部负责航天科研生产管理工作的相关部门组成,是评估工作日常推进的主体,主要负责建立航天科研生产管理两级评估机制,制定评估工作的有关规章制度,明确评估目的、要求、工作程序和方式等;组织编制集团总部对研究院的评估手册;制定集团总部对研究院的评估策划和年度评估计划;组建集团总部对研究院的现场评估组,根据需要对评估组成员进行培训;组织评估实施,监督评估过程,协调评估事宜,审查评估报告和评估结果;通报集团总部对研究院的评估结果和相关情况,开展评估工作总结活动;提炼集团级最佳实践项目,组织开展审查、评定和交流推广活动;组织各研究院对评估识别的共性问题与薄弱环节进行整改,并进行指导与监督;收集、整理、分析评估工作的相关信息和资料,对集团总部对研究院的评估工作实施情况进行定期分析与改进。

3)技术顾问及其职责。集团级评估组织体系的技术顾问一般由中国航天科技集团公司负责航天型号科研生产技术与管理工作的有关领导和权威专家构成,是评估工作的智囊团,主要负责参与评估工作重大决策的讨论与制定,为评估决策机构提供必要的技术咨询;对评估涉及的主要技术内容与方法模式提出建议与意见。

4)评估队伍及其职责。集团级评估组织体系的评估队伍涵盖人员范围比较广,包括集团总部主管职能部门人员、集团内外专家等,在进行现场评估时一般成立现场评估组,负责协助执行机构开展现场评估工作策划;参加执行机构组织的评估培训;协助执行机构收集、整理、分析各研究院上报的评估工作的相关信息和资料;按照现场评估工作策划,提出详细的现场评估实施方案,并开展现场评估工作;起草反馈评估报告及评估报告,提出评估结果建议;配合执行机构开展最佳实践报告的审查活动;配合执行机构定期分析、总结并持续改进评估工作。

5)被评对象及其职责。集团级评估组织体系的被评对象是从事航天型号科研生产活动、交付型号与产品的研究院。由于评估的是研究院的科研生产管理能力与水平,因此,研究院科研生产的主管领导及相关职能机构是具体的被评对象。需要注意的是,集团总部对研究院的评估重点在于考察研究院本级的科研生产综合管理情况,一般不涉及各厂所的科研生产管理工作。在集团级评估组织体系中,研究院作为被评方,主要负责开展自评工作,并按要求提供自评报告;提供评估所需的必要条件和证据材料,积极配合现场评估工作;根据评估结果和评估意见,制定改进计划,及时有效地实施改进措施;按要求提炼最佳实践项目;不断积累评估工作经验,对改进评估工作提出建议。

3 研究院级评估组织体系

研究院级评估组织体系的构成及其职责包括以下几个方面。

1)决策机构及其职责。研究院级评估决策机构一般是指研究院评估工作领导小组,由研究院主管领导及相关职能部门领导共同组成,主要负责研究院级科研生产管理评估工作的组织领导、重大事项的决策、研究院《评估手册》和《评估管理办法》的审批与,以及监督、检查和指导研究院级科研生产管理评估工作。

2)执行机构及其职责。研究院级评估执行机构一般是指研究院评估工作小组,由研究院评估的牵头部门、配合部门的主管领导及相关人员组成,是研究院开展对厂所、项目、产品进行科研生产管理评估活动的策划与实施主体,主要负责制定年度评估实施计划;组织编写、修订研究院《评估手册》,并解释相关内容;组织开展评估培训和宣贯工作;组建现场评估小组,组织对院属有关单位、项目和产品的评估;开展研究院级最佳实践项目的审核、评定,并组织交流推广;收集、整理和分析评估工作的相关信息和资料;通报评估结果和相关情况;组织完成评估工作总结,并对评估工作的具体实施情况进行分析与改进。

3)技术顾问及其职责。研究院级评估组织体系的技术顾问一般由研究院科研生产技术与管理方面的专家构成,是评估工作的智囊团,主要负责参与研究院级评估工作重大决策的讨论与制定,为研究院级评估决策机构提供必要的技术咨询;对研究院级评估涉及的主要技术内容与方法模式提出建议与意见。

4)评估队伍及其职责。研究院级评估组织体系中的评估队伍一般指研究院科研生产管理相关部门、型号项目、厂所的相关专家,按照研究院对厂所、项目、产品三类评估分为三个评估队伍,主要负责对厂所、项目和产品团队进行现场评估,形成现场评估结论;编写对厂所、项目和产品的评估反馈报告。必要时,评估队伍要提前接受培训。

5)被评对象及其职责。研究院级评估组织体系中的评估对象有三类,分别是院属厂所、项目团队和产品团队,主要负责按要求开展自评工作,提供自评报告;提供评估所需的必要条件和证据材料,配合现场评估工作;根据评估结果和评估意见,制定改进计划,及时有效地实施改进措施;按要求提炼最佳实践项目,形成报告或文章;不断积累评估工作经验,对改进评估工作提出建议。

4 两级组织体系之间的相互关系

集团级评估组织体系与研究院级评估组织体系之间既分工明确又彼此关联,一方面,集团级评估组织体系中的评估方在负责对研究院科研生产管理评估的同时,还要负责整个集团范围内评估工作机制的构建与运行,以及指导监督研究院级评估组织体系的科研生产管理评估工作;另一方面,研究院既是集团级评估组织体系中的被评方,又是研究院级评估组织体系中的评估方,保证了集团总部对研究院的管理要求能够有效、顺畅地贯彻到厂所、项目与产品团队中。需要说明的是,这里的研究院特指的是研究院本级。

1)集团级组织体系的工作牵引研究院级组织体系工作。集团级组织体系所开展的计划管理、《评估手册》的研讨与、宣贯培训、现场评估以及总结改进等活动都对研究院级组织体系开展评估工作起到一定的指导和牵引作用。研究院在接受集团总部评估的同时也将集团总部对科研生产管理的要求纳入研究院对厂所、项目团队、产品团队的评估中。

2)研究院级组织体系的工作支撑集团级组织体系工作。集团总部开展对研究院的评估工作需要各研究院率先开展自评,并做好相关准备与现场评估保障工作,集团总部的最佳实践交流、共性问题研讨、年度工作总结、季度例会布置等活动都需要各研究院的大力配合与积极参与。研究院级组织体系承担了上述大量工作,有力支撑了集团级组织体系工作。

3)厂所、项目团队与产品团队具体延伸、落实集团级、研究院级组织体系的评估工作要求。研究院对厂所、项目、产品的评估将集团总部对研究院的评估要求进一步结合被评对象特点细化、分解,具体到每个厂所、项目、产品如何实施科研生产管理工作,是集团级评估的延伸和具体化。厂所、项目团队与产品团队负责具体落实研究院级组织体系乃至集团级组织体系下达的年度计划执行要求、评估识别的薄弱环节改进要求、最佳实践的提炼推广要求等。

4)各研究院科研生产管理专家与主管人员是集团总部评估专家组的主要力量。集团总部对研究院的评估专家队伍包括科研生产管理(含项目管理、产品管理)、质量与可靠性、人力资源、工艺、设施设备、采购、信息化、标准化、安全等方面的专业人员,主要来自各个研究院、厂所、项目与产品队伍。每年集团总部都会要求各研究院按专业推荐适宜的评估专家人选进入集团级评估队伍,支持集团总部的现场评估、研究讨论及总结交流等活动。

5 组织体系的建立与运行

5.1 组织体系的建立

航天科研生产管理评估工作开展以来,以集团总部对研究院的评估为牵引,建立了集团总部对研究院,研究院对厂所、项目与产品的两级评估机制,相应的管理评估组织体系也不断建立健全。

在总部层面,为了规范、有效地开展对研究院的科研生产管理评估工作,应明确评估工作领导组织和技术咨询队伍,建立评估工作组,设立评估办公室,并通过《评估管理办法》规定上述机构及其职责。同时,集团总部按照一定的资质要求,每年选拔一定数量的专家组建评估专家组,并通过组织研讨和交流活动,统一思想、深入认识,确保评估结果的客观与准确。

在研究院层面,集团总部的评估机制建设模式与方法给各研究院开展评估工作提供了有益的借鉴。一般情况下,研究院的组织体系建设是在集团总部管理办法的框架下,通过研究院级评估管理办法或要求,明确研究院评估工作的主管领导、执行机构(牵头部门、配合部门)、评估专家的构成以及各自的职责要求。

在厂所、项目团队、产品团队层面,其作为被评方,在组织体系建设方面,主要是明确具体的被评对象,以及迎接评估的牵头部门与配合部门,开展评估要求的分解落实、评估的准备与接待、评估意见的落实(包括薄弱环节的整改、最佳实践的提炼)等工作。

5.2 组织体系的运行

科研生产管理评估组织体系的运行主要包括以下四个方面。

一是执行机构应定期向决策机构汇报,确保评估工作的主要动态和重大事项在决策机构的掌握中,同时,对于执行机构不能决定的事项请决策机构给予指示。此外,执行机构通过汇报能够充分领会决策机构领导的意图,并落实到评估工作中。

二是执行机构内部应经常协调与沟通,确保在思想认识和行动上保持一致。在年初的评估策划、年度工作会的准备与实施、年中评估例会的准备与实施、《评估手册》的研讨、评估方案与计划的研究、评估结论与考核结果的确定等方面,执行机构涉及的各部门均要共同参与,共同商议并形成一致意见。这里应特别注意,在执行机构内部的分工上,评估要素/子要素如何分配,牵头部门与配合部门必须要充分沟通,牵头部门需要合理分配要素/子要素,并提出明确、具体的要求,同时充分尊重配合部门意愿并沟通达成一致;配合部门需要在接受要素/子要素之初就认真学习相关评估标准与制度要求,保持与牵头部门的联系,同时做好本部门负责的要素/子要素的策划、推进与自评工作。

三是执行机构与被评对象应经常交流与研讨,充分吸收各方意见,了解被评方的需求和难点,将评估目的和意图充分传递给被评对象,确保双方在对评估目标的理解、评估要求的认识、评估资料的准备以及评估工作的改进等方面都能保持一致。

四是应持续开展评估专家队伍建设。执行机构针对每年《评估手册》的变化,针对新加入评估队伍的专家要开展年度评估培训,提高评估专家队伍水平,通过培训考察、选拔现场评估专家,同时通过培训保证评估工作的专业性和评估结果的准确性。

6 评估专家队伍建设

为提高评估专家队伍建设的规范性、科学性和有效性,应当开展评估专家队伍的资格管理工作。按照“统一管理、分级实施”的原则,集团总部应统一明确评估专家队伍的培训、考试、发证以及注册管理等方面的基本要求,并对从事集团总部对研究院评估的人员实施资格管理;研究院应按照基本要求细化、明确并实施对厂所、项目、产品评估人员的资格管理,并报集团总部备案。

6.1 资质条件

组织级、项目级、产品级管理评估专家队伍在资质条件上,需要满足以下三条基本要求。

1)遵守中华人民共和国法律法规,没有违法犯罪记录。

2)具有秘密级及以上的保密资质,没有重大失密泄密记录。

3)具有高级工程师及以上的专业技术职称。

此外,组织级管理评估人员还应满足以下条件。

1)从事航天科研生产综合管理或项目、产品管理工作满10年(含)以上,熟悉航天科研生产的各项技术、管理规章制度。

2)具有航天型号市场开拓、综合计划管理、多项目风险管理、质量管理、售后服务以及能力提升等一个或多个方面的工作经历。

3)掌握评估、评奖的基本方法与程序要求,熟悉国内外典型的成熟度评估理论与方法。

项目级管理评估人员还应满足以下条件。

1)从事航天型号技术或管理工作满10年(含)以上,熟悉航天型号研制生产全过程、全要素的工作要求,熟悉航天系统工程管理、产品保证、技术状态管理等方面的内容。

2)具有航天项目范围管理、进度管理、经费管理、质量管理、沟通管理、风险管理、采购管理、集成管理等一个或多个方面的工作经历。

3)掌握项目管理评估方法与程序要求,熟悉国内外典型的项目管理大奖的评估理论与方法。

产品级管理评估人员还应满足以下条件。

1)从事航天型号、产品技术或管理工作满10年(含)以上,熟悉航天项目、产品研制生产全过程的工作要求,熟悉产品工程建设的内容与要求。

2)具有航天产品综合管理、产品工程管理、产品保证过程和产品售后管理等一个或多个方面的工作经历。

3)掌握评估、评奖的基本方法与程序要求,熟悉国内外典型的项目管理评估方法与成熟度理论。

6.2 认可程序

评估专家队伍应由符合条件的人员按程序要求向评估主管部门提出申请,通过申请审核以及后续培训考核的人员才能成为正式的评估专家。集团总部对研究院的评估专家,以及研究院对厂所、项目、产品的评估专家在认可程序上基本一致。

申请集团总部科研生产管理评估专家的程序如下。

1)填写申请表。

2)申请表应经本单位人力资源管理部门审核批准,由研究院人力资源管理部门确认后上报集团人力资源部。

3)集团人力资源部组织专家对申请人的条件进行审核确认。

4)符合条件的申请人应参加集团总部统一组织的科研生产管理评估培训和考试。

集团总部主管部门应组建培训师资队伍,依据中国航天科技集团公司科研生产管理的最新要求和管理评估的模型方法编制培训教材,建立试题库,审定考试科目和试题。集团总部科研生产管理评估w专家考试采用闭卷笔试和面谈审定的方式,考试合格的人员由集团总部颁发“中国航天科技集团公司科研生产管理评估专家”资格证书。

6.3 注册管理

取得资格证书的人员应按要求进行年度注册登记。首次注册登记时间为取得资格证书的第二年,以后每年都应重新注册登记。集团总部对研究院的评估专家,以及研究院对厂所、项目、产品的评估专家在资质注册管理上也基本保持一致。

集团总部科研生产管理评估专家的注册登记工作由取得证书的评估专家首先提出申请,申请时应满足以下条件,并提供相应的证明材料。

1)取得“中国航天科技集团公司科研生产管理评估专家”资格证书。

2)按要求参加继续教育,完成必修项目,学分满足要求。

3)年内参加不少于6个工作日的科研生产管理评估工作。

对于以下三种情况,其资格证书自动失效:一是在岗位工作中,造成质量事故和重大质量问题;二是脱离工作岗位,无法正常工作连续两年以上;三是未按要求进行注册登记。

科研项目评估篇7

按照国家科技评估中心的定义,科技评估是对与科学技术活动有关的行为,根据委托者的明确目的,由专门的机构和人员依据大量的客观事实和数据,按照专门的规范、程序,遵循适用的原则和标准,运用科学的方法所进行的专业化判断活动。根据评估对象的不同,科技评估可分为科技政策评估、科技计划评估、科技项目评估、科技机构评估和科技人员评估。科技评估是科技管理的重要组成部分,是推动国家科技事业发展的重要支持,是促进科技资源优化配置、提高科技管理水平的重要手段。

我国的科技评估起步较晚,从20世纪90年代初期才开始酝酿,发展。1997年,国家科技评估中心成立,标志着我国科技评估走向专业化道路。2001年,科技部了《国家科技计划管理暂行规定》和《国家科技计划项目管理暂行办法》,对评估作为管理过程的一个环节做了多处规定,进一步强调了科技评估活动在科技计划管理中的地位。2001年由国家科技评估中心起草的《科技评估规范》,对科技评估的标准、程序、规范等方面作了规定。2003年,科技部了《国家科技计划项目评估评审行为准则与督查办法》,将我国国家科技计划项目的评估评审活动纳入法制化管理轨道。2005年,科技部等四部委联合的《国家科研计划课题评估评审办法》等文件。推动我国科技评估工作开始走向制度化和规范化的道路。

近几年来我国科技评估发展较快,但由于起步较晚,缺乏经验,在科技评估过程中仍面临着不少问题。因此,借鉴国外评估的成功经验,有助于我国科技评估工作的健康有效发展,有助于提高我国科技评估的效率和质量。

1 科技评估的国际经验分析

随着科技评估的发展,国内学者对于国外的科技评估作了比较和分析。陈华钦、曹霞等对发达国家科技评估工作做了详细的介绍;刘继芬通过对国外科技评估机构、方法的比较研究,提出了一些启示和建议:刘敏就科技评估的内涵及问题作了具体的阐述;顾海兵、张平、石果、史飞等对美国、英国、日本、德国、法国的科技评估作了回顾和研究,并提出了对我国的借鉴意义。综合以上学者的研究,我们发现,国外科技评估的成功主要体现在以下几个方面。

1.1 强而有效的立法保障

为保障科技评估活动的规范化和制度化,许多国家为科技评估制定了相应的法律。立法体现了科技评估在各国科技活动中的重要地位。

日本科学技术会议政策委员会早在1986年就编制了《研究评价指南》,为国立研究机构的科技评价规定了具体的标准。1995年颁布了《科学技术基本法》,1996年制定的《科学技术基本计划》规定日本科技评估机构不能随意设立和撤消。1997年8月,日本政府又出台了《国家研究开发评价实施办法大纲指南》,明确规定了研究开发的范围,确定了评价目的、评价对象、评价者、评价时期、评价方法以及评价结果的处理和实施办法。

1985年,法国政府颁布法令(第85-1376号),从法律上确立了科技评估的地位。第5款“研究政策与技术开发的评估”中第14、15条规定“法国研究与技术开发计划根据各自的指标受到评估。评估的指标和评估方法在计划实施之前就已确定――公共研究机构按照定期评估的程序开展评估。”部级的科技计划、项目未经科技评估不能启动。法律中明确规定,评估师必须对其所作评估负法律责任,若存在违法行为将受到法律的制裁。

美国的科技评估也有立法保障,而且有关法律的规定都十分详细和明确。例如,美国法律详细规定了政府拨款项目的预算审核、运行监督和事后评估程序。按照美国法律,只有总统和国会有权变更财政预算的项目。科研计划一经批准,就会以法律形式固定下来,以后具体的执行工作则由各部门进行:在一个大的科研计划下,可以设立许多具体的科研项目。这些项目如何设立,各具体部门有很大的自,具体做法不完全一样,但原则是大同小异的。应用性的科研项目,一般采取政府合同的方式,采用招标方式进行。在管理上,采用美国有关政府采购合同的法律和管理细则,科研合同承担者若不能完成任务,则按违反商业合同的有关法律和规章追究其责任。

1.2 多层次的评估体系

国外的科技评估组织机构的设置相当健全,已形成了多层次的科技评估体系。

美国科技评估机构大致分为三个层次:一是国会科技评估机构:二是州政府科技评估机构:三是大的院校和研究所的科技评估机构。主要的科技评估机构有:美国国会技术评价办公室(OTA)、美国管理科学开发咨询公司(MSD)、世界技术评估中心(WTEC)、国会预算局(CBO)、国会研究服务部(CRS)、美国审计总署(GAO)等。

法国的科技评估体系相当完善,并形成了从宏观到微观对国家科技发展目标、科技政策和国家财政系统投入的客观监督系统,从而增加了政府的科学化、民主化管理。其评估体系分为四个层次:一是国会选择评价局,评估范围仅限于能源、环境、新材料和生命科学四大领域。二是国家研究评价委员会,主要任务包括:评估政府的科研政策、计划、项目、法规,评估公共研究机构执行,制定有关科技评估的政策、规定,认定评估事务所和人员的资格,培训评估人员。三是科研机构及高等教育机构内部的评估体系,主要任务是评价本机构的发展方向,机构内部设置,科研课题,国家投入的合理性,科研人员是否称职。四是中介机构,其主要功能是对科技成果进行分析和评价,构成了科技成果转移业务中的重要一环,如法国科技创新与转移有限公司。

德国的科技评估体系大致分为三个层次:一是联邦和州政府,主要是对国家和政府的重大政策、计划和重大项目进行评估,如部级大研究中心和大学的创建等。二是科研教育资助组织,主要对本组织资助的项目以及本系统的研究单位进行评估,如德意志研究联合会、马普学会、弗朗霍夫学会以及洪堡基金会、大学交流基金会等。三是大学和研究所。各大学和大研究中心对各自的研究所和课题组进行评估。

日本的科技评估活动起步较晚,但由于受日本经济、科技发展的影响,近几年也已形成了较为完善的评估体系,大大促进了社会进步、科技创新和技术转化。其评估机构大致分为以下三个层次:一是综合性科技评估机构和由国家直接管理开发的事业评估机构,附属总理府,如科学技术会议政策委员会。二是专业性评估机构,附属各产业部门,如通产省的产业构造审议会。三是企业性评估机构如富士通。

1.3 评估活动具有明显的市场化倾向

在科学研究领域,美国联邦政府提供了超过半

数的经费支持,但政府并没有一家分管评估科技成果的机构,而是委托一大批高水平、相对稳定的社会咨询评估机构,包括企业和非营利机构。承担具体的评估活动。

英国的科技评估机构虽然包含有政府的科技评估机构,但是科技评估活动的社会化趋势日益明显。政府只从事国家科技政策和科技发展计划的评估,而涉及具体科学研究项目、科研机构和科研人员的评估则交给研究机构和中介机构完成。

德国的国家和政府重大项目评估,一般由联邦教研部和州政府主管部门共同做出决定,委托科学委员会(马普学会的核心机构)来承担。科学委员会虽然由联邦和州两级政府共同支持和承担费用,但却是独立的科学组织。政府和科学界达成了共识:科学研究的质量只能由科学界通过同行评议来承担。

法国的科技管理体制带有一定的中央集权的特点,但其科技评估体系在整体上体现了明显的市场经济的分散性。企业内部的科研项目,是否进行评估、委托哪一个机构执行评估,完全由企业自主决定。对应用型技术成果,一般是通过知识产权保护制度,以市场的方式对科技成果进行评估。

1.4 强调事前和事中评估

发达国家的评估系统,大多注重事前和事中评估的作用,而进行事后评估则多是为了检查执行的效果,或是作为考察机构科研能力的一项指标。对于事后评估,发达国家普遍认为这是效率最低的评估模式,因为到事后评估的时候,往往已经形成了巨大的沉没成本。

1.5 注重评估理论方法的研究和创新

从发达国家科技评估使用的方法可知,科技评估的方法是在逐步发展和完善的。各国十分重视科技评估理论和方法的研究。目前,各国评估机构的科技评估模式主要有:①以数学模型为基础,强调严格的定量指标和计算方法,该模式适用于投入产出的评估。②以定性定量相结合的分析方法为主要手段,该模式适用于评估计划目标实现的程度,评估对象的优劣分析等。③以评估各方利益相关者对话为主要方式的参与式评估,适用于复杂对象和各种不同利益群体的评估。各国在评估实践中仍在不断地探索适合评估对象、评估目标的新模式。对一些大的评估项目,他们往往会针对评估问题的特点设计一套评估方法。如美国对日本和德国超导材料电力应用项目的评估、法国对海外技术研究所的评估、日本对尖端技术探索研究计划的评估、英国的阿尔维计划评估等。

2 国外科技项目评估对我国的适用性评价

2.1 借鉴国外评估立法,完善我国科技评估的法律体系

随着改革的深入和科技的发展,对于科技项目的评估活动越来越受到相关部门的重视。2003年,我国科技部出台了两部较为全面的关于科技评估的政策法规。一是《关于改进科学技术评价工作的决定》,二是《科学技术评价方法(试行)》,这两部法规都对我国当前评估中存在的问题提出了原则性和指导性的意见和决定,为我国科技评估活动的实施作了法律法规上的保证。但是,由于评估工作的复杂性和多样性以及法规本身的不完备性。这两部法规只是对评价工作的原则性问题进行了规定,缺乏细则的支持。借鉴国外在科技评估活动中的立法制度,可以进一步地规范我国科技评估的法律体系。

2.2 借鉴国外评估方式。确立我国评估重点

科研项目评估篇8

我国的科研管理工作,随着科技体制改革的深入发展,已有了长足的进步,而且正在向规范化、系统化、科学化迈进。课题评估是科研管理的重要组成部分,贯穿于课题管理的全过程。课题管理通常包括课题立项评估、执行情况评估、绩效评估三个阶段。

课题执行情况评估一般采用书面检查、现场考察、学术活动报告的形式。评估的目标是准确抽取项目过程管理中的动态因素和指标,进行价值评定和趋势分析,目的是将评估结果反馈到项目内部,以控制项目的进展。也有文献认为,执行情况评估就是依据立项合同书的内容、指标、研究进度、阶段性成果等进行检查评估,从而实现上级主管部门对项目的约束功能,其中进度安排及完成情况、阶段性成果则是重点评估的主要内容[1]。笔者认为,不同来源的课题因资金投入量大小的不同,主管部门对其期望值、要求也就有所不同,其评价指标体系应各有其特点。

课题执行情况管理工作具有承上启下的重要作用,科研项目能否取得较好的成果,与选题的新颖性、科学性乃至实用性有着密切关系,也与研究课题的全面开展和实验工作的顺利进行有着密切的关系。科研管理量化评估研究仍是难点,在评估中如何减少主观性增加客观性,至今尚无公认的评价方法和模式。现有的课题管理和评价体系多集中在前期的立项评估和后期的绩效评估,有关课题执行情况评估系统研究的报道相对较少,尚未见有专门针对执行情况进行评估的较为全面和完善的评估体系。

1 课题执行情况评估体系的构建

我省卫生厅科技计划形式多样,主要有一般计划、推广计划、重大招标、学科带头人培养计划、领先建设学科、省市共建计划等,2005~2007年年度经费均为170余万元,其中以一般计划占整个科研经费额的50%以上。近年来,我省医疗卫生单位的工作人员申报卫生厅科技计划的积极性高涨,申报一般课题项目数逐年递增,2005~2007年3年间的申报数量分别为608项、772项、868项,每年所列课题(包括未有经费的指导性计划)呈逐年增加趋势,2007年度达380项(其中指导性计划140项),而经费支持强度降为每个课题0.4万元。为进一步加强江西省卫生厅课题的科学管理,构建适合我省省情的卫生课题执行情况评估指标体系,根据现有课题经费支持强度的特点,我们按照省卫生厅课题研管理的要求,结合《江西省卫生厅科技计划课题申报(合同)书》的内容,遵循客观性、独立性、可比性、简易可行的原则构建评估指标体系。

首先,组织学科专家和科研管理人员进行座谈,根据座谈情况筛选出课题执行过程的关键点并逐级分解,分解为一、二、三级指标,初步构建评价指标体系,主要内容包括:科研进度和阶段性成果、目前研究水平、研究资料、经费使用和配套、组织管理、单位支持等情况。

其次,采用问卷调查的方法[2],将实施过程中的评价指标转化为调查问卷,对科研人员及科研管理人员进行调查,让他们给课题执行过程各项评价指标打分(采用百分制)。发放调查表15份,回收15份。见表1。

我们将上述各项评估指标的分值汇总,采用专家直观判定法计算各项指标平均权重[3]。适当调整评估指标权重系数,将不同的定性指标转化为量化指标,赋予一定权重范围,各项评估指标权重最大数值相加为100分。初步制订江西省卫生厅课题执行情况评估表,并用于每年一度的卫生厅课题执行情况检查。通过检查不断总结经验,针对历次课题检查中存在的实际问题,如:在研课题量大,涉及面广,时间紧,任务重;没有学科专家参与,课题的水平及先进性仅听取课题组成员的介绍,先进性难以把握;经费不足,无经费配套或无经费,难以修改计划以跟上学科发展形势等。对评估指标体系进一步优化、修改、调整、完善。再次发放调查表对科研人员、科研管理人员进行调查。发放调查表20份,回收17份。见表2。

并将该体系评估指标由原表5项一级、23项二级、19项三级指标,改为2个一级、7个二级、26项三级指标(见表3)。并对三级指标予以详细说明。设有带“”号的开关指标两项,即未执行和中止,既课题未开展或申请中止评估分均计为“0”分。

2 年度课题执行情况评估检查

2005年以来,江西省卫生厅科教处每年定期组织科研管理人员,采用本评估表对省卫生厅课题执行情况进行检查,以强化科技计划主管部门的管理职能,加强我省医疗单位课题规范化管理,掌握课题的进展情况,督促科研人员高质量的按时完成科研任务,及时发现和解决项目实施过程中出现的问题。每次检查均将已超期还没有结题和当年即将到期的课题为检点,当年立项的课题不进行检查。对超期课题限定完成时间,延期再不能完成者,目前仍有研究价值的课题督促其限期完成,已无研究意义和价值的课题则提出中止或取消建议,为课题主管部门科学化管理及决策提供依据。检查结果见表4。

对每项指标按要求填写完整、没有缺项的2007年度科技项目执行情况评估表进行整理,评分结果见表5。

3 课题年度执行情况评估体系的特点

①该评价体系采用100分制,细化了评分标准,简单易行,可操作性强。②该评价体系可用于同一课题实施过程中的不同阶段或不同类型科技项目的执行情况评估,能准确、客观地反映本年度科技计划完成情况的优劣。③课题负责人可根据本评估表对项目实施过程进行自评,以了解项目进展情况。④科研管理部门可应用该评价指标对课题研究过程进行管理评价,协调解决课题执行过程中存在的问题。⑤督促课题承担单位进一步完善科研管理制度,为科研计划的完成保驾护航。

4 课题申请延期、中止或取消的主要原因

①实验试剂已无供货来源,研究无法继续开展。②标本、病例获取困难。课题组主要成员调离原岗位或退休,标本、病例没人收集;属罕见病例,病例来源少;所研究病例治疗费用高,一般家庭难以承受。③科研经费不足。在课题执行情况检查过程中,课题负责人多少会反映课题经费不足,以基础性研究课题居多。这类课题往往涉及购买试剂、实验动物、实验设备使用等,费用往往超支,其中有不少指导性计划(经费自酬课题)或承担单位未按上级主管部门政策要求给予相应经费配套。④课题负责人长期出国、下乡、支边、病休,未将有关科研资料进行交接,指定课题组其他成员继续完成该项目;课题负责人调离原单位,未将有关科研资料进行交接,或课题组成员对该项目研究内容不了解,或课题经费已用完,接替者无法继续开展相关研究。课题负责人工作调整(调离原科室),患者治疗资料难以收集。⑤在研项目与上级主管部门在研项目发生冲突。如:江西省疾病预防控中心的“疫情地理图形分析”与卫生部所立项目类似,且将来要采用卫生部的分析系统,课题负责人申请中止该项目,以减少不必要的重复研究及经费浪费。⑥等待。有的课题负责人按计划合同书早已完成课题研究内容,待即可结题。但课题负责人认为自己课题研究水平较高,论文只投部级专业期刊或核心期刊,而不愿意稿投其他杂志,由于部级期刊或核心期刊所受投稿量大,论文质量要求高,发表时间周期长,以至延期2年,至今仍无法结题。⑦修订、调整计划,影响课题进度。⑧没有实验条件。失去原有研究条件,仪器损坏、实验室暂时撤消及其他原因;原定购买的设备未到位而影响研究开展。⑨课题负责人责任心不强,重申报轻科研。⑩有部分课题第二、第三成员只是挂名不出力,坐享受其利,并不参与或协调与课题相关的日常工作,而列与其后的课题组成员没有积极性;课题负责人除了承担繁重的临床、教学任务外,还要抽出时间进行科研、收集整理病历资料,严重影响到课题的进度。

5 建议

①课题申报单位的科研管理部门要严把申报关,对仪器设备未到位(只有购买意向)的课题不予申报。②强化课题承担单位科研管理部门的管理职能,积极与本单位人事部门、财务部门进行工作协调,对将调离本单位或长期支边、医疗下乡、进修、读研、访问学者等承担有课题负责人,已按科技计划要求已完成者令其限期结题;在研者,进行项目经费审计,作好课题及科研资料的移交工作,并指定该课题组其他成员继续实施;或与单位达成协议,在新接收单位继续实施,完成成果属原单位,以保证计划按时完成;课题没有开展或已延期进展缓慢或难以完成者,则申请中止或取消,并进行财务审计,按有关规定处理。办完有关课题交接手续后,人事部门才予放行。③课题负责人要慎重选择课题组主要成员,把具有真才实学,能为课题踏踏实实做事的人员放在重要位置,实行利益与责任挂钩的原则。④我省高校、研究院所由于自身的种种原因,对卫生厅科技计划没有按政策要求给予经费配套,而教师、科研人员所申报的课题多为基础性研究,需购买试剂和实验动物,利用他人实验设备等,经费需求较大。因此,他们所申报的基础性研究不宜列入指导性计划。⑤指导性计划应以花费资金少,病例、材料、资料易收集的临床、管理课题为主。⑥基础性课题研究费用往往要高于临床研究课题,在经费分配上应予以倾斜,不要搞一刀切。⑦对研究周期内要退休的人员(3年内)主持人申报的课题,原则上不再审批。⑧职能部门在职称评聘时,业绩评估应以课题的结题、验收、鉴定多少作为参考指标,而不以承担课题的多少作为参考指标,以扭转重申报轻科研的现象,维护科研的严肃性。⑨建立完善科研信用管理机制。将检查结果记录到个人科研档案(科技管理数据库)中,并作为其以后课题申报、立项的重要依据;课题未能完成者,不能再申报相同级别计划;课题取消或中止者,近3年内不考虑其科技计划立项。对课题完成情况好单位与差的单位在今后课题立项上将有所侧重。以督促课题承担者按时完成科技计划项目,督促课题承担单位切实加强科技计划的管理工作。⑩将年度检查结果以发文的形式反馈给各承担单位,并在全省通报。

[参考文献]

[1]向亚萍,刘武男,杨晖.科研项目评估研究现状与方法[J].市场周刊・财经论坛,2004,6:79-81.

科研项目评估篇9

本研究在上述三个国家科研资助机构开展的学科评估工作基础上,对学科评估的目的与范围,组织与结果以及方法等相关问题进行了讨论,并结合我国的具体情况提出了学科评估对我国科研管理工作的启示。

2 学科评估的目的与范围

2.1 目的

学科评估的目的从总体上来说,主要是指科研资助机构通过对学科的评估活动最终希望获得学科状况的整体结果,属于宏观层面。从目前已开展的学科评估活动来看,可以区分两种类型的学科评估:一类是诊断性的学科评估,主要通过学科评估来了解学科目前的现状和科研管理中存在的问题,并对解决这些问题提出建议。如澳大利亚研究理事会开展的学科评估,其目的就是对arc大额类型项目支持下的项目开展研究结果独立评估,考察在这一特定的学科领域进行研究的个人和研究小组的成果及其影响力,既评估arc大额资助项目的产出状况,同时还对澳大利亚研究理事会具体的科研管理过程包括同行评议、项目申请等细节问题进行评估,以便进一步加以改进[4];另一类是战略性的学科评估,即以学科评估为手段,了解学科目前的国际发展趋势和本国所处的地位,为学科在未来若干年内的发展确定战略计划。如英国研究理事会开展的学科评估,在对英国“结构生物学”的需求评估中,委员会要求评估工作侧重在如何保持英国未来的国际竞争力[5];而在对“生物化学工程”的学科评估中,其评估目的是建议bbsrc 理事会必须适合生物化学工程新的使命,并且建议理事会制定该学科未来十年的发展战略[6]。应当注意,学科评估的这两个目的并不是绝对分开的,通常这两个目的在每个学科评估中都有体现,只是在具体的评估过程中有一个目的占主导地位而已。相对于学科评估的目的,其评估目标则比较具体,主要是指在评估单个学科时的具体目标是什么,属于微观层面。由于学科之间的差异,同一科研资助机构在开展评估活动时可以有一个统一的目的,但对每个具体学科的评估目标则不尽相同。总体来说,学科评估的目标应注重其引导性与概括性,既要包含学科的当前研究和培训概况;也要重视与其它学科的合作关系以及学科的资助模式变化等。

2.2 范围

学科评估的内容直接指向学科本身,即学科的整体产出和综合影响力,以科学分类中的学科作为一个评估单元,通常指的是一类相关的科学研究领域。它并不关注具体的机构和人员,但在学科评估中又离不开机构和人员,它是在相关机构和项目负责人的基础上开展起来的,只是最后将这些结果综合起来分析和考虑。学科评估的范围包含两层涵义,一是指评估的时间范围,二是指评估的学科研究领域范围。如澳大利亚研究理事会对“天文和天体物理学”评估的时间范围是选择在1988—1992年之间,涉及到arc资助的21个科研项目。学科研究领域范围包括地球物理学、大气物理学、天文学和天体物理学[7]。而美国科学基金会对“地震减灾计划”的评估范围确定为以下研究领域:结构工程、地理技术工程、建筑和机械系统和与地震有关的社会科学;其评估时间跨越很长,从第一个资助计划(1958年)一直到最近的研究计划,评估小组将其分为四个阶段逐一考察[8]。学科评估的范围界定是开展学科评估的前提条件,一般由评估小组和科学共同体一起协商确定。只有将评估的范围界定清楚了,其后的评估工作才能得以顺利展开。

3 学科评估的组织与结果

3.1 组织

学科评估是科研资助机构为达到了解所资助学科的发展状况和科研管理机制中存在的问题以及确定学科今后的发展战略等目的而提出来的,因此学科评估的组织一般由科研资助机构主导。科研资助机构邀请一批该学科领域内的国内外知名专家,利用已有的数据积累,采用一定的方式、对若干年来在其资助下的某个学科所取得的研究产出和综合影响力进行评估,并进而对科研管理过程中存在的问题和该学科今后的发展战略提出政策性建议。学科评估的组织涉及到大量的人力物力,总体上包括三个阶段:1、基础准备阶段:主要任务是根据学科评估的目标确定评估方案和评估指标;2、数据(资料)收集阶段:根据已确定的评估方案和评估指标, 收集准确的相关资料,开展预定的评估活动;3、数据(资料)分析整理阶段:将收集到的数据和信息通过整理分析,形成整体的学科评估报告。

3.2 结果

学科评估工作结束后,评估小组要将结果整理成一份报告递交给科研资助机构,有关部门选取合适的内容向科学界和公众公开学科评估的内容。并及时收集评估对象、科学界和社会公众的反馈意见,根据评估小组所提的建议及时调整科研资助机构的政策和具体的管理工作,提高科学基金管理工作的效率。如澳大利亚研究理事会的学科评估报告分为公开文件和保密文件两个部分,公开文件中省略涉及个人或具体项目的陈述;保密文件则有相关的详细信息,只提供给arc的少数相关人员。公开的评估报告也包括两部分内容,第一部分是评估专家组提供的可公开的评估报告,第二部分是arc对评估报告的回应, 尤其是针对评估小组提出的政策建议予以逐项答复。因此,评估的过程既是arc了解其资助绩效的过程, 也是改进其政策和管理工作的过程。英国bbsrc对学科的评估工作完成后整理成文向公众展示学科取得的成果,以及未来学科发展的重点方向和资助的优先领域。如bbsrc 在对可持续农业的评估完成后立即确定了该学科三个重点资助的优先领域:创新农业实践、新型玉米体系和环境管理生态学[9]。

4 学科评估方法 科技评估的方法主要分为三类:定性方法(同行评议)、半定量方法(回溯法或案例研究)和定量方法(文献计量方法和经济计量方法)[10]。其中同行评议使用最多,然后是非定量的案例研究,而纯定量方法相对使用较少。在实际的评估过程中还可以是以上几种方法的综合运用。通常对基础研究的评估经常用到同行评议,对一些大型的、有多种评估对象和目标的计划则往往要综合运用多种评估工具和手段。本文所论述的学科评估就需要运用多种评估方法,主要有以下几种:

4.1 定量分析

定量分析方法中较常用的一种就是投入—产出分析方法,其特点是简单明了。通过对一定时期内某个学科的经费投入分析,可以了解该学科获得的资助力度。当然,对某个学科的投入是多元的,学科评估主要关心的是政府经费的投入状况。同时,学科的产出比较复杂,它既包括显性的结果如出版物,也有隐性的结果如对科学文化、社会经济进步的贡献等。一般来说,对学科评估简单的产出分析就是用正式发表的论文作为一个指标,在学科评估小组指定的数据库或刊物中,检索出一定时期内在科研资助机构的资助下发表的论文数量有多少。再进行纵向和横向两方面的比较,可以得出该学科在若干年来的发展概况,在全球的总产出中占多大的比例,其国际影响力是增加还是减弱。如bbsrc在对“结构生物学”的评估中, 首先分析了英国对“结构生物学”的投入情况,然后对“结构生物学”的产出作了文献计量分析,由城市大学的信息行为和评估研究中心利用研究产出数据库rod和isi,再加上评估小组协商后增加的三种刊物,对英国在1990至1999年发表的论文进行了文献计量分析。结果发现:过去的10年中,英国的结构生物学产出有明显增长,该领域英国对全球的贡献比例从8%上升到12%;其中剑桥、牛津和伦敦大学是该时期内结构生物学研究产出的主力,它们三者的论文在1990年至1999年占了英国总论文产出的40%[5]。

4.2 会议研讨

由于学科评估涉及的科学研究领域一般都比较广泛,对于学科目前的发展状况及存在的问题科学家最有发言权,因此召开科学家之间的会议就成为必要。让科学家畅所欲言,发表他们对学科发展的看法,对改进管理机制提出建议,明确学科今后发展的重点和方向。如果是与技术联系紧密的学科,还可以邀请学术界和企业界的专家一起共同研讨,讨论学科的研究成果如何尽快转化为生产力,也可以明确市场的需求,为下一步的研究确定方向。bbsrc在对“生物化学工程”的评估过程中,1998年9月8日由化学工业协会组织,在英国伦敦召开生物化学工程科学家会议,大约有50人参加,都是英国学术界和企业界的生物化学科学家。讨论诸如:生物化学工程研究的目前状态如何?未来发展方向怎样?未来生物化学工程的培训需求怎样?新出现的技术是什么等问题[6]。

4.3 实地走访

通常每个学科都会有自己的重点实验室或者重大仪器设施基地,这些部门是学科发展的基础,也是科学研究资助机构支持的重点,它们的运行情况在很大程度上影响到学科的发展。因此在学科评估过程中评估小组都会到重点实验室或重大设施基地进行实地考察,分析对它们的支持力度是否合适,研究产出是否达到要求,接下来应该如何对它们进行资助。除了走访本国的重点实验室或相关部门,学科评估中往往还需要走访其他国家的类似实验室或相关部门,以此做一个比较,了解自身的优势以及存在的不足等问题,同时拓宽本国科学家的研究视野,为今后的国际合作打下良好的基础。澳大利亚研究理事会在对“天文学和天体物理学”的评估活动中,评估小组走访了帕斯、阿德雷德、霍巴特、墨尔本和悉尼等地的相关实验室,对涉及21个不同项目的17位受资助者进行了访谈[7]。bbsrc在评估“生物化学工程”过程中,bath大学的john howell教授组织了一批年轻的英国化学/生物化学科学家走访了美国相关的部门,以此比较两国的研究状况和拓宽年轻科学家的视野[6]。

4.4 问卷调查

调查问卷是学科评估中使用最频繁的一种方法,几乎每个学科评估都曾采用过。调查问卷一般是面向大型项目的主持人或相关人员及重点实验室的负责人发放,通过他们了解本学科在国际上的影响力如何,科学研究资助机构的资助程序是否合理,经费是否充足,能否及时地开展研究工作,学科发展对于社会的贡献如何,今后的学科发展战略目标是什么等问题。arc在对“大气和海洋地理学”进行评估时,向arc大型项目负责人发放了一份问卷,包括两部分内容:第一部分(普通信息)包括个人和职业信息,如姓名、所在单位、最高学术资格、获得最高学历的时间、开始科研的时间、目前的职位等,也要求列出研究职业中的出版物数目、同时要向他们了解申请不成功的项目并且说明是否从其他什么地方得到资助,以及他们未来的研究方向,今后是否继续申请arc的项目等问题。 第二部分主要包括申请到的项目的一些具体信息等内容[4]。

4.5 信息收集

随着通讯技术的迅速发展,网络成为人们工作的有力工具。在学科评估中,通过网络可以收集社会方方面面的信息,可以汇集除了本学科领域内的专家以外的一些社会人士对该学科的看法以及发展意见,进一步全面了解学科的状况。澳大利亚研究理事会在对“天文学和天体物理学”的评估活动中,为了从更广泛的渠道得到的信息,在《校园评论》上广告,类似的信息还通过电子邮件发给澳大利亚天文学会会员,希望通过这两种方式有更多的人参与讨论和评估[7]。nsf在对“重大海洋研究计划”的评估中,也在互联网上发放问卷,了解诸如以下的一些问题:海洋学重大研究计划已经带来对海洋认识的显著增加吗?海洋学重大研究计划已经为你提供了研究中使用的其他研究设备和设施吗?并且还通过问卷收集各界人士对海洋学重大研究计划的建议措施。

4.6 国际比较

对学科的评估不能只是在纵向进行比较,横向的国际比较往往更加重要。学科评估中不仅要了解本学科在国内的发展状况,同时也要清楚该学科在世界上的整体概况,从中了解学科今后发展的趋势,明确本国在该学科今后的发展占据什么样的地位,进而确定一些优先发展领域,保持本学科在世界上的竞争力。如bbsrc 在对“结构生物学”的评估中评估小组经过调查分析认为,在当前的世界上“结构生物学”有三种不同的发展路线,分别是:基于整体基因的方法(结构基因)、基于系统和加工的方法、个体目标(individual targets)。目前美国、日本和欧洲主要的研究集中在“结构基因”方面,其它的研究方向散见于其他的一些国家[5]。

5 启示

我国目前对科技经费的投入力度越来越大,经费的使用效率也越来越受到关注[12]。如何有效的利用科技经费,使之达到最大的效益产出,更加合理有效地对基础科学进行绩效评估,是科研管理工作者应该思考的问题。通过以上介绍的国外科研资助机构的学科评估,我们可以从中获得一些重要的启示与借鉴。

5.1 学科评估是提高我国科学基金使用效率的重要手段

科研资助机构通过开展学科评估工作,可以了解学科发展和科研管理工作中存在的问题。通过对这些问题提出解决方法和建议,有利于提高科研管理工作的效率,使得资助方法和模式更加科学有效,也使得有限的科学基金能发挥出最大的效益。我国的科研管理部门开展过许多类似项目评估和人员评估的工作,取得一定的成效。但是,学科评估针对的是学科整体的发展及基金管理机制等问题,是在整体上把握科学基金资助工作的绩效和管理工作概况,具有项目和人员评估等方式无法触及的角度和深度,是一种值得借鉴的方式。通过学科评估工作可以了解我国科学基金对学科发展所起的作用,以及明确目前的基金项目评审和管理过程是否科学有效等问题,从而提高我国科学基金的使用效率。

5.2 学科评估是制定我国学科规划和发展战略的基础

科学研究必须体现国家的目标和需求[13]。在学科评估中可以了解该学科目前的国际趋势和本国的发展状况以及未来的需求,为制定学科规划的发展战略打下基础,从而引导学科的发展为国家目标服务。目前我国开展的科学研究绩效评估存在一定的问题,主要是过于强调微观的、针对研究人员个人的评价,而宏观的评价不足[14]。学科评估本质上是一种宏观评价,并不过多考虑细节,而是分析学科的综合影响力,注重学科的发展战略等问题。因此,在我国开展学科评估可以拓宽我国科研人员的视野,明确国家的需求和目标,同时也为国家制定学科规划的发展战略打下坚实的基础。

5.3 学科评估可以增加公众对科学和科学基金工作的了解

当今社会科学对人们生活的影响日益增加,人们对科学的兴趣也逐渐浓厚。为了使人们更好地了解科学,了解科学基金工作,开展学科评估是一个很好的方式。通过学科评估的工作,向公众展示科学基金在科学研究和学科发展中所起的重大作用,有利于提升公众对科研资助机构工作的理解和支持。同时,这也是我国政府管理机制民主化的必然要求。我国的科学研究成果转化目前不尽如人意,除了其他的因素,与我国的科学宣传和科普工作不力有很大关系。公众对于科学及科学研究一知半解,这也使得目前各种伪科学大行其道,损害了科学的正面形象。通过向公众展示学科评估的结果,一方面让公众掌握当今科学发展的最近进展,另一方面,让公众明确我国科研经费的投入方向及取得的成果,提升公众对科学研究和科学基金工作的支持力度。

5.4 学科评估的前提和基础是相关数据资料信息的积累

科研项目评估篇10

【中图分类号】G64 【文献标识码】A 【文章编号】2095-3089(2016)31-0253-01

一、前言

目前,全国范围内各地方高校都能够以“质量工程”项目为抓手,在促进高等教育改革方面取得良好成效,但随着“质量工程”项目的增多,其在建设过程中发现存在一些问题,如学校重申报、轻建设,政府及教育主管部门重评审、轻监督等,究其原因在于缺乏对项目实施效果的评价和反馈机制,没有形成横向、纵向的一套完整的项目管理机制。

我国在“质量工程”项目管理中一直采取传统的项目验收的形式。由于评审或验收的结果与未得到项目参与方足够重视,评审会或验收会便容易流于形式,难以达到对项目运行过程和项目成果进行检验的目的。特别是项目的事后评估,尤其绩效的评估较为缺乏。本文根据广东石油化工学院(以下简称我校)“质量工程”项目实施现状,分析“质量工程”项目建设现存问题,并提出相应建议。

二、研究现状分析

(一)国外研究现状

据查阅文献可知,美国高等教育项目管理体制较为完善,如美国教育部网站对项目建设目标、项目申请资格及程序、项目监控、实施成效等做了详细介绍并及时更新。地方各州、各学校也建立专题项目网站。此外,国外在20世纪 80 年代就在国际性学术期刊上发表了大量关于科技项目评估的文章。从研究成果来看,国外对科技计划项目的立项评估、验收评估研究较多,目前这两部分研究文献数量占70%以上,并同时构建了大量模型。

(二)国内研究现状

我国的高等教育评估工作起步较晚,通过笔者查阅文献发现,目前我国“质量工程”项目的评估侧重于局部内容单项评估,如各高校对精品课程、教学团队、特色专业等建设立项的评估。在项目后评估方面,主要集中在项目后评估研究的理论、指标体系和研究方法研究,在教育类建设项目中引用较为缺乏。目前,国内项目后评估的理论体系不够成熟,缺乏纵向的各级项目后评估组织机构,后评估范围不广且重视程度不够。

(三)广东石油化工学院“质量工程”建设项目实施现状

截止2015年,我校在建的“质量工程”建设项目共分为26类,各级项目共立项969项,其中部级项目135项,省级385项,校级580项。从2014年开始,“质量工程”项目类型从原来的14类增加到26类,相应的经费投入力度随之增大。但目前我校在建的部级、省级“质量工程”建设项目数目仍偏少,部级项目中,大学生创新创业训练项目(以下简称大创项目)占96.3%;省级项目中,大创项目占73.73%;可见除大创项目外,我校“质量工程”建设项目在高级别项目中所占比例较少。截至2015年,我校共有14类“质量工程”建设项目按照建设要求完成建设任务,目前所有到期结题的项目均顺利完成验收结项工作。

从我校“质量工程”项目管理情况来看,目前主要工作仅在建设评估及验收评估,省级以上项目还包括建设中期评估,校级项目尤其教育教学改革研究项目缺乏建设中期评估。此外,我校各级“质量工程”项目后评估工作尚未开展。

三、构建我校“质量工程”建设项目后评估组织机构

通过对我校“质量工程”建设项目实施现状进行分析,结合文献研究结果,可从几个方面开展评估工作。

(一)建立由校、院(系)二级后评估管理机制

学校方面,由教务处、教学质量监控与评估中心牵头成立后评估工作小组,负责全面贯彻教育部、省厅下发的有关政策,制定开展后评估实施管理办法及相关工作程序。构建后评估专家队伍,组织相关培训,审核工作,并协同学校督导组对评估执行单位所做工作进行监督。

院系方面,负责对学校后评估工作小祖的任务进行安排,对本院系需验收的“质量工程”项目进行自评、提出整改措施并撰写后评估自评报告。

(二)构建多元后评估主体

组建一批由社会中介、高校等利益相关者组成的评估专家组。如实践基地类及专业类项目后评估专家组可由评估专家、相关专业学生、同行教师、用人单位代表、行业代表、校友组成评估专家组;而课程类项目后评估专家组可由评估专家、相关专业学生、同行教师、行业代表组成。

(三)建立有效的“质量工程”项目后评估工作程序

在建立“质量工程”项目后评估管理部门及专家组后,构建有效的“质量工程”项目后评估工作程序,具体包括:指标体系政策制定―专家组成立―对建设项目进行评估―形成项目后评估报告和建议―院系自评―反馈学校后评估工作组。

参考文献:

[1]蓝勋.本科高等教育“质量工程”项目实施的后评估机制研究[D].广西师范学院,2011,6.

[2]高思.“质量工程”:提高高校本科教学质量重大举措[N].中国教育报,2007,1.

科研项目评估篇11

上世纪90年代初,当时中国改革进入了一个整体推进的新阶段,决策的科学化和民主化成为当时最热的词汇之一。为适应政府职能转变与科技计划管理改革的需要,促进科技资源优化配置,科技部(原国家科委)率先启动了我国的科技评估工作,并制定了5年的评估计划,从1995年开始连续对国家攻关计划、国家863计划、国家高新技术开发区、国家新产品计划和国家工程技术研究中心等一系列重大科技计划进行了评估。这是我国科技评估具有开创性和里程碑意义的时期。

随着政府职能转变和科技计划管理体制改革的深入,评估活动越来越受到各级政府的重视,各层次的科技评估工作逐步开展起来。在科技部的推动下,各部门、地方的科技评估工作陆续开展起来,相应成立了几十个科技评估机构,开展了一系列评估活动,各方面对科技评估的需求也日益强烈。一些省市把引入评估机制作为科技管理改革的重要措施,制定了相应的管理办法。有的地方政府还明确规定,对地方财政投入达到一定规模的科技项目必须经过评估才能启动。

中国的科技评估活动在国际上也产生了较大的影响,我们可以自信地说,从评估活动的规模、水平来看,中国科技评估活动处于发展中国家的前列。

记者:进入WTO对我国政府管理决策系统提出了严峻的挑战,从评估的角度来看,我们同发达国家的主要差距在哪里?

陈兆莹:中国加入WTO后,要求政府将工作重点逐渐转向创造环境和提供公共服务。因而,对政府公共支出的绩效进行评估,对于改善公共部门的工作效率,提高政府资金的使用效率,提高政府运行的规范性与效率,促进政府管理决策行为与国际接轨,是十分重要和急需的。进入WTO首先是对我国政府管理决策系统提出了严峻的挑战,要求我们建立与国际接轨的评估体系,规范评估行为,提高评估能力。

从国际上看,根据评估活动的需求和目的,可以大致将其分为以下三类:

第一类:市场交易类,评估为市场交易提供中介服务。资产评估、企业资信评估是该类评估的典型代表。在国际上已有100多年的历史,按市场规律成熟稳定地发展,主要由行业协会管理。我国资产评估从80年代开始,经历了不规范的竞争阶段,通过清理整顿,逐渐分化,逐步规范。

第二类:决策咨询类,评估作为管理决策的环节。 在美国、加拿大、法国、澳大利亚等多数西方发达国家,决策咨询类评估成为政府制定计划和项目的重要决策参考,也是政府公共支出使用程序中的必要环节。科技评估属于这一类。

第三类:公众监督类,评估作为公众监督政府公共投入的手段。 该类评估活动主要在西方发达国家进行,如美国国会的评估活动,对政府公共支出的绩效进行评估,作为公众监督政府的手段。对于发展中国家,目前严格意义上的第三类评估还没有开展起来。

根据我国的科技评估活动的主要内容、范围、服务对象和作用,主要属于国际评估活动的第二类:决策咨询类。

单就决策咨询类评估来看,运用该手段为政府管理决策服务,是改进政府管理决策的一项重要措施,几十年来已被世界上越来越多的国家采用,在发达国家已形成制度。评估结果对于政府有关政策、计划和活动的出台、执行、辩论及调整改进发挥了重要作用。中国与国际上发达国家的主要差距表现在评估制度化、法制化方面。在过去的多数评估的研究中,往往侧重指标和方法,对于制度建设方面缺乏系统性研究。我们评估中心在这方面做了一些工作,但还不够。

记者:目前,科技评估中心已经形成了一支具有较高素质的专业化科技评估队伍和专家网络,建立了现代化的组织管理制度、运行机制、评估技术规范和质量控制体系,在科技评估理论与实务方面进行了系统的研究、积累和实践,为更好地服务于决策部门、服务于全社会奠定了坚实基础。能否简要介绍一下评估中心的职能。

陈兆莹:科技部科技评估中心是经中编办和科技部批准成立、具有独立法人资格的部级专业化科技评估机构。其前身是1997年经国家科技部批准成立、依托于中国科技促进发展研究中心的国家科技评估中心(National Center for Science & Technology Evaluation, NCSTE)。现科技部科技评估中心同时沿用国家科技评估中心的名称(以下简称评估中心)开展评估业务与国际合作。

根据科技部机构与职能调整方案,评估中心的职能主要定位于为在以下几方面;

组织开展专业化的科技发展战略、科技政策、科技计划、科技项目、科技机构和区域创新能力评估,为科技部的科技决策与管理提供咨询服务;

组织开展与科技评估相关的重大科技管理问题研究和科技评估理论、政策、标准、规范研究,为科技部指导和规范科技评估、评审活动提供对策建议;

承担科技部推动科技评估行业能力建设的具体实施工作,为科技评估行业发展提供技术支撑;

组织开展科技评估的国际交流与合作,促进科技评估与国际接轨。

记者:近年来,在科技管理部门推动下,评估中心开展了一系列在全国有重要影响的科技评估活动,为改进管理决策提供了重要依据,请您具体谈谈。

陈兆莹:是的。1994年以来,评估中心开展了一系列在全国有重要影响的评估活动,对于如何在宏观层次引入评估机制进行了实践和探索。代表性的评估活动包括:“八五”攻关计划的综合评估,863计划十年、十五年的执行评估,高新技术开发区评估,国家工程中心评估,“九五”重中之重项目和重大科技产业工程的评估等。近两年,重点开展了973计划实施7年来首次进行的综合评估和863计划执行20年的评估。评估中心充分借鉴国际上计划评估的经验,从第三方的角度进行独立的专业化评估,通过资料分析、项目文档分析、政策文本分析、数据分析、问卷调查、案例研究、实地调研、召开座谈会等方法,多渠道收集信息,进行深入分析。特别是围绕计划实施中各方面关注的热点问题进行专题评估。

这些评估活动的结果分别在全国计划会议、香山会议、科技部部务会和其他重要会议上报告和讨论,对强化政府公共支出的责任机制、改进管理决策发挥了重要作用。首先,评估从第三者角度,对评估对象进行客观、公正的评价,为决策者和管理部门制定战略和政策、改进管理提供依据。例如,计划评估报告对对计划目标的实现程度、完成效果与影响、经费投入的效益、组织管理的有效性等进行了评估,为计划的滚动实施、后续安排、管理和调整提供了依据。同时,这些评估活动也为关心科技事业的各方面人士提供了参与、对话和沟通的条件,体现了政府决策管理的公开、透明的原则。

为了对《规划纲要》的配套政策以及实施细则进行跟踪研究、监督落实并通过评估手段及时协调和调整,2006年评估中心启动了对《规划纲要》相关配套政策的调研与评估分析,从制定政策开始就引入评估监督机制,有利于建立政策评估的基准,为今后的跟踪评估打下基础。建立实用化的政策评估指标体系和方法,为政策评估提供有用的工具。启动了《全民科学素质行动计划纲要》实施监测评估指标体系研究课题。

记者:有人说,评估中心在科技评估的能力建设方面做了大量的工作,我国科技评估的核心队伍的雏形初步形成,专业化水平逐渐提高,您同意这种观点吗?

陈兆莹:对,根据科技部的委托,科技部评估中心(国家科技评估中心)近年来开展了一系列工作,加强科技评估的能力建设。由国家科技评估中心编写的《科技评估规范》公开出版后,得到全国绝大多数科技评估机构的认同,成为我国科技评估行业共同遵守的自律性规范。在规范的基础上,国家科技评估中心主持编写了科技评估专业培训系列教材(17本),举办了5期科技评估专业培训班,培训了70多家评估机构的负责人和业务骨干。我国科技评估的核心队伍初步形成,专业化水平逐渐提高。

为加强“十一五”期间全国科技评估行业建设,提高我国科技评估机构和评估人员的业务水平,借鉴世界银行先进的评估方法和经验,评估中心与世界银行独立评估局(IEG)于2006年10月16-20日在京联合举办了“2006世界银行―中国评估培训周”国际培训研讨会。有来自中央部委及各省、市、自治区科技主管部门和评估机构的80多名业务骨干参加了培训研讨。

评估中心与5家地方科技评估机构(天津科技评价中心、武汉科技评估咨询中心、广东科技评估中心、云南科技评估咨询中心、吉林科技评估公司)签订了开展联合研究的协议,进行“科技评估的组织与管理模式研究”,并列入国家科技攻关计划的前瞻性研究项目。

为进一步宣传科技评估事业,促进全国科技评估机构间的交流与联系,培育和提高科技部评估中心和地方科技评估机构的能力,评估中心设立了全国科技评估网站,发行了科技评估简报,发挥其业内评估信息交流与共享平台的作用。

记者:在评估国际合作方面,评估中心取得了卓有成效的成绩,这是有目共睹的。特别广受赞誉的由受援国主导的荷兰对华的联合评估取得圆满成功,大大提高了我国科技评估机构在国际上的知名度。

陈兆莹:可以这么说,评估国际合作方面取得了重要的进展,促进了我国科技评估活动与国际接轨,国家科技评估中心得到了国际评估界的认可。

近年来, UNDP评估办公室、世界银行评估部、APEC产业技术组和国际发展评估协会等国际组织的重要评估国际会议陆续在中国举行,国家评估中心已与美国、法国、韩国、印度、英国、加拿大、澳大利亚、日本、新西兰等十多个国家的评估组织建立了合作交流关系。

由荷兰外交部评估局与评估中心共同发起并联合实施荷兰对华援助计划的评估,作为联合评估的成功案例,受到国际评估界的高度重视与充分肯定。在OECD的2007年评估工作会议上,该评估作为联合评估的成功案例向大会报告,向OECD国家扩散该评估的经验。评估报告已以中、英文正式出版。

由于国际评估界对中国的评估活动十分关注,AEA 2006年评估大会专门安排了以“中国计划评估的挑战和变革”为主题的分会。我作为中国的参会代表在AEA 2006年评估研讨会上做“中国计划评估体系”的主题发言,与会者反映热烈。美国自然基金会、美国俄勒冈大学、世界银行独立评估局的评估专家和美国的独立咨询专家对中国专家的报告进行了评论。来自美国、日本和其他国家的50多人参加了主题分会讨论。与会者一致认为今年中国的主题分会非常成功。

评估中心已与日本JICA就举办科技评估培训班项目(特殊国别)达成协议,由日本政府提供资助,每年为中方培训10名科技评估业务骨干,连续执行三年。

记者:可以说,十多年来,评估活动的实施产生了较大的,但我们相信科技评估活动在我国还是一项任重而道远的工作,请您谈谈下阶段要重点考虑的工作?

陈兆莹:十一五”期间,是我国科技发展的黄金期,也是我国科技评估的黄金发展期。对于下阶段工作我们有以下几点打算:

1、完善科技评估制度,制定科技部系统的评估工作计划

通过本次机构与职能调整,我部已初步建立了相对独立的决策、执行和评估系统。但科技评估工作还缺乏系统部署和长远考虑,没有制定科技部系统的评估工作计划。科技评估尚未真正成为科技决策和管理的必备环节,哪些科技工作必须引入评估机制并没有明确的要求,相关管理机构对于是否评估、何时评估、如何评估也缺乏前瞻性安排,使得评估工作的对象和环节随机性较大,难以做到统筹兼顾,形成长效机制。评估结果的报告制度不明确,评估结果必须向谁报告,评估报告在什么范围内发放等都没有明确规定。

我们一方面从全面落实科学发展观和建设创新型国家的要求出发,对国家层面的科技评估体系建设的指导思想、基本原则和关键要素进行研究。另一方面从提高管理效率和转变政府职能的内在需求出发,为建立健全科技部系统的科技评估制度,对国内主要政府部门和部分地方政府的评估制度进行调研,并对西方发达国家和发展中国家的评估制度和评估体系进行比较研究。

2、针对科技重大专项组织实施、全面推进《规划纲要》配套政策的制订和落实、完善科技计划管理体系和深化改革等方面的管理和决策任务,开展评估和研究,包括:国家科技重大专项监测与评估体系、政府科技投入的效果和影响评估、科技政策的实施效果和科研机构的运行绩效评估等。

3、借鉴国际经验,建立国际可比的评估框架和方法

评估中心作为中方的代表,参加OECD科学和技术政策委员会(STP)创新和技术政策工作组(TIP)的活动,为借鉴国际经验,建立国际可比的评估框架和方法提供了条件。主要参与以下两方面的活动:

参与OECD关于各国政府R&D评估制度和评估活动的比较研究。通过资料研究、国际研讨会等方式,对各国政府科技部门的评估制度和评估体系进行分析研究,形成调研报告。研究对象包括西方发达国家,亚洲国家和发展中国家。通过国际比较、现行制度分析和深入研讨等方式,为建立我国的科技评估制度提供参考,通过国际比较、现行制度分析和深入研讨,研究国家科技评估制度的框架和核心内容,包括评估的规划,评估需求和评估任务的确定,评估任务的委托,评估质量的保证,评估结果的应用等方面,为建立我国的科技评估制度提供参考。

参与OECD关于公共R&D社会经济影响评估的研究。随着政府对R&D投入的不断加大,人们对公共R&D投入的绩效日益关注,对公共R&D产生的效益尤其是其带来的社会经济影响进行测量和评估的诉求也逐渐增强。但是,由于对公共R&D的社会经济影响评估存在许多困难和不确定性,目前还没有一种公认的有效的评估方法。为此,OECD技术政策委员会(STP)将启动“公共R&D社会经济影响评估”研究,对现有的评估方法和各国实践进行梳理和研究,以期探索出更加行之有效的、国际可比的评估方法。通过参与该研究,可以直接了解现有的评估方法和OECD国家在这方面的评估实践,对评价我国政府R&D投入的绩效提供一些借鉴。

记者:请谈谈你对中国科技评估未来的展望?下阶段发展态势如何?面临着哪些重要的挑战?

陈兆莹:在我们举办的“2006世界银行―中国评估培训周”国际培训研讨会上,我主持总结讨论时曾向世界银行的资深评估专家提出了一个问题:中国的评估在世界评估领域处于什么位置?他回答我说,世界评估的地图是一个动态的,中国的评估目前是一个青少年,不是婴儿,也不是成年人。我个人很同意他的这个判断。虽然中国有几千的历史,但从制度、能力和实践来看,中国的评估的确是一个青少年。

这个青少年各方面成长存在不均衡的现象。例如相对于其他方面,评估制度和管理要迟缓和弱一些。近10年来,各政府部门陆续了一些部门规章,指出对政府的计划和政策要定期进行评估。但是由于缺乏具体的实施条理,这些部门规章往往没有严格执行。而且中国目前还没有在法律层面上对评估进行规定。在评估能力方面,发展也是不均衡的。首先管理评估的能力比执行评估的能力要弱。我们已经有一批评估专业人员,但缺少职业的评估官员。我们有了国际上认同的评估案例,但数量还很少。从成长的环境和条件来看,评估需求和评估文化在不同部门、地区也存在明显的不均衡的现象。

至于下阶段发展态势,我有三点看法:

首先,面临“成长的烦恼”。青少年是人的生命周期中最有活力的成长时期,迫切地学习和实践。中国评估目前遇到的困难和困惑都是“成长的烦恼”,对此,我的态度是乐观的。同时,致力于一个处于青少年时期的兴旺事业,也是很幸运的。

第二,国际标准,中国特色。中国评估界将和国际评估界建立系统的交流与合作,更好地融入国际评估的大家庭。同时,以中国特色的评估研究和实践,为丰富国际评估的理论、方法和案例做出贡献。

评估制度和文化的建设还需要时间。中国评估的发展在今后一段时间仍将是不均衡的,建立国际标准,中国特色评估制度和文化的建设还需要时间。如果人的一生中青少年时期只有十几年,中国评估从青少年到成年阶段的发展可能需要更长的时间,也许几十年。

我国的联合评估经验在OECD国际会议上得到广泛好评

发达国家对官方发展援助计划(ODA)的评估,以前都是由援助方主导。近年来,世界银行、OECD、UNDP等国际组织积极倡导受援国主导的联合评估,但一直停留在理论研讨阶段,缺乏成功案例。科技部科技评估中心与荷兰外交部评估局共同发起并于2006年完成了对荷兰政府援华贷款计划的联合评估,共涉及援助项目84个,援助金额近5亿欧元。目前,已公开出版了中、英文评估报告,科技部党组书记、副部长李学勇为中文版题写了序言。这是我国首次尝试由受援国主导的联合评估,其成功经验受到了国际评估界的高度关注。

2007年6月28日,科技部科技评估中心与荷兰外交部评估局组成联合代表团,应邀参加在巴黎召开的OECD发展援助委员会第六次发展评估大会。在会上,科技评估中心副主任陈兆莹研究员与荷兰外交部评估局资深评估官员汉斯.斯洛特先生联合发表了专题演讲,详细介绍了受援国主导的联合评估的理论、方法和经验,赢得了与会代表们的热烈掌声。

在讨论中国-荷兰联合评估案例时,来自OECD成员国以及UNDP等国际组织的代表纷纷踊跃发言,对此次联合评估活动给予了充分肯定,认为这是一次真正意义上的联合评估,希望中国和荷兰能够进一步扩散联合评估的知识和经验,以加强援助国和受援国在评估方面的合作,促进发展中国家的评估能力建设。

中国第一个受援国主导的联合评估报告正式出版

由国家科技部科技评估中心(国家科技评估中心)和荷兰外交部政策与业务评估局共同实施的受援国主导的联合评估――荷兰ORET/MILIEV计划(中国)评估中英文报告正式出版了。这是中国第一个联合评估案例,也是世界上为数不多的成功的联合评估案例之一,受到国际评估界的高度评价。

科研项目评估篇12

2国外科技评估活动的实践总结

2.1重视科技评估制度建设是各国政府开展科技评估活动的前提

制度化是当前国际科技评估活动的趋势之一,科技评估不同于一般的研究活动,制度建设是科技评估活动健康发展的基本保障条件。世界各国制度建设的方式各不相同,有的以法律,有的以部门法规,有的则以行业规范的形式来进行制度建设。但经过多年的评估实践和努力,都建立了适合自己国情的科技评估体系和相应的保障制度,使科技评估活动成为一项制度化、经常化的行为,成为政府管理决策过程中不可缺少的环节。

作为科技大国,美国是使科技评估活动制度化最早的国家。上世纪初,美国成立了国会服务部,它所进行的与科技有关的研究、分析和评估可以认为是科技评估制度的雏形。然而,科技评估工作在美国的大范围开展是在二战以后。1993年美国第103届国会颁布了“政府绩效与结果法案”(GPRA)。根据GPRA的规定,科技评估的概念与制度、美国国会一级的有关科技评估机构的作用、功能、权力和责任都有明确的法律条文予以确定。此外,日本的《科学技术基本法》(1995)明确了科技评估的地位,《科学技术基本计划》(1996)和《国家研究开发实施办法指南》(1997)提出了建立开放型研究评价体制的基本框架,规定日本科技评估机构不能随意设立或撤销;1985年法国政府做出规定,在没有经过评估之前,任何国家科技计划项目都不能启动。法国议会评价局、国家研究评估委员会,前者通过法律创建,后者由部长会议通过政令任命,评估委员会的任期,评估对象的确定,评估报告的公布,都有相应的法律和制度规定;韩国、澳大利亚等国也规定,凡开展科技计划评估活动,均需依据有关法律设立机构,遵照法定程序进行工作,出具评估结论和向有关单位反馈结果。

科研项目评估篇13

2.1 重视科技评估制度建设是各国政府开展科技评估活动的前提

制度化是当前国际科技评估活动的趋势之一,科技评估不同于一般的研究活动,制度建设是科技评估活动健康发展的基本保障条件。世界各国制度建设的方式各不相同,有的以法律,有的以部门法规,有的则以行业规范的形式来进行制度建设。但经过多年的评估实践和努力,都建立了适合自己国情的科技评估体系和相应的保障制度,使科技评估活动成为一项制度化、经常化的行为,成为政府管理决策过程中不可缺少的环节。

作为科技大国,美国是使科技评估活动制度化最早的国家。上世纪初,美国成立了国会服务部,它所进行的与科技有关的研究、分析和评估可以认为是科技评估制度的雏形。然而,科技评估工作在美国的大范围开展是在二战以后。1993年美国第103届国会颁布了“政府绩效与结果法案”(GPRA)。根据GPRA的规定,科技评估的概念与制度、美国国会一级的有关科技评估机构的作用、功能、权力和责任都有明确的法律条文予以确定。此外,日本的《科学技术基本法》(1995)明确了科技评估的地位,《科学技术基本计划》(1996)和《国家研究开发实施办法指南》(1997)提出了建立开放型研究评价体制的基本框架,规定日本科技评估机构不能随意设立或撤销;1985年法国政府做出规定,在没有经过评估之前,任何国家科技计划项目都不能启动。法国议会评价局、国家研究评估委员会,前者通过法律创建,后者由部长会议通过政令任命,评估委员会的任期,评估对象的确定,评估报告的公布,都有相应的法律和制度规定;韩国、澳大利亚等国也规定,凡开展科技计划评估活动,均需依据有关法律设立机构,遵照法定程序进行工作,出具评估结论和向有关单位反馈结果。

2.2 提高科技管理质量和公众的监督是各国政府开展科技评估活动的动因

之所以用立法的形式来规定科技评估制度,是因为各国政府在用国家财政收入资助科学研究项目的实践中,意识到随着科技发展的复杂化,科技研究活动的规模日益庞大,它需要越来越有效的协调、管理和监督来提高科技管理工作的质量和效益。另外一个原因就是来自于社会公众,特别是纳税人的监督需要,他们关心政府的科学研究投资是否与国家目标一致,资金使用是否有效。在这种背景下,科技评估作为科学管理的一项重要内容和手段,成为了制度化、经常性的工作,各国政府纷纷建立了科技评估机构。

一个明显的例子是日本。1955年日本经济开始起飞时,为了在较少的财政预算下尽可能多提高科研活动的产出,日本政府和企业把科技评估作为管理和推进科学研究活动的重要手段。根据产业发展和技术引进情况,开展各种科技评估工作,从而对日本经济的快速发展起了重要作用。在进入上世纪80年代后,科学研究活动日益复杂,政府科技管理工作的质量亟待提高,科技评估再次受到日本朝野各界重视。1983年日本政府决定设立部级的科技评估机构,在科学技术会议政策委员会设科技评估分会,其职责是对科技振兴调整费资助的项目进行前期、中期和后期评估。同时日本政府所制定的R&D评价方法指南也强调通过对R&D内容与工作绩效的恰当评价,建立能够充分发挥研究人员创造能力、开放、灵活和富于竞争性的R&D环境。日本所建立的开放型研究评价体制,使科技评估发展到一个新的阶段。

2.3 科技评估能力建设是各国开展科技评估活动的重要保证

充分重视并保证评估质量是各国评估活动顺利开展的前提,这就需要不断进行科技评估能力建设。它包括:

1.制定评估规范。通过多年评估实践,各国的评估机构都建立了专业的评估规范。规范要求:从事评估活动的人员必须具备一定的资格和能力;评估活动的设计和实施必须符合规范要求;评估方法的合理性对使用数据的可靠性都要经过论证;评估结果的局限性必须加以说明等等。如美国、韩国在科研项目指南的同时对评估的程序、方法和组织都加以说明。

2.人力资源的建设。由于专家评议是各国普遍采用的科技评估形式,因而各国十分重视专家网络的建立和严格选择专家。评估能力建设是各国评估机构十分重视的长期任务,加强评估专家与科学家、管理专家的沟通,加强评估领域的国际交流,探索新评估方法,培训评估人员,使评估机构成为一个学习的组织,不断实践,不断创新。

3.加强理论研究。对于科技评估模式与方法的研究一直是各国进行科技评估理论研究的重要内容。目前用的较多的是定性定量相结合的分析方法,即在专家评议的基础上,结合科学计量学、经济计量学方法。由于评估对象的复杂性,目前没有哪一种方法,解决所有的问题,每一种评估模型只能适用于特定的环境、特定的评估对象和特定的评估目标,并各有其优缺点。

2.4 各国间科技评估活动的交流日益密切

联合国开发计划署的评估办公室(UNDP EO)在领导成员国开展科技评估活动方面扮演了重要角色,不定期地组织或赞助科技评估国际交流活动的开展。如联合国开发计划署的评估办公室在APEC成员国中定期开展国际会议、国际培训等活动。

一些非政府的评估协会,也纷纷活跃在科技评估国际交流的舞台上。在美国、加拿大、澳大利亚、新西兰等国都成立了评估协会。这些协会的成员主要来自政府各个部门的评估官员、研究机构或大学的专家教授和一些开展评估服务的咨询公司代表组成。比较活跃的组织包括美国评估协会(American Evaluation Association)、澳大利亚评估协会(Australasian Evaluation Society),他们定期开展国际会议,并提供相关培训和评估服务,为各国致力于科技评估工作的工作者提供了交流的场所,他们的活动也得到了联合国开发计划署评估办公室的支持。

3 对我国科技评估工作的借鉴

我国科技评估活动起步晚,始于1994年,它的建立和发展是我国的科技管理体制的改革相适应的,主要由科技部国家科技评估中心以及各个部委的相关部门来承担各自领域的科技评估工作。经过几年的不断实践和经验总结,我国的科技评估工作取得了可喜的成果,但也有不足和值得思考的地方。在分析和了解国外科技评估活动的特点和经验后,可以从以下几个方面加强和改进我国的科技评估工作。

3.1 对科技评估制度给以立法保障

要使科技评估做到制度化、规范化和经常化,需要国家在立法上给以保障。目前,科技部颁布了有关科技评估制度的部门法规用以约束科技部系统内的科技评估工作。我国需要借鉴这些先进国家的经验和做法,通过完善立法、提高科技评估立法的层次,使科技评估工作和对政府财政支出的绩效的监督工作结合起来,制定一部跨部门的法律,使科技评估工作走上制度化、规范化和经常化的道路。

3.2 评估过程必须保持高度的独立性

国外评估研究和评估实践的经验表明,评估的独立程度越高,评估结果的可信度也越大。我国在评估的实践中应借鉴国外的经验,在评估时做到:让评估负责者有充分的权力;让评估管理者尽可能向最高管理层次汇报;让评估执行者独立于接受评估的研究单位,最好还能独立于实施评估的机构。以避免干扰,达到最佳评估效果。

3.3 加强评估队伍和组织建设

科技评估活动是一项要求很高的专业工作,需要有一支长期、稳定、受过系统专业培训的工作队伍和健全的组织机构。建立健全国家、地方和部门三级的科技评估组织体系是顺利、高效实施科技评估工作的组织保障。同时应当优化评估人员的结构,评估人员不能由单一的技术专家和理论学者组成,应当根据项目的类型和特点,应注意吸收经济专家、管理专家和未来的使用者广泛磋商,使科技研究与使用紧密结合,不要将研究和产业化脱节。

3.4 加强评估方法的使用研究

目前用于科技评估的方法较多,这些方法互为补充,但是每种方法都有一定的适用范围,它们经常需要结合起来使用。例如对于基础研究,同行评议是目前国际公认的较为适宜的方法,但由于文献计量等定量指标能够为专家进行评议提供数据参考,所以二者也经常结合起来使用,如德国的现场同行评议就经常在较多定量数据的统计基础上进行。

3.5 注重评估资源建设

首先加强评估人力资源建设,在实践中培养合格的评估专家,发现合适的咨询专家,建立专家资源库。其次加强评估研究资源建设,收集国内外科技评估的最新理论和实践经验,广泛开展国际交流,出版专业杂志,建立相关的科技评估专业协会和各种数据库。最后加强多层次的评估组织资源建设,综观国外科技评估组织机构的组成情况,一般分为政府组织和非政府组织两大类,而我国目前在这方面的建设和实践刚刚起步,主要是政府组织,需借鉴国外的经验加强我国的评估机构建设。

【参考文献】

[1] Mushin Lee. Evaluation of National R&D Projects in Korean[J].Research Policy, 1996,(25):805-818.

[2] Chubin D E.Grants Peer Review in Theory and Practice [J].Evaluation Review, 1994,(18):20-30.

[3] Koftoff R N.Evaluating Federal R&D in the United States[A].B Bozeman J Melkers Evaluating R&D Impacts:Methods and Practice[C].Kluwer Academic Publishers,1993.163-178.

[4] Chubin DE. Hackett Edward J. Peerless Science: Peer Review and US.Science Policy[M].Albany:New York,State Univeristy of New York,Press, 1990.

[5] Robert  McDonald ,George  Teacther. Science  and Technology Evaluation Practices in the Government of Canada[Al. Report Presented in OCED Conference on Policy Evaluation in Innovation and Technology[R].Paris, France, 1997.

[6] Masayuki Kondo.R&D Evaluaton in Japanese MITI[A]. Paper Presented in APEC Symposium on Evaluation of S&T Programmes Among APEC Member Economics[C]. Wellington,New,Zealand, 1998.

在线咨询