当前位置:评价技术工具


        根据《团体标准管理规定》《关于促进团体标准规范优质发展的意见》有关要求,为规范、引导和监督中医药团体标准有序发展,中国中医科学院中医临床基础医学研究所依托国家中医药管理局政策法规与监督项目中医药标准质量分析与评价(任务编号:GZY-FJS-2019-210)、临基所自主选题项目中医药团体标准质量综合评价研究(任务编号:Z0642)任务,采用文献调研、改良德尔菲法、优序图法等综合方法,形成了由5个一级指标、12个二级指标、27个三级指标组成的中医药团体标准评价技术体系。5个一级指标分别为“制定主体”、“文本编写”、“技术内容”、“推广应用”、“实施效益”。该技术工具的研发,旨在对已发布的中医药团体标准进行从制定阶段到推广实施阶段的全面评价,从而实现综合评估中医药团体标准水平的目的。

表1 中医药团体标准评价指标体系

一级指标 权重 二级指标 权重 全局权重 三级指标 权重 全局权重
A 制定主体 0.0800 A1 发布团体 0.7500 0.0600 A11业务范围 0.1111 0.0067
          A12组织机构 0.3333 0.0200
          A13制定/修订程序 0.5556 0.0333
    A2 起草主体 0.2500 0.0200 A21起草人员 0.2500 0.0050
          A22起草单位 0.7500 0.0150
B 文本编写 0.2400 B1 文本结构 0.2500 0.0600 B11标准封面       0.1111 0.0067
          B12标准编号 0.3333 0.0200
          B13起草规则 0.5556 0.0333
    B2 内容表述 0.7500 0.1800 B21逻辑清晰性 0.2500 0.0450
          B22表述准确性 0.7500 0.1350
C 技术内容 0.3600 C1 协调性 0.4444 0.1600 C11法律、法规协调性 0.7500 0.1200
          C12标准文件协调性 0.2500 0.0400
    C2 先进性 0.1111 0.0400 C21必要性 0.7500 0.0300
          C22技术先进性 0.2500 0.0100
    C3 科学性 0.4444 0.1600 C31技术可靠性 0.2500 0.0400
          C32可操作性 0.7500 0.1200
D 推广应用 0.2400 D1 宣贯培训 0.5000 0.1200 D11标准公开 0.7500 0.0900
          D12标准培训 0.2500 0.0300
    D2 标准使用 0.5000 0.1200 D21标准转化/使用情况 0.7500 0.0900
          D22被引用情况 0.2500 0.0300
E 实施效益 0.0800 E1 经济效益       与一级指标“实施效益”权重等同
    E2 社会效益      
    E3 生态效益      
合计 1.0000            

1评价指标内涵解读

中医药团体标准评价技术体系由5个一级指标、12个二级指标(其中“实施效益”下设3个可选指标),27个三级指标(其中7个三级指标为可选指标,对应前述的3个可选二级指标)所组成。5个一级指标分别为“制定主体”、“文本编写”、“技术内容”、“推广应用”、“实施效益”,本文将依次对5个一级指标的内涵进行阐释。

1.1制定主体

在标准的制定过程中,制定主体的能力和水平对于标准的质量和可信度具有较为重要的影响。因而将“制定主体”列为评价指标体系的首要评价条目,并下设“发布团体”和“起草主体”两个二级指标。

1.1.1发布团体

发布团体”指发布标准的社会团体,其业务范围、组织机构和标准制修订管理程序是考评的重点。评价发布团体的业务范围是否涵盖评价标准的领域,团体内部标准化组织机构的规范性和标准制定程序的规定完整性,是评价发布团体的关键要素。发布团体应当具有权威性和公信力,其制定标准的过程和结果应当符合法律法规、行业规范和标准化要求,同时应当注重广泛征求各方面的意见和反馈,确保标准制定过程的透明度和公正性。

1.1.2起草主体

起草主体”则是指制定标准的起草人员和起草单位,其资质和工作程序是考评的重点。评价起草主体的起草人员中标准化人才和相关专业人才的结构、学术背景、技术水平,以及起草单位的标准化基础或专业技术领域实力,是评价起草主体的关键指标。起草主体应当具备一定的学术水平和技术能力,能够准确把握行业发展趋势和技术特点,积极倡导标准化工作,促进标准化发展,提升标准化的质量和水平。

1.2文本编写

“文本编写”是标准制定过程中至关重要的环节。虽然在标准起草和审核阶段,编写错误会被尽可能地避免和纠正,但在实际发布后,标准仍有可能存在不规范和错误之处。因此,在对已经正式发布的标准进行评价时,对文本编写规范性的评估是必要的,这可以确保标准的准确性、规范性和可靠性。下设“文本结构”和“内容表述”两个二级指标,以评估标准的编写规范性和内容准确性。

1.2.1文本结构

文本结构”评价主要关注标准封面、编号和起草规则的符合性。标准封面和编号的规范性能够有效提升标准的可读性和辨识度,而符合起草规则则能够确保标准的编写规范性和可操作性。具体的评价细则包括标准封面和编号是否符合《团体标准管理规定》(国标委联 [2019] 1号)和《标准化工作导则 第1部分:标准化文件的结构和起草规则》(GB/T 1.1-2020)的规定。

1.2.2内容表述

内容表述”评价主要关注标准内容的逻辑清晰性和表述准确性。在制定标准时,必须注重文本编写的规范性和质量,以确保标准具有高度的可读性、易用性和适用性。具体的评价细则包括标准内容是否层次分明、标准内容表述是否准确且无歧义(符合GB/T 1.1-2020)。

1.3技术内容

“技术内容”的评价是评估其质量的核心指标。团体标准相较于其他标准应具有一定的先进性,并根据国家法律法规的变化、技术的发展和行业实际应用情况进行及时的调整。主要包括三个二级指标,即“协调性”、“先进性”和“科学性”。

1.3.1协调性

协调性”评价主要关注团体标准与相关政策、法律、法规的协调性以及标准文件内部和与其他国家标准、行业标准和地方标准之间的协调性。这可以帮助评估团体标准的协调性是否达到标准制定的要求。

1.3.2先进性

先进性”评价主要关注团体标准的必要性和技术先进性。这需要评估团体标准是否满足国家相关发展战略规划、社会发展需求和市场发展需要。同时,需要将团体标准与现行的国际标准、国外标准、国家标准、行业标准和地方标准进行比较,以评估标准的核心技术内容和指标是否具有先进性或填补了国际或国内技术空白。

1.3.3科学性

科学性”评价主要关注团体标准是否符合实际需求和科学规律。这需要评估标准中的技术方法是否稳定性好,是否经过验证,并且在当前技术条件下是否容易实现。同时,需要评估标准对实际工作是否具有较强的指导性以及是否存在专利风险(专利风险指的是标准涉及的技术可能存在潜在的专利侵权风险)。

1.4推广应用

推广应用”是指将已经发布的标准在实际生产和应用中广泛推广和使用,这是促进技术创新的重要方面。特别是在新领域、新技术或新产业中,一些标准由于适用范围较窄、专业性较强,相关标准可能会因未得到及时的推广应用而导致标准的闲置。因此,对于已发布的标准,评价其推广应用的情况,可以为进一步提高标准的质量和使用率提供重要参考。

1.4.1宣贯培训

推广应用”这一指标下设有“宣贯培训”和“标准使用”两个二级指标。其中,“宣贯培训”主要评价标准的公开程度和标准的培训情况。评价细则包括标准是否公开标准发布信息,是否允许团体成员或标准用户获得标准内容等;同时,还需要评价团体成员或标准用户对标准的解读、宣贯或培训的工作程度。这些工作对于标准的广泛推广和应用至关重要。

1.4.2标准使用

标准使用”这一指标主要评价标准的被采用和被引用情况。评价细则包括企业采用情况及相关研究领域的采用情况,以及标准是否被国家标准、行业标准、地方标准、团体标准或政策、法律、法规所引用。这些细节可以帮助评价标准的实际应用和推广程度,并为标准制定机构提供改进和优化标准的重要依据。

1.5 实施效益

为了评价标准的实施效益,可以考虑经济效益、社会效益和生态效益三个方面。其中,每个方面下设多个二级指标,例如“经济效益”包括“提高生产效率”和“降低生产成本”,“社会效益”包括“提升服务或产品质量”、“促进技术进步”和“提高管理水平”,“生态效益”包括“能源资源节约”和“减少环境污染”等。这些二级指标的评价并非强制要求全部考核,可以根据实际情况选择性评价。

1.5.1经济效益

经济效益”评价细则包括固定投入量下,使用该标准后实际产出与最大产出两者间的比率是否提高,生产的设计费用、制造费用、管理费用等是否缩减。

1.5.2社会效益

社会效益”评价细则可以考虑使用该标准后是否提高服务或产品质量,促进技术进步,提高管理水平等,从而提高中医医疗机构的诊疗服务水平、患者及消费者的满意度,提高产品的合格率,促进中医诊疗技术、中药开发等技术的进步,提高中医药产业链各环节的管理水平,促进管理制度的建设。

1.5.3生态效益

生态效益”评价细则主要包括中医药相关产品生产、使用过程中的能源消耗降低情况,以及中药材生产、加工过程中废物排放、污染物排放减少情况等。

2评分细则

基于专家共识和专家访谈意见和建议,逐项制定并汇总整理形成初版得分细则,并通过再次专家共识,形成评分细则终版。以期更加客观和科学地评价中医药团体标准,加强评价工作的实操性(表2-6)。



表2 中医药团体标准评价指标体系评分细则(制定主体)

三级指标 评分细则
A11业务范围 1)     团体在相应专业技术范围内制定标准,且团体章程规定的业务范围明确提及标准化业务(10分) 2)     团体在相应专业技术范围内制定标准,但团体章程规定的业务范围未明确提及标准化业务(7分) 3)     团体章程规定的业务范围明确提及标准化业务,但团体未在相应专业技术范围内制定标准(4分) 4)     团体章程规定的业务范围未明确提及标准化业务,团体亦未在相应专业技术范围内制定标准(2分)
A12组织机构 1)     团体内部成立独立的标准化部门专门负责标准化业务(10分) 2)     团体内部无独立标准化部门,标准化业务由相关部门兼职(5分)
A13制定/修订程序 1)     团体制定的团体标准管理办法遵循标准化基本工作原理、方法、程序和相关规定,对本团体的团体标准制定/修订程序作出详细规定,各阶段工作材料模版齐全(10分) 2)     团体制定的团体标准管理办法遵循标准化基本工作原理、方法、程序和相关规定,对本团体的团体标准制定/修订程序作出了规定,但是规定不详细,部分内容缺失,或部分工作材料模版不齐全(7分) 3)     团体制定的团体标准管理办法遵循标准化基本工作原理、方法、程序和相关规定,对本团体的团体标准制定/修订程序作出了规定,但是规定不详细,缺失关键内容,或各阶段工作材料模版不齐全(3分) 4)     团体制定的团体标准管理办法中存在违背标准化基本工作原理、方法、程序和相关规定的情况,或团体内部无团体标准制修订程序规定性文件(0分)
A21起草人员 1)     标准主要起草人中具有有一定标准化工作经历的人员;主要起草人具有较为丰富的专业知识和实践经验,熟悉业务,高级职称人员比例达到50%以上(10分) 2)     标准主要起草人中,高级职称人员比例达到50%以上,但均不具备标准化工作经历(8分) 3)     标准主要起草人高级职称人员比例介于20%~50%(4分) 4)     标准主要起草人高级职称人员比例低于20%(2分)
A22起草单位 1)     标准起草单位在相关专业技术领域具有较强的研究基础或标准化基础(10分) 2)     标准起草单位在相关专业技术领域实力和标准化基础一般(4分)

 

表3 中医药团体标准评价指标体系评分细则(文本编写)

三级指标 评分细则
B11标准封面 1)     标准封面符合《团体标准管理规定》国标委联[2019]1号规定的封面格式(10分) 2)     封面部分要素不符合《团体标准管理规定》国标委联[2019]1号规定的封面格式(1~9分) 3)     封面不符合《团体标准管理规定》国标委联[2019]1号规定的封面格式(0分)
B12标准编号 1)     标准编号符合《团体标准管理规定》国标委联[2019]1号规定的编号方法(10分) 2)     标准编号不符合《团体标准管理规定》国标委联[2019]1号规定的编号方法(0分)
B13起草规则 1)     标准符合起草规则(10分) 2)     标准存在3种及以下不符合起草规则的情况(7~9分) 3)     标准存在3种以上不符合起草规则的情况(0~6分)
B21逻辑清晰性 1)     标准内容层次分明 (10分) 2)     标准内容层次基本分明 (7~9分) 3)     标准内容层次较混乱(0~6分)
B22表述准确性 1)     标准内容表述准确、无歧义 (10分) 2)     标准内容表述比较准确(7~9分) 3)     核心技术要素表述存在较大歧义(0~6分)

 

表4 中医药团体标准评价指标体系评分细则(技术内容)

三级指标 评分细则
C11法律、法规协调性 1)     团体标准与相关政策、法律、法规相协调(10分) 2)     团体标准与政策、法律、法规存在冲突(直接判定标准不合格,标准总分为0分)
C12标准文件协调性 1)     团体标准本身及各部分之间协调性好,与相关国家标准、行业标准、地方标准相协调(10分) 2)     团体标准本身及各部分之间协调性好,与相关国家标准、行业标准或地方标准(非强制性)存在不协调情况(7分) 3)     团体标准本身或各部分之间协调性一般(3分) 4)     团体标准不符合强制性标准规定(直接判定标准不合格,标准总分为0分)
C21必要性 1)     团体标准满足国家相关发展战略规划、社会发展需求及市场发展需要(10分) 2)     团体标准基本满足国家相关发展战略规划、社会发展需求及市场发展需要(7~9分) 3)     团体标准与社会发展需求及市场发展需要的关系不明确(1~6分)
C22技术先进性 1)     与现行的国际标准、国外标准、国家标准、行业标准、地方标准对比,标准核心技术内容和指标具有先进性或在新技术领域填补国际国内空白(10分) 2)     与现行的国际标准、国外标准、国家标准、行业标准、地方标准对比,标准核心技术内容和指标具有一定的先进性(3~9分) 3)     与现行的国际标准、国外标准、国家标准、行业标准、地方标准对比,标准核心技术内容和指标不具有先进性(0~2分)
C31技术可靠性 1)     技术方法稳定性好,经过使用验证无明显缺陷(10分) 2)     技术方法稳定性一般(3~9分) 3)     技术方法稳定性差;或安全性无相关数据(0~2分)
C32可操作性 1)     技术方法在当前技术条件下容易实现,对实际工作指导性强,无专利风险(10分) 2)     技术方法在当前技术条件下可以实现,但对实际工作指导性一般,无专利风险(5~9分) 3)     技术方法可执行性差,在当前技术条件下标准实现有难度,或有专利风险(0分)

 

表5 中医药团体标准评价指标体系评分细则(推广应用)

三级指标 评分细则
D11标准公开 1)     标准全文在“全国团体标准信息平台”公开,并允许团体成员或标准用户浏览标准内容;且标准销售量≥500本(10分) 2)     标准全文在“全国团体标准信息平台”公开,并允许团体成员或标准用户浏览标准内容,但标准销售量<500本(7~9分) 3)     标准全文未在“全国团体标准信息平台”公开(0~6分) 注:世界中医药学会联合会提交的13项团体标准仅考虑销售量。
D12标准培训 1)     对团体成员或标准用户进行解读、宣贯或培训次数>5次;或培训人次合计≥1000人(10分) 2)     对团体成员或标准用户进行解读、宣贯或培训次数为3~4次;或培训人次合计为200~1000人(7~9分) 3)     对团体成员或标准的用户对于该标准进行了解读、宣贯或培训1~2次;或培训人次合计为1~200人(1~6分) 4)     未对团体成员或标准的用户对于该标准进行了解读、宣贯或培训(0分)
D21标准转化/使用情况 1)     使用该标准的社会团体/组织/企事业单位数量≥10,且各社会团体/组织/企事业单位使用该标准的平均时间≥3年;或转化为国际标准、国家标准、行业标准或地方标准(10分) 2)     使用该标准的社会团体/组织/企事业单位数量为≥5;或各社会团体/组织/企事业单位使用该标准的平均时间≥2年(7~9分) 3)     使用该标准的社会团体/组织/企事业单位数量1~4;或各社会团体/组织/企事业单位采用/使用该标准的平均时间不足2年(1~6分) 4)     标准未被使用或转化(0分)
D22被引用情况 1)     标准被政策、法律、法规、政府文件所引用;或被国际标准、国家标准、行业标准、地方标准所引用(10分) 2)     标准被团体标准或企业标准引用(6~9分) 3)     标准仅被科研文献引用(1~5分) 4)     标准无任何引用(0分)

 

 

表6 中医药团体标准评价指标体系评分细则(实施效益)

三级指标 评分细则
E11提高生产效率 固定投入量下,实际产出与最大产出两者间的比率的提高
E12降低生产成本 生产的设计费用、制造费用、管理费用等缩减
E21提升服务或产品质量 提高中医医疗机构诊疗服务水平、患者及消费者满意度,提高产品合格率
E22促进技术进步 促进中医诊疗技术、中药开发等技术的进步
E23提高管理水平 提高中医药产业链各环节管理水平;促进管理制度建设
E31能源资源节约 中医药相关产品生产、使用过程中的能源消耗降低

 

引用文献