360度评估在浙江大学医学院附属第一医院住培管理中的实施与应用

　　360度评估（360 - Degree Evaluation）也称为多源评估、多层次评估、闭环评估等，源于经营管理的精细化及对员工职业生涯规划的重视。360度评估的应用最早可追溯至20世纪三四十年代的军方战斗力评估和士兵选拔。60年代，美国TEAMS公司两位研究员Edwards & Ewen对360度评估实施过程中的一系列问题进行了大量研究并正式提出了360度评估的概念。360度评估与住院医师培训的结合最早出现于70年代的美国。2002年，美国毕业后医学教育认证委员会（Accreditation Council for Graduate Medical Education，ACGME）的“Outcome Program”项目的实施提出了住院医师的6大核心能力，并展开了关于采用360度评估来评估核心能力的有效性论证。2005年初，结合网络化大潮，ACGME网络化360度评估系统全面上线并一直沿用至今。

　　浙江大学医学院附属第一医院的住院医师360度评估研究工作开始于2015年4月，通过广泛地开展调研、试调查，逐步完善了评估问卷内容。自2015年12月开始，每月对在院的住院医师、带教老师开展调查评估，护士长、同行医师、下级医师及患者评估的频率则从一季度到半年不等。通过近两年的探索与研究，本院在360度评估的实施和结果应用方面积累了一定的经验，并率先采用“胜任力雷达图”（Competency Radar Chart，CRC）评估住院医师与带教师资的岗位胜任力。值得一提的是，本院通过研究住院医师对轮转科室、带教老师等的评估情况，不断挖掘培训基地各级管理层中可能存在的问题，并将结果较好地运用到住院医师培训管理的改善中。目前不乏有关360度评估如何运用于住院医师评估的研究，而有关如何将结果运用于培训管理及提升的研究却不多，因此，课题组将本院在研究过程中的部分经验与其他培训基地分享，以供参考。

　　1   资料与方法

　　1.1   研究对象

　　本课题研究对象为参与住院医师规范化培训及管理工作的各个专业基地、带教老师及住院医师。考虑到数据的稳定性，主要的研究数据来源于2016年1月至2017年9月期间在浙江大学医学院附属第一医院参加住院医师规范化培训的住院医师对基地、科室及带教老师的评估问卷。

　　1.2   研究方法

　　1.2.1   量表编制   360度评估量表的编制主要是基于美国ACGME核心能力评估模型，同时结合浙江省住院医师规范化培训的基本要求，通过系统及多轮的文献复习、专家头脑风暴、试运行后最终确定。

　　1.2.2   评估及实施方法   360度评估的住院医师参评部分全部采用网络化问卷，通过培训基地教学公众号、住院医师的班组架构及讨论组等渠道，每月在各年资住院医师中发放评估问卷。发放时间为每月底5个工作日至次月初5个工作日，共计10个工作日。每位轮转住院医师均需对所在科室的教学活动、带教情况、完成的病种技能等方面逐一进行评价。

　　1.2.3   问卷质量控制   质量控制主要包括3方面：前期控制、中期控制和后期控制。前期控制主要体现在问卷设计方面，为了有效控制评估质量，我们在“浙一教学”微信公众号推文中添加评估问卷的链接，并将评估的基本要求和说明在推文中加以详细阐述，以减少住院医师在评估时的困惑。中期控制主要采用网络化问卷中的强制填写和逻辑跳转等功能，确保必要信息的有效填写率和评估效率。后期控制则由2名教学专职管理人员配合完成，控制内容包括住院医师工号、姓名、轮转科室的匹配情况；带教老师工号、人事科室及所属教学专业基地及科室的匹配情况；住院医师及带教老师的带教对应关系的匹配情况；重复值、空缺值处理；极低值确认及处理。

　　1.2.4   数据处理及统计学方法   处理后的数据根据评估内容分为5部分，先通过计算各部分评分，计算方法如下：某部分平均得分＝该部分各项得分/实际项目数，整体平均分＝各项得分/实际项目数。所有数据处理后统一导入SPSS 20.0进行统计学分析。

　　2   结  果

　　2.1   核心能力框架

　　本院360度评估的核心能力框架主体借鉴了美国ACGME对于住院医师的核心能力的定义，即：患者照顾、医学知识、专业素养、以系统为基础的实践、以实践为基础的学习和提高、人际关系与沟通技巧。结合医院人才培养的实际情况，最终总结出本院的核心能力框架为临床诊疗、沟通能力、团队合作、领导能力、教学科研、专业精神，并以此为依据进行360度评估问卷的编制。

　　2.2   评估总体情况

　　本院360度评估问卷中住院医师评估部分共23项问题，其中量表题型共17题。2016年1月至2017年9月期间共收到有效问卷9 531份，平均每月收到454份问卷（月度问卷回收数量区间[239，705]）。参与对象主要为2015级住院医师，2016年10月开始，评估对象为所有在院住院医师。问卷信效度分析结果显示：克朗巴哈信度系数（Cronbach's α）为0.975，KMO值为0.967。住院医师评估的总体评分均值为4.70分，标准差0.481，偏度为-2.29，峰度为7.384，评估平均耗时193.84秒（193.84±403.56）。

　　2.3   专业基地360度评估结果

　　2016年1月至2017年9月的360度评估结果显示：住院医师对医院培训工作整体满意度稳中有升，除2016年2月有较明显下降外，至2016年11月期间，满意度情况上升明显，后期保持较平稳趋势，见图1。

　　2016年1月至2017年9月期间，住院医师对培训基地层面整体评分为（4.70±0.48）。对各项指标进行分析后发现，住院医师评价最高的为带教师资部分（4.78±0.44），其次为科室教学活动（4.76±0.47），而评价最低的为科室重视度部分（4.65±0.61），其次为病种技能完成率（4.66±0.58）。

　　各个专业基地的评估结果显示：不同容量的专业基地各个月之间评估结果相差较大。内科、外科等大容量专业基地的评估评分总体在4.37至4.77之间，相差幅度不大。外科专业基地的满意度在2016年5月至2016年11月期间有较明显的提升，而内科专业基地工作整体趋于平稳，见图2；皮肤科、全科、耳鼻咽喉科等小容量专业基地的评估评分总体在4.18至5.00之间，差幅较大，其中全科专业基地的评估结果振幅最为明显，见图3。

　　2.4   带教师资360度评估结果

　　对360度评估结果中住院医师对师资带教部分的评分进行分析发现，虽然对带教师资整体评价较高，并且认为带教师资的整体教学能力较高（4.81±0.44），但不同评估项目之间仍存在差距，见图4。其中住院医师普遍认为带教师资在及时审核自己培训日志上仍有待加强（4.76±0.49），其次在医疗文书书写情况的指导和修改上也需要进一步改善（4.77±0.47）。

　　在处理住院医师对带教师资评估结果的过程中，我们发现个别带教老师的评估结果中存在极低值的情况，见图5。如WXL老师在2016年1月至2017年9月期间，住院医师对其整体评价较好，平均分为4.51，而在2016年6月出现了一个极低值（2.08分）。

　　3   讨  论

　　3.1   360度评估的效力和适用范围

　　本院360度评估问卷的信效度均高于0.9，提示问卷信度和结构效度较好，具有较高的可信度和效度。Norcini JJ等认为，影响360度评估的4要素包括360度测评的组织是有序且有效的、评价的来源是可信的、量表的内容是结构化的、反馈结果中包含统计数据和简短的评论。虽然我们在开展360度评估前对住院医师的核心能力进行了较为全面的定义，但在量表制订的过程中发现，当所有核心能力通过360度评估的结果来反馈时，其结果和效力不理想，尤其是在反馈住院医师理论、技能、科研水平等部分核心能力方面。这一结果在住院医师评估轮转科室及带教老师教学情况时同样存在，因此最终纳入本院360度评估住院医师评价部分量表的项目数仅23项，且内容主要涉及科室教学活动、带教人员安排等方面的组织与否和满意程度，而相对客观的指标，如出科考试通过率、教学活动的安排频率及质量等指标则未纳入评估量表，这一发现与Epstein RM等的研究结果一致。

　　3.2   360度评估结果在基地管理中的作用

　　住院医师规范化培训的质量一直是各个培训基地关注的重点，而住院医师则是培训质量的直接反馈者。本院的360度评估工作通过“评估-反馈-提升”的方式定期反馈给专业基地，同时通过横向与纵向的数据对比，使各专业基地的培训工作有了较大的提升。以本院外科基地为例，2016年初外科基地管理体系尚未成熟，住院医师反映部分外科带教老师带教意识不强、实际操作机会不多，得到反馈后外科基地通过自查发现原因主要有两方面：一方面外科临床工作量较大，另一方面部分外科带教老师对培训大纲不熟悉。因此，外科基地自制了外科住院医师轮转手册，将住院医师轮转期间需要完成的病例病种、临床技能、需要参加的教学活动等根据难度和层次汇编成册，使外科基地培训工作逐渐规范有序，住院医师满意度明显提升。

　　国外也非常重视住院医师在培训质量监控体系中的作用：美国ACGME会选出1名住院医师作为评审代表进行培训基地审核工作；英国住院医师培训强调以工作场所为基础的考核模式（Workplace-Based Assessment，WPBA），其中也强调结合同行评价使评估体系更全面；德国住院医师在每次考核结束后会对授课专家教学内容的实用性和规范性进行评分，以及时发现培训工作中存在的问题并提高教学培训质量。

　　3.3   360度评估结果在师资管理中的作用

　　临床带教师资是住院医师培训质量的关键因素。作为住院医师初入临床的老师，他们的品德、行为和学识直接影响住院医师的培养与成长，而住院医师作为带教师资的“镜子”，也间接反映其自身带教水平。本院360度评估结果显示：虽然大部分住院医师对师资的整体评价较高，但通过逐项对比仍可发现，目前临床带教师资对医疗文书的指导和修改仍不够规范。结合病历检查结果发现，原因有多方面：部分带教老师未接受过规范化培训及正规病历书写指导与修改的培训，因此在带教住院医师时多半是以经验教学为主；部分带教老师临床工作较忙，无法及时指导住院医师修改病历，这些问题与国内不少学者的研究结果类似。

　　对于带教老师评价中出现的极低值处理，我们通过对比多名住院医师对同一位带教老师的评价结果，并对带教老师和该住院医师进行电话访谈，最终发现该极低值是由于老师对该住院医师过于严格而故意为之。后期，我们除了在教学巡查中要求带教老师调整教学方法外，也与住院医师进行一对一约谈，以尽量避免类似情况再次发生。

　　3.4   住院医师360度评估实施建议

　　通过近两年的探索，我们认为住院医师360度评估可以通过以下几步来实施：（1）顶层设计，制订适合本培训基地实际情况的360度评估体系及制度。建议依托培训质量评估组一类的管理小组定期讨论评估相关事宜。（2）规范流程，建立360度评估运行架构。组成由培训基地教学管理部门牵头、以专业基地主导的自上而下的住院医师360度评估运行架构，保证360度评估的顺利开展。（3）“他山之石，可以攻玉”，可参考国内外针对住院医师开展的360度评估内容，兼顾问卷的信效度与时间效益，形成针对本培训基地培训目标的360度评估标准。（4）积极反馈，形成良好评估氛围。住院医师360度评估的结果建议每月反馈1次（考虑到反馈的有效性，建议反馈间隔最长不超过1个季度），使住院医师了解其在接受规范化培训时存在的不足，并在后期培训中及时纠正以进一步提高核心能力。另外，培训基地可结合住院医师满意度评估结果，即住院医师对带教老师、轮转科室及专业基地等的满意度结果，对所在基地的教学管理室和人员进行能力评估，以达到全面优化本基地住院医师教学质量的目的。

　　3.5   课题研究的不足

　　本课题中的量表虽然信效度理想，但存在总体评分过高、区分度不大的问题，待后期进一步完善。同时，借助第三方网络化问卷平台进行问卷的发放，对数据回收的保障存在一定问题，需要结合医院教学信息化、住院医师绩效等进一步优化评估系统。

　　陈蓬来，冯雪颖，姜晓莹，俞鸿雁，蒋国平

　　浙江大学医学院附属第一医院

　　转自毕业后医学教育微信，原文刊发于《中国毕业后医学教育》杂志