欧盟多维评价体系(UMultirank)在大学排行的争议声中应运而生，但作为一种创新的理念，它对中国民办高职培训学校的评价具有较强的借鉴价值。将多维大学评价理念引入民办高职培训学校这类特殊的学校群体，在构建指标体系时，要充分考虑中国的实情，并立足于民办高职培训学校发展的现状，尽量解决指标的适应性、数据的权威性和结果的导向性等问题。本研究从五个维度研制了民办高职培训学校多维评价的指标体系，即：办学规范维度，教育资源维度，教与学维度， 产教结合维度，学生评价维度。依据5个一级指标，24个二级指标对上海地区12所民办高职培训学校进行测试。其结果表明，在维度与指标的可行性、可操作性方面，民办高职培训学校多维评价体系取得了一些成效;考虑到民办高职的多重功能和不同利益相关方，有效地避免了传统综合排名所引进的不必要的“声誉竞争”;考虑到民办高职培训学校的发展实际，顺应了民办高等教育的发展思路。由于方便用户(学校、政府、学生及社会)的比较，柱形图形式清晰地展示了学校的优势和“短板”，避免了传统综合评价排序模糊笼统的单一结果。
民办高职培训学校是改革开放后中国高等教育领域出现的一种新的院校类型，是教育规律与市场规律有机结合的产物，已经成为中国高等教育的重要组成部分。截至2016年5月30日，全国共有2 595所普通高校，其中民办高职高专院校317所，虽然后者仅占前者的12%左右，但它已经占据当年734所民办高校(含独立学院)的近“半壁江山”。在这种意义上而言，民办高职培训学校的发展水平就代表了民办高校发展的水平。对于这样一个相对庞大的院校群体，究竟该如何科学、准确地评价?如何最大程度地反映它们的真实办学状况?这些问题既是教育评价基本理论问题也是管理者必须面临的实践难题。本文试图借鉴欧盟多维评价的理念就此展开初步探索。
一、多维评价的基本假设、指标体系和呈现方式
目前，对大学办学水平或运行状况进行科学评价尽管尚有诸多争议，但已成为大趋势。这表明，一方面对大学评价的质疑并不是说要完全排斥大学评价，另一方面现有大学评价的确存在需要完善的地方。联合国教科文组织、经济合作与发展组织以及世界银行都曾指出：要使大学评价更加科学、更具有公信力，应该将注意力更多地转移到如何使排名方法变得清楚可靠上来。2008年，作为一个区域性的政治组织——欧盟委员会正式对外宣称，要研制新的大学评价方法，“致力于开发一个全新的、立足全球的、有利于提高高等教育质量与科研系统透明度的工具。”在此背景下，多维评价(UMultirank)理念应运而生。
1.多维评价的基本假设
大学是一个具有多样化特征的院校群体，排名要兼顾不同院校群体的本质。在欧盟组织者看来，“对大学排名的普遍批评之一在于这种给出单一位序的原排名系统在识别院校不同使命和类型上的失败，其忽略了大学系统的整体功能和院校使命的多样性。大学的质量不应该用统一的标准去衡量，大学的面貌不应该是同一种状态，大学系统应该是多样和谐的整体。”因此，评价要充分体现不同类型的院校承担不同的责任与使命这个基本前提。
排名应该要加以综合考虑大学的多项职能，而不能关注某一方面的职能。“现有的大学排名体系更多地关注大学的科研水平，尤其是‘硬科学’方面的研究水平，而忽略了大学在社会科学、教学以及地区参与等其他方面的表现，而“优秀的评价标准不应该是单一和绝对的，在科研、教学、社会服务等方方面面的表现都应该被平等地重视，要从多个维度定义‘优秀’。”
评价既要关注大学的最后产出情况，也要关注大学投入以及对过程的管理。在考量大学既定目标实现程度的同时，也要检验其办学的绩效。“多维评价以院校的‘目标契合度’为理念评价院校的绩效，强调根据不同类型的高校所设定的不同目标来评价院校的目标情况，即根据高校‘做了什么’来评价高校‘做的如何’。”
对大学的评价要有明确的目标群体，要充分考虑到各方的利益。评价要真正为用户所用(包括预期使用者和潜在使用者)，而不是研究者的“自娱自乐”行为。多维评价是“一个创造个性化排名的新工具，它将引导整个大学排名系统的‘(DIY)’转向。”
在这个意义上来说，多维评价的“多”也体现在以下几个方面：一是关注的院校群体多，而不再仅仅是那些高水平的研究型大学，特色化多样性的高校也可以加入其中;二是关注的职能多，除了容易量化的科研水平，也包括了人才培养、社会服务以及国际化等方面;三是参与评价主体多。大学不再是评价的被动者，政府、学生、企业等都能成为评价的主体;四是评价的类型多。除了可以进行同类院校的比较分析外，还有学科专业等领域的评价。五是评价的侧面多，即不仅仅关注大学的最后产物，也应是基于目标的达成度和目标实现的绩效。
2.多维评价的指标体系
多维评价的主要目的是提供方便、透明和可比较的大学信息，以便学生、教师、家长等利益相关方能了解大学在各领域的表现，帮助他们做出选择，同时也帮助各机构更好地定位自己，提高教学质量与绩效。在上述假设的基础上，形成了一个全球多维大学排名的概念框架，如表1所示。
根据上述概念框架，欧盟组织者从院校总体发展和专业发展两个层面(前者主要考察大学的整体发展水平，后者则关注具体学科实力)五个维度(教与学、科学研究、知识转化、国际导向和区域参与)构建了评价指标体系，其中教与学维度包括14个指标、科学研究维度包括9个指标、知识转化维度包括7个指标、国际导向维度包括8个指标、区域参与包括5个指标。这样就形成了一个多重维度、内涵丰富的指标体系，如表2所示。
3.多维评价的呈现方式
在评价结果的呈现方式上，欧盟利用现代先进技术手段，开发了一个专门的门户网站，供各参与大学提供数据，获得评价信息。在学校整体发展状态方面，受太阳光线的启发，开创性地用太阳图(UMaps)的方式呈现与样本院校之间的比较结果，通过线条的长短来找出该机构在五个维度方面的优劣，可以使大学能更清楚地发现自己的优势和短板，如图1所示。借用红绿灯的原理，用不同颜色代表该机构在指标中的绩效，而不是生硬的绝对排名，绿色代表优秀，黄色代表中等，红色则代表较差，如图2所示。
二、民办高职培训学校多维评价的现实意义
在社会不断进步的大背景下，事物的构成变得日益复杂。因此，要准确把握和认识事物的本质，需要从不同角度或者若干个角度来审视，原来仅从某一个角度来评判的传统做法越来越行不通。唯其如此，方能更全面地展现事物本来的面貌。作为一种特殊的院校群体，民办高职培训学校自改革开放后重新恢复发展，至今已有三十余年。在这期间，许多民办高职培训学校充分利用体制外的优势，在教育学方面开展了卓有成效的改革探索，形成了鲜明的办学特色，取得了良好的社会效益，为国家经济社会发展提供了大量的高质量人才。然而客观地说，“民办高职培训学校是在一个强大的公立高等教育系统环境中萌芽和发展起来的，一直在夹缝中求生存和发展。”无论是政府还是民间依然对民办高职培训学校存在认识不到位、举措有缺位的现象。客观公正的评价就是典型例子。
自21世纪以来，对高职培训学校的评价，政府管理部门和社会民间机构都从不同路径展开了有益的探索。一方面，政府管理部门通过人才培养工作水平评估的方法，强化了对高职高专院校的评价。如，2003年教育部发布了《关于开展高职高专院校人才培养工作水平评估试点工作的通知》，2005年和2008年又分别颁布《关于进一步推进高职高专院校人才培养工作水平评估的若干意见》和《关于印发高等职业院校人才培养工作评估方案的通知》。另一方面，社会民间机构也逐步提高了对民办高校的关注度，推出了各种形式的排行，如，2011年网大公布了中国民办大学排行榜，2013年，中国校友会网对国内民办大学进行了排名，此后又推出了民办高校最佳专业排行榜。
上述种种评价对引导民办高职培训学校健康持续发展起到了较大的外部监督作用，然而，对民办高职培训学校而言，所有这些评价都不可避免地遭遇了指标适用的质疑，既有的评价指标许多都是延续了对本科院校的评价标准，未能体现民办高职培训学校的特点。对此问题，中国高等教育界前辈潘懋元教授早在21世纪初就指出：“鉴于以传统大学为依据所制定的评估指标体系，无法规范大多数新办的高职高专，教育主管部门所以允许为高职高专另立指标体系，正在试行与逐步推广中。同样，以公立高校为依据所制定的评估指标体系来规范民办院校，不符合民办院校的现状，也难于起以评促改、促建的作用。因此，急需制定一套切合当前民办高等院校的特点与实际情况，能对民办院校起鼓励、促进作用的评估指标体系。”[8]2015年5月，教育部印发《关于深入推进教育管办评分离 促增政府职能转变的若干意见》，明确提出要“健全多元评价标准，积极采用现代化评价方法和技术，保证教育评价的科学性、规范性、独立性，切实发挥教育评价的诊断、导向和激励作用。”在此背景下，积极引入欧盟多维评价理念，开发具有中国特色的又能体现民办高职教育规律的评价指标体系，不仅可以完善现有评价体系，引导民办高职培训学校办出特色、办出水平，而且还能有效落实管办评分离的法治精神，也有助于提高民办高职培训学校办学绩效和社会认可度，从而为民办高等教育的持续健康发展创造良好的社会竞争环境。
三、民办高职培训学校多维评价指标体系构建
1.多维评价理念的适用性
作为一种比较高等学校绩效的全新工具，欧盟多维大学评价结果避免了以往“XX大学是世界最好的大学”的出现，能够满足不同的利益相关方对高等学校不同形式绩效的关注，保证了高等教育的多样性，不设权重，增加了评价透明度，既可以比较各大学的特征，也可以比较学校各学科专业，如客户需要时还可对各个国家进行比较。虽然也有学者认为“欧盟多维大学评价很难突破现有的排名局限，且面临着向欧洲以外国家推广和应用的挑战。”，但是欧盟多维大学评价经验还有许多值得借鉴之处，为创新中国民办高职培训学校评价模式提供了新的思维方式与实验空间。
在民办高职培训学校开展多维评价，并不违背欧盟多维评价理念，并与其基本假设也比较一致。首先，民办高职培训学校是中国高等教育生态系统中的一种类型，而且同样具有人才培养、科学研究和社会服务等基本功能，这契合了多维评价的开放理念和对高校类型多样性的关注。其次，民办高职培训学校是通过吸引社会民间资本来创办的，更强调市场的导向，在办学过程中，相比公办高校而言，更加注重办学的绩效，更加注重投入-产出关系的协调。再次，民办高职培训学校在办学过程中涉及诸多利益相关方，尤其是在生源的进出口环节，因此，更强调学生作为消费者的权利、家长的选择权以及雇主即用人单位的评价，从这个角度而言，也符合多维评价的用户导向原则。
2.民办高职培训学校多维评价的基本原则
大学评价结果的合理性和准确性在很大程度上取决于其评价指标体系是否合理、严谨。将多维大学评价理念引入中国且要用于民办高职培训学校这类特殊的学校群体，需要有一个消化、吸收再创新的过程。因此，在指标体系构建时，要考虑中国的实情，立足于民办高职培训学校发展的现状，尽量解决指标的适应性、数据的权威性和结果的导向性等问题。
首先，要充分展现民办高职培训学校的特殊性。与其他院校相比，民办高职培训学校的特殊性体现在“民办”和“高职”两个关键词上。所谓“民办”就是要考虑到这类院校的体制机制优势，包括可以利用的社会资源和筹资能力。此外，站在政府的立场，还要将办学是否规范、是否合法加以统筹考虑。所谓“高职”，除了办学层次类型以外，更多地要考虑到这类院校人才培养模式的特殊性，即工学交替、产学合作、半工半读等，注重学生实践操作能力的培养。
其次，要充分考虑数据来源的权威性。国内一些有关民办高校的排行榜之所以受到广泛质疑，主要原因还是在于其数据的来源性缺乏权威，缺乏透明度。欧盟多维大学评价主要依靠各参与学校自觉如实填报。这是一条经实践证明可行的路径。除此以外，在设计指标体系时，还要充分利用政府开设的各种平台数据，比如高等职业院校人才培养工作状态数据库采集平台。这是一个受到公认的数据平台，由此得到的数据具有较强的公信力。
最后，要充分考虑评价的导向性。评价的最终结果不是营造一种“声誉竞赛”的气氛，而是要引导学校明确办学定位，鼓励学校办出特色，办出水平，尤其是要引导学校关注现阶段发展遇到的主要问题，找出与其他学校之间存在的差距，转而更加注重内涵建设。
3.民办高职培训学校多维评价的指标体系
根据《柏林原则》，我们课题组广泛征求学校与政府主管部门等主要利益相关方对于维度和指标的意见及建议，实地走访多所民办高职培训学校，多次召开校长、专家座谈会，征求了教育行政部门相关处室负责同志意见。针对指标的有效性、信息数据的可靠性以及对于使用维度与指标的可行性进行方法分析，例如，数据可用性、概念清晰度以及数据一致性，我们采用层次分析法，对指标体系进行了完善和调整，保证其科学性和可靠性，同时先在上海市四所民办高职培训学校中展开了测试，剔除了不合适、不可用的指标。
通过上述程序，我们根据民办高职培训学校的特点设计了五个维度：
办学规范维度。虽然经过多年恢复发展，民办高职培训学校办学日益规范，但从政府管理层面看，还有许多地方有待进一步完善。我们将办学规范单列为一个维度，以体现“民办”的特殊内涵。办学规范主要涉及基本办学条件是否达标、法人治理结构是否完善、资产财务与管理是否规范、党团学生工作与治校情况是否正常以及是否通过年检等五个方面。
教育资源维度。教育资源缺乏向来是民办高职培训学校发展中的一个软肋，也是制约民办高职培训学校办出特色、办出水平的一个制约因素。教育资源丰富的民办高职培训学校，往往其办学水平都会比较高，这是民办教育规律的体现。而教育资源又常常体现在人、财、物等方面，对民办高职培训学校而言，人与经费又是最重要的两个关键要素。因此，在指标设计时，我们侧重从生师比、专任教师结构、专职骨干教师、“双师型”教师比重、教育投入以及生均经费等六个方面来考察。
教与学维度。培养人才离不开教师的教与学生的学。教学是民办高职培训学校的中心工作，只有两者实现“教学相长”的良性循环，才能说明教学质量有所提高。而检验的标准又往往通过专业设置是否有特色、教学改革与研究的水平高低、师生境外学习的机会多少、学生学业竞赛成果的等次和教学科研水平能力强弱等五个方面最为重要。
产教结合维度。在欧盟多维大学评价指标体系中，这个维度与科研维度的关系非常紧密，没有相应的科研能力，就很难做到知识的有效转移。考虑到民办高职培训学校更强调与企业、产业之间的技术合作等因素，因此，设立产教融合维度，并通过产教融合人才培养情况、企业服务情况、教师挂职情况和区域收入情况来体现。
学生评价维度。从商业经济学的角度理解，学生是民办高职培训学校的重要客户，他们对学校的评价一定程度上反映了民办高职培训学校办学水平的真实性，同时也间接地影响到民办高职培训学校的招生和社会声誉。在强调突出以生为本的大环境下，特别增加学生评价维度，以契合欧盟多维大学评价的用户导向理念。可以从生源状况、毕业生学校满意度评价、毕业生就业质量评价和毕业生就业状况等四个方面加以体现。如此，就大致形成了一个5个一级指标(维度)、24个二级指标的体系，如表3所示。
四、民办高职培训学校多维评价的实践探索
1.试测基本情况
根据上述指标体系，我们对上海地区12所民办高职培训学校进行测试，测试的数据主要有三个来源：一是民办高校每年提交的年检报告;二是高职培训学校人才培养工作数据采集平台;三是直接开展毕业生问卷调查获得的数据。实测方式首先采取学校在各指标上的原始数据，由指标体系设计的统计口径和公式得到相应指标的分值，并作标准化处理(各校指标分除以该项指标的最大分值，均转化为01之间的标准分)。按多维评价的原则，实测结果不按标准分进行排序，而是按标准分分值区分为A、B、C、D、E等5个等级(为便于进一步的比较，对5个维度的总分作了排序参考)。其中：A，得分最高者;B，得分≥校际平均得分值的10%;C，得分在校际平均分值的±10%之间;D，得分≤校际平均得分值的10%;E，得分最低者。实测结果如表4所示。考虑到评价结果的影响，本文暂以数字代表具体学校名称。
2.试测结果分析
测试结果表明，民办高职培训学校都在办学的某个方面具有优势，比如，第1所学校的办学最规范，第11所学校的教育资源最丰富，第4所学校的教与学最有特色，第6所学校的产教结合最紧密，学生的认可度也最好，学生评价得分最高，同时发现，这些民办高职培训学校也存在诸多不足之处。
其一，民办高职培训学校办学规范性还有待加强。除第1所学校外，绝大多数民办高职培训学校在办学规范方面的表现不好，第5所学校除了在法人治理结构方面勉强符合要求外，在其余四个指标即基本情况、党团学生工作与治校情况、基本办学条件以及资产与财务管理等方面表现都不理想，令人堪忧。
其二，民办高职培训学校的教育资源还不够充足。第1所学校的“双师型”教师比重不达标;第2所学校的教师总数不够，生师比偏高;第3所学校专职骨干教师数偏少;第6所学校的专任老师结构不合理，年龄偏大，职称偏低;第7所学校的教育投入严重不足;第9所学校的生均经费存在缺口。
其三，民办高职培训学校的教与学特色不够鲜明。第1所学校在教学与改革研究方面，第3所学校在教师教研成果方面和第5所学校在学生学业竞赛结果方面均表现欠佳。
其四，民办高职培训学校的产教结合还不够紧密。尤其是表现在企业服务方面，有4所院校得分最低。同时，第4所学校在区域收入方面，第5所学校在产教结合培养人才方面和第10所学校在教师挂职方面都需要有长足的提升。
其五，民办高职培训学校的学生认同度还不够高。主要表现在生源及招生、毕业生就业以及毕业生就业质量、毕业生对学校满意度评价等方面。
因此，总体测试结果贴近欧盟多维大学评价的做法。为了有更直观的体现，我们借用欧盟UMap的做法，挑选四所具有代表性的院校在上述表格的基础上形成了一个类似UMap的柱状图。在这四所院校中，第2所学校整体综合水平较高，尤其是在“毕业生就业状况”和“教育投入”两个指标上表现突出，但“教师挂职”和“教学改革与研究”是该校的两块短板。第5所学校在“专业设置特色”和“生源与招生状况”这两个指标上表现最佳，但在师生境外学习、办学基本情况等方面得分不高。第9所学校尽管在五个维度上均没有明显的短板，但也没有表现十分抢眼的地方。第12所学校的亮点在于“企业服务”和“毕业生就业质量”较高，但“专任专职骨干教师”和“学生学业竞赛成果”是学校未来发展过程中需要加强的地方，如图3图6所示。
图3第2所学校多维评价图图4第5所学校多维评价图图5第9所学校多维评价图图6第12所学校多维评价图注：红色代表办学规范维度;黄色代表教育资源维度;绿色代表教与学维度;蓝色代表产教结合维度;紫色代表学生评价维度。黑点代表12所院校的平均值。图4、图5、图6同。3.试测难点概括
总体而言，开展民办高职培训学校的多维评价是变革目前单一的高等教育评估体制、突破以公办本科高校为主的排名的一种尝试。试测的结果表明，在维度与指标的可行性、可操作性方面，民办高职多维评价体系取得了一些成效：一是采用多维度评价模式，关注到民办高职的多重功能和不同利益相关方的不同关切，有效地避免了传统综合排名所引进的不必要的声誉竞争。二是指标体系的设计顺应了民办教育的发展思路，关注到民办高职培训学校的发展实际。“办学规范”、“产教结合”维度凸显了民办高职培训学校的重要发展导向;“教育资源”和“学生评价”可反映学校的发展底蕴和实力;“教与学”则反映高职培训学校职能履行情况。三是便于用户(学校、政府、学生及社会)的比较。从5个维度、24个指标以柱形图清晰地展示学校的长处优势和“短板”不足，避免了传统综合评价排序模糊笼统的单一结果。
在具体研究实施过程中，我们遇到了以下一些实践难点：
第一，数据的可获得性与准确性。虽然评价指标体系经过专题研讨和专家论证，基本上体现了民办高职培训学校的办学目标和特点，但支撑这些指标的数据却难以从学校的公开渠道获得。即使通过教育主管部门的数据报表取得一些学校填报的数据，但出于种种主客观的因素，会出现某所学校在某些指标上数据异常而无从核查的现象。作为社会第三方评价，由学校自愿参与并提供相关数据当然是未来发展方向。然而，如何从技术上形成可监测、可证伪的“数据链”，以保证指标数据的信度，这是一个需要加以研究开发的课题。其次是数据的标准化问题。为使各项评价指标可作直观的比较，本次测试采用了相对比较的方法，即以指标水平最高的学校数据为标准分1，其他学校数据折算为0-1的标准分，由此反映各校的指标水平的差异性，但该方法存在两个漏洞：一是如果有学校的数据出现异常，尤其是异常高的话，则该指标上各校的数据均失真;二是这一方法可以帮助学校发现办学指标上的优势与短板所在，但却不能反映所有参与评价的学校的整体水平，尤其是此类学校在某项指标整体水平都比较低的情况下，数据折算后的标准分显示的水平却不低。因此，对学校办学指标建立分类评价的“标准分”，以及各数据水平所对应的分值，是此类评价后续研究的重要内容。
第二，多维评价着重于对学校办学若干方面的差异性比较，要给出综合评价，尚待指标体系中各类指标的权重分配研究。但综合评价中如何体现学校的特点，从而鼓励学校特色发展，倘若在指标体系中列入“特色”指标，该指标的数据如何采信，又如何作出可比较的评价，又是一难题，而这也是目前各类院校评价的共性问题。
(注：文中12所测评的民办高职培训学校是：上海济光职业技术学院、上海思博职业技术学院、上海立达职业技术学院、上海新侨职业技术学院、上海东海职业技术学院、上海电影艺术职业学院、上海民远职业技术学院、上海震旦职业学院、上海中桥职业技术学院、上海欧华职业技术学院、上海工商外国语职业学院、上海邦德职业技术学院。)