文／林劭仁．國立臺北藝術大學藝術與人文教育研究所教授兼文化資源學院院長、高等教育評鑑中心兼任研究員
　　廖鈺容．高等教育評鑑中心專案專員

第二週期大學校務評鑑的實地訪評工作已於107年底完成，本週期共有85所大專校院接受高教評鑑中心的訪評作業，並於第二天實地訪評結束當日請學校協助填寫「受評單位對實地訪評小組意見調查問卷」。問卷共有11題，前9題為「同意度」的調查，採李克特五點量表方式填答（1為最低、5為最高）；最後2題為開放式問答題，其中1題為對此次校務評鑑的意見，另1題為對下一週期評鑑規劃與設計的意見，希望經由量化與質化資料的蒐集，了解受評學校對訪評小組、本週期評鑑及下一週期評鑑的想法與建議。

問卷發放以每校各9份（分校發4份）為原則，受訪人員依身分別分成一級行政單位主管、一級學術單位主管、教師、行政人員等四類。綜合二個年度的回收後有效樣本共791份，樣本分布如表一。以下將量化數據與質化意見的分析結果整合探討。

評鑑項目指標的合宜度較低

表二為問卷前9題之同意程度描述統計摘要，包含各項目之平均數、標準差及整體排序。從表二中可看出排序與106年的調查結果相當一致（林劭仁、許耀宇，2018），大多數受測對象對於流程安排、實地訪評小組及品保專員或助理在訪評期間的行為滿意程度良好，平均同意度達4.66。Q2「校務評鑑四大評鑑項目及14項指標內容設計規劃合宜」之滿意度最低，平均數排序敬陪末座，僅有4.46，顯示相較其他題項，受訪者對評鑑項目與指標規劃的同意程度較低。

若參酌開放性題項的回饋意見，也發現不少質性意見和評鑑項目指標有關，包括：

．評鑑要能尊重學校特色發展，避免以齊一式的標準檢視
．建議評鑑項目指標可針對各大學發展「特色」、「目標」及「規模」做適當的調整
．14項指標必須更加明確定義，AACSB及EQUIS都有一本明確手冊
．項目與指標可以再簡化

此週期評鑑項目由原先第一週期的五大項減為四大項，評鑑指標由48個降低成14個，雖然指標數因整合而變少，但可能增加資料準備及文字組織撰寫上的難度，原本高教評鑑中心的設計是期待評鑑指標精簡可減輕學校準備的負擔，並且因「大指標」而讓學校能有更多自主說明的空間以利特色的彰顯，但效果似乎並不明顯。此結果也促使高教評鑑中心必須更認真思考下一週期採用「分類評鑑」的概念，不僅在評鑑項目指標上，也同時對不同型態學校與特色做出更適合實務需求的設計。

實地訪評小組組成與人數仍有改善空間

從表二中也可看出題項平均數最高者為Q6「實地訪評小組能全程參與評鑑行程且克盡職責」（4.80），其次為Q7「實地訪評小組在實地訪評期間之行為（包括態度、口語或肢體動作等）妥適合宜」（4.77），顯示訪評委員在訪評過程的行為獲得受訪者較高之認同。

不過，問卷中同意度排序次低的題項依序為Q3「實地訪評小組成員之組成適切，能勝任實地訪評任務」（4.57），與Q4「實地訪評小組之人數合宜，符合受評學校之規模」（4.58），顯示實地訪評小組雖能夠認真負責並尊重受評學校，但對小組成員組成與人數同意度相對較低。若再與開放性意見進行比對，回饋意見包括：

．……宗教研修學院屬性特殊，評鑑委員若無相關背景或經驗，會較具挑戰。
．本校教育體系與一般大學和技職校院截然不同……，委員是否具有……等相關背景，會有很大關聯。
．依學校屬性不同，在評鑑指標及評鑑人員安排宜有不同考量。
．本校某些領域仍須由相關專業學者來訪評，方有最佳效果。

顯示有些受訪人員認為部分評鑑委員的專業背景和學校屬性並不一致，可能影響判斷的精確性。而在訪評小組人數上，高教評鑑中心雖有依學校規模安排不同數量的評鑑委員，從小型學校的5人至大型學校的15人，不過可能因學校要安排訪談、座談、參訪等流程，在空間及行政人力上還是有所負擔。訪評小組的專業性一直是高教評鑑中心關注的重點，故會持續檢討訪評小組專業性及最適合人數的議題。

不同背景變項同意度之差異情形

將「身分別」、「項目通過情形」、「學校類型」作為背景變項，考驗在各題項同意度的差異情形，變異數分析之F值達統計顯著，則採用Scheffe法進行事後檢定；但考量母群體變異數可能不同值，若題項之變異數同質性達顯著差異，將採用Welch統計量進行檢定，若達顯著水準，再使用Games-Howell進行事後比較。

（一）學校行政人員的同意度相對最低

表三為不同身分別變異數分析結果，整體而言，除Q3、Q5未達顯著水準外，其餘題項均達統計顯著，一級主管（含行政與學術）同意度普遍較高，行政人員則最低。

在達顯著水準的題項中，行政人員的同意度都最低，這可能是因為一級行政及學術主管為學校管理階層，在校務評鑑準備上主要是做方向引導與決策，而行政人員則需承擔較多的資料準備等行政瑣事，也必須在高教評鑑中心的要求及催促下完成工作，校務評鑑增加其不少壓力與工作量，故呈現較低的同意度。此外，未兼行政職務之教師在Q7、Q8的同意度較高，則可能是因為在接受訪談的過程中，對於評鑑委員及品保專員們的詢問或溝通上感受良好，對其專業態度感到滿意。校務評鑑本來就是辛苦的工作，也提醒大學在日常即需做好內部品質保證與資料整備，高教評鑑中心目前也正發展如何利用日常性資訊及大型資料庫來存取與分析資料的可行性，希望由高教評鑑中心提供校務評鑑有用的訊息，降低學校準備一次性或總結性評鑑的行政作業負擔。

（二）評鑑項目未全數通過學校的同意度較低

為了解學校評鑑項目的通過情形是否會造成對各項目內容看法上的差異，故將85所受評校院進行2種分類，學校的評鑑結果若四項均通過，則歸類為「通過」；若評鑑結果至少有一項為「有條件通過」，則歸類為「未全數通過」；樣本分布如表四。

表五為不同評鑑結果與各題項進行獨立樣本t檢定之摘要，可發現各題項中全數通過學校的同意度都較未全數通過學校高，其中Q2、Q3、Q4及Q5均達顯數差異。由於Q2至Q5主要是關於評鑑項目指標及評鑑委員組成之相關內容，是屬於校務評鑑通過與否的關鍵項目，而未全數通過之學校，有不少屬於新設立、規模較小，及宗教、空大、軍警等特殊校院，在質化意見中也對此些關鍵項目提出不少意見，對照量化結果同意度也相對較低。

（三）特殊校院對評鑑項目與指標的同意度較低

接著探討不同學校類型對問卷各題項看法之差異，將85所受評校院分成3類，分別為「國立大學」、「私立大學」與「特殊校院」，特殊校院主要是軍警校院、宗教學校及空中大學三類，其樣本分布如表六。

表七為不同學校類型在各題項平均數的差異，僅有Q2達顯著水準，其餘題項均未達統計顯著，再以Games-Howell法進行事後比較，發現此題私立學校的同意度顯著高於特殊校院。由於Q2為評鑑項目與指標的合宜性，顯示軍警校院、宗教學校及空中大學等特殊校院，對於評鑑項目與指標的合宜性同意度最低。此結果與先前項目通過情形的結果頗為一致。

（四）開放性意見歸納結果

在問卷開放題項中，對評鑑給予肯定、鼓勵、批評與建議的意見皆有，經整理出101個意見可歸納為4種類型，各類型次數與所占比例如表八。

「評鑑內容與項目」類係整體意見中比例最高之部分，約占37.62%，主要為學校對評鑑內容、設計與項目的相關意見，如前述「評鑑要能尊重學校特色發展，避免以齊一式的標準檢視」等。其次是關於訪評時的「時程與時間」，約占23.62%，包括訪評各階段時間安排上的意見。例如：「分組座談及參訪時間可更長，以利深入了解學校狀況與困難」、「宜簡化訪視流程」、「訪評最好是一天，重點式評鑑即可」、「參觀學校相關設施行程宜更寬鬆，建議能放寬時程安排以利校方呈現」、「實地訪評待釐清問題，能否給學校有較充裕之時間準備及回應」等。有關「評鑑委員」的意見約占22.77%，包括：「適度增加相關專業領域的評鑑委員」、「評鑑委員組成之性別比例」、「評鑑委員之組成可以更多元」、「建議依校務發展方向、特色遴聘委員」、「建議訪評小組人數可因學校規模適度調整」等。而有關「評鑑運用與後續」的意見，則有「因應少子化的重大變動，校務評鑑應如何發揮功能來協助高教品質維繫」、「評鑑應協助學校的特色能見諸社會，與國際提升高教的實質競爭力」等。

最後歸類為「其他」的意見則包括：「評鑑以不妨害學生上課或學習原則，……建議不要進入課室」、「儘量開放自我評鑑，高教評鑑中心站在指導角色即可」、「受訪老師完全沒被通知，應改進」、「建議成立晤談與問卷之e化資料庫，縮短問卷填答資訊整理、降低成本，提升行政效能」、「可持續維持「資料無紙化」之優良方向，以節約資源」等。

結論

綜觀第二週期校務評鑑問卷調查結果，在評鑑項目與指標、訪評小組成員組成上仍有持續改善的空間。而受評學校也提出不少關於評鑑內容設計與時間流程安排等建議。目前高教評鑑中心已基於這些意見，開始規劃下一週期的校務評鑑，特別在分類型評鑑、評鑑項目與指標、評鑑委員遴選培訓，及資料蒐集與分析上有更深入的討論，將會持續蒐集受評學校及專家意見，作為評鑑制度檢討與改善的參據，希望能讓下一週期之校務評鑑更臻完善。

◎參考文獻

林劭仁、許耀宇(2018)。第二週期大學校務評鑑實地訪評問卷調查結果探析。評鑑雙月刊，73，39-41。