文／林素卿．國立彰化師範大學教育研究所教授
　　邱名謙．雲林縣立雲林國中教師

近十幾年來，評鑑理論和實務有相當多關於文化、脈絡（context）、多元論（pluralism）和包容性（inclusiveness）的討論，因為評鑑學者逐漸意識到幾乎所有情境都受到文化和脈絡因素的影響，亦越來越多的評鑑學者關注被邊緣化族群包容性（inclusion）之重要，如Weiss（1998）所言，方案當事人對方案有很大的影響，特別來自社會被邊緣化族群的當事人，如兒童、患者、貧困人口、移民或嚴重殘疾的人士，他們的觀點對理解方案非常重要，但是評鑑人員卻往往忽略了這些人的觀點。

Chelimsky（1998）在探究價值觀、文化歷史等因素對評鑑研究的啟示後指出，將特定族群融入評鑑中，是確保評鑑在當前政治環境下可以完整且平衡地達成可靠性評鑑的作法。Donna M.Mertens（1999）為因應不斷增加的多元文化壓力，評鑑者在社會變革角色的重新定位，提出包容性評鑑（inclusive evaluation, IE）。IE評鑑的目的在確保方案評鑑於整體背景脈絡下進行，強調族群多元性和包容性，避免偏見或擁護某族群而忽視某族群。評鑑者的主要角色是關注邊緣化族群，挑戰現狀，達到社會的變革，而不是擔任決策者（Christie & Alkin, 2008）。如Weiss（1998）所言，評鑑參與者的身分要更為多元廣泛（包括社會中的邊緣團體），若能將具有不同觀點的人聚集一起，傾聽、理解彼此的想法，將有助於減少弱勢族群被邊緣化，消弭權力不對等關係之現象。

Mertens任教於美國Gallaudet大學教育基礎與研究學系，主要教授研究方法論和方案評鑑，其任教的對象是聾啞的碩博士生。Mertens的研究方法論深受女權主義者、少數族群、殘疾人士、原住民等的權利以及受壓迫問題的影響，研究重點是藉由整合受壓迫的少數族群的觀點來改進研究方法。因此，IE特別關注受壓迫和受歧視的族群，諸如性別、文化、經濟水平、種族、殘疾、性取向、語言或宗教偏好等受到差別待遇之團體（Mertens, 2005）。再者，變革典範（transformative paradigm）提供了IE評鑑工作的基本哲學假設，在方法上類似民主審議評鑑（Deliberative Democratic Evaluation），利用集體審議（deliberation）、包容性（inclusion）和對話（dialogue），作為資料蒐集的主要方法。

核心概念

一、變革典範的信念

IE深受變革典範的影響，認為知識不是中立的，而是受人類利益的影響，所有的知識都反應了社會中權力的關係，而知識建構的主要目的是幫助人們改善社會（Banks,1993）。變革典範基於人權議程（rights agenda），其特徵是重視被邊緣化族群的生活和經歷，提出一個促使不同文化族群投入提升社會正義信念之系統架構。此典範對評鑑而言，其倫理蘊涵（ethical implications）是有意識的包容一般被排除在社會主流之外的廣泛人群，致力於擴展傳統的倫理概念，直接反應在文化性複合的社群（culturally complex communities）之倫理考量，從變革倫理（transformative ethic）的立場來檢驗評鑑的焦點、規劃、實施和應用等議題。

Simons（2006）從二種觀點闡明變革的價值論假設，其一為權利本位論（rights-based theories）：每個人都應該擁有尊嚴和受到尊重，避免傷害他人是人類行為的主要準則；其二是社會正義論（social justice theory）：將權利本位論的概念擴大應用於族群或社會的層級，覺察並賦予社會中弱勢族群聲音優先權或至少同等的重要性，以消弭社會中不平等現象（House, 1993）。

在變革典範的價值論、本體論、認識論等假設的引導下，促使IE評鑑者思考以下問題：在什麼基礎上，界定評鑑倫理的理論和實務？什麼樣的行為才符合倫理或道德？如何定義社會的實體或事實（reality）？此實體或事實由誰界定？誰的實體或所認定的事實擁有特權？如果未經權力差異的批判來分析的實體，對社會正義將產生什麼樣的蘊涵？該透過什麼樣的方法，才能夠真正捕捉和解釋不同族群所覺察到的社會實體？該如何與蒐集資料的人聯繫？是否應該與參與者保持密切聯繫，以便能夠真正了解他們的經驗；或者應該保持與參與者之間的距離，這樣才能保持中立的立場（Mertens, 2007）？

二、覺察倡導的風險，關注被邊緣化族群

House和Howe（1999）指出為了包容被邊緣化族群的觀點，評鑑者需要在受壓迫、受歧視和權力差異等議題上加以奮鬥，並且採取具體的措施，例如避免倡導偏見的立場，無論評鑑的結果如何，都要考慮不同族群的觀點和利益。

Greene（1997）則提出倡導與民主多元主義價值觀的論述。House和Howe（1998）支持評鑑者作為民主、公共利益、公平正義觀念的倡導者。然而，Mertens（2005）則不希望評鑑社群，藉由使用倡導、政治動機、意識型態、本體論等虛無主義的標籤，處理受壓迫、歧視和權力差異等問題，也不希望使用客觀性及中立性等術語，掩飾社會不公平的相關議題。

Mertens（2007）認為在包容性的背景脈絡下，評鑑者有責任為社會帶來變革，有意識地覺察許多族群在日常生活中，所經歷之偏差待遇，挑戰社會不公平的現況，揭露現有社會制度中造成教育不足、貧窮和其他問題的弊病，鼓勵當權者超越「責備受害者」的立場，將批判理論、女權主義、反歧視及多元利害關係人的觀點融入，找出致使受害者缺陷的因素，從社會制度中找到解決問題的方法。

三、擴展方案評鑑標準的內涵，落實社會的變革

方案評鑑標準乃是提供評鑑者指南，作為解釋良好方案的依據。然而基於評鑑的變革功能，Mertens（2007）建議擴展評鑑標準的內涵，增加多元文化和權力等議題，提升對邊緣化群體更大程度的包容性，促使評鑑結果能落實社會的變革。她建議未來的評鑑標準納入以下的議題：

（一）個人特徵或環境對人際互動的影響，例如社會階層、性別、種族、語言、殘疾或性取向等特徵，造成評鑑者、當事人、方案提供者、消費者和其他利害關係人之間互動的影響為何？

（二）有什麼證據顯示評鑑被概念化為變革的催化劑，例如文化團體或次級團體之間權力關係的轉變為何？

（三）評鑑的時間和預算是否足以讓文化敏感度的觀點出現？

（四）就認知、情感和技能方面，評鑑者是否展現了文化素養？評鑑者是否能夠建立積極的人際網絡、概念化和促進文化上一致的變革，並且在評鑑的設計和實施中做出適當的文化假設？

（五）就真實性、客觀性、可信度、有效性和嚴謹性方面，如何堅持客觀性原則，從而解決邊緣化和權力較弱群體的需求？如何包含所有相關族群的觀點？在社會調查事件中，當重要的聲音遺漏時，或可能現實被扭曲或不準確的資料被報導出來，而顯得圖像不完整時，評鑑工作者應該如何加以釐清（Mertens, 2007）？

▲善用評鑑結果，可促使社會轉型之可能性。（杜奕廷／攝）

評鑑設計

一、指導設計選擇的基本原則

IE指導設計選擇的基本原則，是使受評鑑影響的社群成員，在某種程度上參與方案和計劃決策。幾個設計選擇有關的倫理議題，包括回應社區的知覺和參與、關於拒絕治療的倫理議題、研究的參與者分享等。例如涉及拒絕治療、缺乏社群參與決策、缺乏對參與結果的完全知情同意時，特別是涉及使用對照組或安慰劑時，設計選擇將會產生倫理問題。以「拒絕治療」為例，此策略常用於有對照組和實驗組的實驗設計。然而，就變革性解放典範（transformative emancipatory paradigm）的倫理而言，這是值得爭議的問題。IE認為在許多學校和社會服務機構中，進行隨機分配治療或拒絕治療的做法，是不道德的和非法的行為。再者，在某些背景環境中，依賴選擇和隨機分配條件的真實驗設計是不可行的。因此評鑑人員應該避免推薦此類倫理兩難的設計，改採用較有效的現行治療、混合方法、質性方法、時間序列設計，或使用已知的替代治療方法與現存的組別進行比較，或和一個有較大統計基礎的已知區間水準作比較（Mertens,2005）。

二、定義問題的理論架構及評鑑成功的指標

Mertens（2005）指出社會大眾常將失敗歸咎於個人或文化失能（dysfunctional）模式所造成的，例如貧窮市中心或偏遠農村學校兒童的低成就問題，是社會資源不足或文化不利所導致的。包容性理論架構試圖從社會、文化或少數族群的觀點，以性別、種族或民族、殘疾、性取向和其他多元性為基礎，重新界定問題特徵乃出自於差異性並非失能模式所導致的。

IE在變革理論的引導下，從譴責個體或文化問題之不利的觀點，轉移評鑑角度到意識到不同族群文化的差異。差異性被視為優勢、有價值的資源，可用來擴展和豐富評鑑的過程、評鑑發現和影響力（Thomas & Parsons, 2017）。因此，評鑑成功的指標必須涵蓋社區中族群人口的多元性，資料蒐集方法的文化適用性，來建立評鑑成功的指標。

三、樣本的多元性和包容性

包容性的先決條件，是對方案所服務的母群體多元性，具備相當的敏感度，並了解特徵的複雜性以及文化的影響。例如並非所有聾啞的人都是一樣的；並非所有拉丁裔人都是一樣的；並非所有非裔美國人都是一樣的。在這種背景脈絡底下，樣本的選擇必須考量母群體中有哪些重要的差異？如何在不同的族群中分配服務？構成服務分配的價值是什麼（Mertens, 1998）？再者，樣本的包容性必須以多元性為基礎，考慮樣本的性別、種族及與評鑑相關的任何重要的特徵，注意到是否包括來自不同性別、能力、年齡、階級、文化、種族、家庭、收入、語言、種族、殘疾和性取向的人？是否有哪些障礙，使樣本的選擇不具備多元性？是否為不同的群體選擇了適當的資料蒐集策略，包括提供其偏好的溝通模式（Mertens, 2005）？

四、資料蒐集的策略

探究發現母群體複雜性的第一步驟，是評鑑者必須從各個次級團體中，找出獲得真實資料的最佳方法。這可能涉及使用不同的語言或方言，對評鑑者在語言上的專業知識，或運用口譯員的可接受性產生影響，也將明顯地涉及資料蒐集方法的適切性。

例如就某些人而言，對從學校或透過郵件寄到家裡的調查問卷，可能是無法理解的，也可能是一種威脅或無法回應。雖然問卷調查、個別晤談、焦點團體訪談均可作為蒐集資料的方法，但對於地點、時間的選擇、過程的安排等都需要加以考量，例如焦點團體是蒐集資料的最好方法嗎？在學校、教會、或社區中心舉行會談，哪一個地點是最好的呢？會談的時間應該在白天？還是晚上比較妥適呢？會談當天是否應該提供茶點或餐點？需要安排交通工具或兒童照顧的設施嗎？對於前述許多實際運作的問題，評鑑者都必須敏感地、細膩的探究，確定適當的資料蒐集方法，才能蒐集到真實準確的資料（Mertens, 2005）。

五、解決權力差異的問題

在評鑑過程中，評鑑人員常常糾結於不同族群之利害關係人間權力差異的議題。評鑑者的工作必須確保參與者權力差異的問題，不會扭曲評鑑的結果。

Mertens（2005）建議評鑑者可以透過協助權力較小的參與者，參與社會和教育方案的討論來解決權力差異。例如，在評估聾啞和重聽者法院系統的可及性方面，評鑑者除了考慮聾啞人士和重聽者群體偏好之溝通模式外，還必須考慮參與者的多元性，在諮詢委員會代表人員的選擇上必須廣納該社群的意見，及確保成員多樣性的投入，如性別、族裔或種族、語言和法院系統的經驗。

在方法上可以藉由焦點團體訪談或其他方法蒐集資料，在設計介入措施之前，盡可能從邊緣化群體的角度蒐集資訊，解決權力差異問題。在評鑑期間，亦可提供機會讓代表性不足團體的成員，參與資料的蒐集、調查結果的解釋或提供執行成果情況的回饋意見。總言之，在評鑑設計與過程中，評鑑人員盡量藉由邀請最小權力的人參與對話，設法解決權力差異的問題。

IE在方案評鑑上的啟示

包容性評鑑本於變革典範的假設，認為在社會實體中存在多元的觀點，需要將這些觀點置於政治、文化、經濟的價值體系等脈絡中加以理解和探究，以作為理解族群差異的基礎。評鑑過程應小心謹慎地考量社會公平正義等倫理議題。有些倫理考量可能是相當明顯的，例如不讓參與者受到任何生理上的傷害；有些倫理議題可能是細微、隱藏的，例如禁止強加某種意識形態於方案參與者身上；包容弱勢的語言；避免使用負面的標籤造成弱勢者的傷害等。許多弱勢族群的問題源自於社會制度或因素中，評鑑者必須設法釐清，並揭露現有制度中造成不公之弊端，應用評鑑結果改革社會不平等的現象。

在評鑑方法論上，在變革理論的引導下，IE視差異性為優勢及有價值的資源，可用來擴展及豐富評鑑的過程、發現和影響力，因此評鑑人員必須廣納弱勢族群或被邊緣化團體的觀點，尊重不同族群利害關係人的文化脈絡，理解其文化的獨特性，努力促使弱勢族群、倡導者與決策者之間的互動。透過文化的融入，信任關係的建立，深度的理解，取得有用的評鑑資料，善用評鑑的結果，產生社會變革的行動，以跨越權力差異，促使社會轉型之可能性。

◎參考文獻

Banks, J. A. (1993). The canon debate, knowledge construction, and multicultural education. Educational Researcher, 22(5), 4-14.

Chelimsky, E. (1998). The role of experience in formulating theories of evaluation practice. American Journal of Evaluation, 19(1), 35-56.

Christie, C. A., & Alkin, M. C. (2008). Evaluation theory tree re-examined. Studies in Education, 34, 131-135.

Greene, J. C. (1997). Evaluation as advocacy. Evaluation Practice, 18(1), 25-35.

House, E. R. (1993). Professional evaluation: Social impact and political consequences. Newbury Park, CA: Sage.

House, E. R., & Howe, K. R. (1998). The issue of advocacy in evaluations. American Journal of Evaluation, 19(2), 233-236.

House, E. R., & Howe, K. R. (1999). Values in evaluation and social research. Thousand Oaks, CA: Sage.

Mertens, D. M. (1998). Research methods in education and psychology: Integrating diversity with quantitative and qualitative approaches. Thousand Oaks, CA: Sage.

Mertens, D. M. (1999). Inclusive evaluation: Implications of transformative theory for evaluation. American Journal of Evaluation, 20, 1-14.

Mertens, D. M. (2005). Inclusive Evaluation. In S. Mathison (Ed.), Encyclopedia of evaluation (pp. 196-198). Thousand Oaks, CA: Sage.

Mertens, D. M. (2007). Transformative considerations inclusion and social justice. American Journal of Evaluation, 28(1), 86-90.

Simons, H. (2006). Ethics in evaluation. In I. Shaw, J. C. Greene, & M. Mark (Eds.), The international handbook of evaluation (pp. 213-232). London Britain: Sage.

Thomas, V. G., & Parsons, B. A. (2017). Culturally responsive evaluation meets systems-oriented evaluation. American Journal of Evaluation, 38(1), 7-28.

Weiss, C. (1998). Have we learned anything new about the use of evaluation? American Journal of Evaluation, 19(1), 21-34.