第13章 問題１：驗證美國學生的測驗結果變因¶

第13章問題１：驗證美國學生的測驗結果變因

泰勒不到3小時就交卷。反正他完全沒有參加這項測驗或爭取好成績的動力。對於15歲的他來說，美國標準化測驗的全國排名幾乎毫無意義。你才說到「排名」，他已經心不在焉。泰勒對PISA的冷淡，在他的同儕之間可能是普遍現象。

不過，教育領域的這些標準化考試還是備受重視，公認是學生學習評量的準確標準。政策制定者愈來愈喜歡用學生評量做為教育制度成效的衡量方式。美國學生的評量成績低落，多年來都是令人擔憂的問題。[1]

PISA是經濟合作與發展組織（Organisation for Economic Cooperation and Development，OECD）三年一度的國際調查，目的是評量15歲學生的能力和知識，以評估全球的教育體系。[2]這項測驗涵蓋科學、數學、閱讀、合作解決問題、金融素養等各領域，有來自72個國家、超過50萬名學生參加。[3]

許多國家都與美國一樣，根據標準化考試的結果制定部分教育政策。前文曾談到芬蘭在2000年PISA測驗的表現極為出色；分析者指出，芬蘭的學校經營實務現在已經成為全世界的模範。另一方面，表現意外落後的德國隨即召開部長會議，提出改善教育制度的緊急改革。[4]

美國高中生的PISA數學成績自2009年以來就不斷下滑，到了2012年，在65個參加國與經濟體中排名36。[5]美國當時的教育部長亞恩．鄧肯（Arne Duncan）針對評量成績的低落有感而發：「我們必須把它視為警訊。我知道懷疑論者想對結果提出異議，但是我們認為這些測驗準確而可靠。我們可以選擇一笑置之，也可以正視殘酷的事實，那就是我們的教育水準處於落後。」[6]

這個話題在美國出現許多解釋。有人認為問題出在學校體制，有人則指出問題在社會經濟因素（例如龐大的貧富差距和弱勢學生）、文化或美國家長教養子女的方式。[7]可是沒有人停下來問：我們真的能從這項測驗推論美國學生學業能力低落嗎？我和我的同事李斯特、傑佛瑞．李文斯頓（Jeffrey Livingston）、薩多夫、秦向東、徐陽（音譯）探討一種截然不同的解釋：如果是美國學生考試時不像其他國家的學生那麼認真呢？[8]

測驗成績取決於兩個因素：一是學生的能力；二是學生做測驗的認真程度。一般對測驗的解讀是成績反映能力差異；而我們認為成績也反映各國學生做測驗時努力的差異。如果各國學生對於在評量測驗中爭取優異成績的內在動機強度不同，沒有動機的學生或許具備同樣的才智和能力，但是在他們覺得不重要的測驗中，分數不一定能反映他們的實力。若是如此，美國的成績相對低於其他國家，部分原因可能是學生做測驗時的努力程度差異，而不是實際能力的差異。換句話說，泰勒和他的朋友對於不在意的考試可能沒有動機取得好成績，但是對考試不在意不表示他們的才智和知識不如中國（成績名列前茅）或芬蘭的同儕。成績落後只是表示他們對測驗沒有那麼努力。

為了調查公共政策制定者對問題是否診斷錯誤，我們在美國和中國上海的高中進行一場誘因實驗。我們刻意選擇上海，因為它在2012年PISA數學測驗排名第一，而美國在同項測驗的排名是36。我們的題本採用PISA官方試題的精簡版，有25道PISA數學考古題，學生有25分鐘解題。

我們的實驗操作很簡單：對照組的學生要在25分鐘內盡可能回答最多題。對照組的情境仿照學生實際參加PISA測驗的情況，學生沒有爭取優異成績的外部激勵因素。對照組學生的決策路徑如賽局樹狀圖（圖23）所示：他們可以認真應考，但是完全得不到任何外在報酬（結果#1）；他們也可以敷衍了事，快速完成測驗，無需花費太多心力（結果#2）。

結果#1在美國絕對不是奇怪的選擇。美國一定有青少年以考試為樂而全力以赴。可是回想一下，經隨機挑選參加PISA測驗的學生根本不會得知自己的測驗成績，連為自己的表現優劣感到自豪或慚愧的機會也沒有。也不會有人在一年後拍拍泰勒的肩膀說：「嘿，還記得你15歲時參加的那項測驗嗎？你們考得很差，現在美國的排名是36。真是多虧你們了，泰勒。」15歲的孩子可能在測驗結束後一下子就把這件事拋到腦後，或許永遠不會再聽到相關訊息。美國許多15歲孩子會選擇結果#2，這點大部分人應該都不會覺得奇怪。當我回想起15歲時的自己，我確定我也會選結果#2。

不過，我們還需要其他證據才能驗證我們的假設，證明問題出在努力而不是能力。還是一樣，公共政策制定者往往把測驗成績的差異，歸因於上海學生和美國學生之間的能力差異。[9]另一方面，我們假設即使是無關重大的測驗，只是因為有人要求，上海學生還是會傾向努力應考。為什麼？原因之一可能是中國文化強調努力，而美國文化強調天賦。在中國，群體意識和驕傲會進一步鼓舞這種努力：學生知道自己在PISA等測驗的成績代表自己國家的學術能力，為了展現愛國心，而有更努力的動機。教師可能也會強調代表國家參加測驗的重要性，並鼓勵學生全力以赴。這種差異構成態度上的文化差異，但是我們需要在實驗中證明這一點。於是我們採用──猜對了，就是誘因。那麼，我們給學生什麼誘因，讓他們付出過去不曾有的努力？

沒錯──我們給錢。實驗組的學生入座時會收到25美元並被告知，如果答題錯誤，錯1題扣1美元（中國學生的獎金為等值人民幣）。我們以這些誘因利用第10章討論的「損失規避」心理現象。一是一開始並沒有真的拿到錢，只是想到未來會少拿到幾塊錢，二是一開始真實拿在手裡的鈔票，卻想到有可能失去，兩者相較之下，後者的感受會比較痛苦。基於損失規避心理，這種誘因設計的激勵效果比每答對1題就得到1美元更好。

實驗結果證實我們的假設：面對誘因時，上海學生的成績幾乎沒有改變。顯然，上海學生在沒有獎勵時也是全力以赴，即使引入額外的獎勵措施也無法改變這一點。

然而，美國學生的成績卻突飛猛進。有獎金時，美國學生解答的題數增加，答題正確度也提高。我們估計，如果美國學生在實際的PISA測驗中也有獎勵，美國與上海的排名差距會拉近大約一半，從目前的第36位提高到第19位。

我們假設PISA等標準化測驗能夠反映學生的真實能力，以及各國教育體系結構的效能，並根據這個假設而投入數十億美元經費。在這些標準化測驗的影響下所制定的美國政策，是以美國學生的能力低於其他國家為前提。事實上，雖然這些測驗的成績有部分是受到能力所影響，但是在很大程度上也取決於內在動機，以及對不重要的測驗在態度上的文化差異。運用誘因設計後發現，成績確實不完全由能力所決定。