A Meta-analysis of Test Format Effects on Reading and Listening Test Performance:Focus on Multiple-choice and Open-ended Formats
Yo In'nami & Rie Koizumi
摘要：多項選擇題和開放式問題這兩種考試形式對母語閱讀、二語閱讀和二語聽力考試會產生影響，本文對這種影響進行了元分析。研究者用大量文獻中的56項數據來源來衡量考試形式對考試成績的影響。使用混合效果模型的元分析結果顯示，在母語閱讀和二語聽力中，多項選擇題比開放式問題更簡單。總體而言，二語閱讀中沒有發現考試形式對成績的影響。但在以下4種情況下，多項選擇題比開放式問題更簡單：個體間研究、受試者隨機分配、兩種考試形式題幹一致、高水平的二語學習者。而在母語閱讀、二語閱讀和二語聽力三個領域中，都認為多項選擇題簡單必須符合以下三個條件：個體間研究、受試者隨機分配、兩種考試形式題幹一致。
一、論文假設
盡管過去的研究為考試形式所帶來的影響提供了許多寶貴的資料，但所有關於多項選擇題和開放式問題之間成績差異的研究都使用敘述性的方法（narrative approach），這種方法缺乏綜合性和係統性。第一，敘述性方法在收集和總結過去研究方麵不夠客觀，也不可複製，因為研究中引用的其他研究往往取決於作者；第二，即使可以彙總所有相關的研究，作者往往隻是看到其表麵價值（face value），不加予重新分析和解讀便推斷出他們自己的結論；第三，即使可以重新分析和解讀所有的研究，但隨著信息量的逐步增大，把所有的研究綜合起來是非常困難的。
而解決以上三個問題的方法便是使用元分析（meta-analysis），這是一種總結所有研究中的實證數據的研究方法。針對第一個問題，元分析能夠報告資料檢索（data retrieval）、入選標準分析（inclusion criteria）和數據總結（data summarization）的詳細過程，讓讀者來評價每個步驟的合理性，甚至複製整個步驟。針對後兩個問題，元分析可以通過分析所有研究的特征來重新分析和解讀研究。我們會將過去研究中的許多信息和特征經過係統地編碼後進行詳細分析。元分析方法已經被廣泛地使用在二語習得領域，但很少被用在語言測試中。因此，本文對考試形式（多項選擇題和開放式問題）對閱讀和聽力成績的影響進行元分析，來總結和解讀過去的研究。另外，本文還涉及了三個領域，分別為母語閱讀、二語閱讀和二語聽力。盡管考試形式的影響在不同的領域各不相同，對元分析結果的比較可以幫助我們澄清考試形式所產生影響的特殊性（specificity）和一般性（generalizability）。
針對母語閱讀、二語閱讀和二語聽力三個不同的領域，本文的研究問題是：多項選擇題和開放式問題這兩種考試形式哪種更簡單？簡單到什麼程度？哪些變量（variables）與考試形式的影響相關？
二、實驗方法
在收集材料方麵，為了盡可能全麵地獲得題目類型對考試影響的文獻，研究者使用三種方法進行文獻搜索。第一，在Education Resources Information Center, FirstSearch, Linguistics and Language Behavior Abstracts, PsycINFO, ScienceDirect和Web of Science等6個電子數據庫進行關鍵詞搜索。由於使用單個關鍵詞搜索會出現許多不相關的文獻，研究者使用組合關鍵詞的方法，如test method, test format, evaluation type等20多個組合關鍵詞，並使用摘要（abstract）、標題（title）和文章關鍵詞（article keyword）搜索，不存在時間限製。第二，研究者回顧了語言測試（language testing）、母語和二語習得（first and second language acquisition）和教育測量（educational measurement）的書籍和雜誌。第三，通過與其他研究者的交流收集相關研究材料。