)０００Sig．２ＧtailedN
４０４０．Correlationissignificantatthe００１level(２Ｇtailed)表５Ｇ５商學院２０１０級國貿１班機考成績與紙質成級的相關係數分析Correlations相關係數機考成績紙質成績PearsonCorrelation１
７６２??
機考成績??
Sig．２Ｇtailed０００(
)N
３０３０PearsonCorrelation７６２??
１紙質成績(
)０００Sig．２ＧtailedN
３０３０．Correlationissignificantatthe００１level(２Ｇtailed)表５Ｇ４、５Ｇ５所示是Pearson相關係數及其顯著性檢驗結果.兩個班本次機考成績與紙質成績的相關係數分別為０７０４和０７６２,均高於０７.相關係數的Sig．為００００,即,P＜００１,所以相關係數用“”標記,這說明兩種測試成績的相關性是高度顯著的.當兩個不同的測試進行同期效度研究,如果相關係數達到０７,則是比較滿意的(金豔,郭傑克,２００２).如果一種測試結果具有可靠性和穩定性,則這一測試具有較高的信度(劉潤清,韓寶成,２０００),這充分說明了此次機考具有良好的測量質量.
１２４第五章機考適應性調查與研究◆◆◆(三)建議對上述調查結果的分析表明,該校實施的?大學英語?期末機考具有較好的效度和信度,能得到任課教師和絕大多數學生的認可和支持,具有大規模實施的可行性和良好的適應性.但與此同時,這一機考模式在初行時期仍存在一些亟須改進和完善的方麵,主要如下:(１)信度效度:信度和效度是評價任何測試的兩大依據.對於該校大學英語機考測試效度和信度的研究實際上就是如何協調應用語言學的理論概念和實際的考生水平之間存在的關係,盡量體現各種因素對考生成績的影響,從而提高考試信度和效度,達到兩者的完美結合.
(２)“平常心”:學生應順應語言測試發展的趨勢,以“平常心”對待機考,樹立“以不變應萬變”的態度,紮實學習英語基礎知識,注重培養語言綜合應用能力.
(３)人性化:測試的主體是人.考生在精力高度集中的情況下,長時間凝視屏幕會導致其視覺疲勞、過度緊張和精力不集中,所以學校要增加投入,使測試顯示界麵和座椅設計得更加人性化.設備問題:硬件設備是機考質量的基本保障.因此,學校要保障機考的軟、硬件設備都有較高的質量和較好的性能(如電腦、聲卡、麥克風、軟件等).
(４)機考的展望:努力實現一般意義上基於計算機的考試向理想的計算機順應性考試過渡.“順應性考試更注重考試過程,提高測試精確度”(張權,２００４).
(四)結論綜述以上對研究結果的討論,可得出如下結論:第一,問卷調查結果顯示,大多數學生認可並能很好地適應本次機考,更有８５７％的學生積極支持大學英語期末考試采用機考模式.絕大多數學生認為題量適中,難度也較為適中(翻譯部分應適當提高難度),具有較好的表麵效度.同時,分別有８５７％和７７１％的學生反映他們的成績會因不能自由選做題項和不能回頭重答或修改而受到影響.然而,反過來,這也促使考生必須有效調配時間,強化考前訓練.
第二,對師生的訪談結果顯示:師生對機考模式還是能普遍接受的,一致認為機考有環保、節約、與時俱進、杜絕泄密和作弊、數據易於保管等優點.此外,學生覺得考完後能馬上知道成績也是機考的一大優點.同時,機考也有導致視覺疲勞、因操作不當或斷電等導致數據丟失等的缺點存在.
第三,機考成績和紙質成績的相關分析結果顯示:Pearson相關係數分別為０７０４和０７６２,且P＜００１,呈顯著性相關.這充分說明此次機考具有良好的測量質量.
１２５◆◆◆英語機考適應性研究總之,以上結果表明,從本次機考的信度、效度及師生認可度等方麵來看,該校的?大學英語?期末機考是成功的,這是該校實施大學英語校內機考改革邁出的第一步,這標誌著該校大學英語教學在測試改革方麵走在了山東省的前列.
本次機考實踐僅從受試者的電腦熟悉程度對其機考成績的影響、機考的題量與難度、測試者與受試者對機考的感受、紙筆考試與機考成績的相關分析等方麵論證了該校機考的可行性.機考的進一步完善還需不斷地實踐和大量的後續研究來完成.後續研究可考慮從擴大調研課程範圍、增加受試對象係別和人數來更全麵地對比分析紙筆考試和機考成績;還可以機考的題型研究和題庫建設等方麵來展開研究.
基於本次大學英語機考實踐的順利實施及對結果的分析,該校將逐步實行全校範圍內的大規模的包括說口語、視聽及讀寫等語言技能的大學英語機考.
四、大學英語機考實踐(口語,視聽及讀寫)(一)研究一:大學英語口語機考實踐隨著大學英語教學改革的不斷深入,口語教學與測試日益受到重視.如何為口語教學提供更高效、科學的測試方法,已成為諸多學者研究的熱點之一.為解決傳統口試成本過高、學生基數大、教師資源不足、測試者間的信度等問題,大學英語口試引入了計算機輔助語言測試(ComputerＧAssistedLanＧguageTesting,CALT).目前無論是國內還是國外,CALT都處於實驗與探索階段,尚未成為一種成熟的大規模考試形式.為了最大程度地利用計算機技術測試學生的真實口語水平,對大規模計算機口語測試的整體效果進行全麵、深入地研究是非常有必要的.鑒於此,本研究從目前該校大學英語正在實施的大規模計算機口語測試入手,以受試者和教師參與口語機考時的認知和態度為切入點,通過對比分析直接型口試教師評分與計算機輔助口試係統自動化判分的實驗結果,探究大規模口語機考的效度與信度,從而為高校更有效地實施大規模計算機口語測試提供可行性建議.
近年來,我國大學英語口語教學重要性的日益凸顯,國內許多學者進行了各種口語測試方法的研究和實踐,包括直接型口試、半直接型錄音口試和基於現代化手段的計算機輔助口語測試.目前,我國高校普遍采用直接型口試來測量學生的口語交際能力,研究者認為,傳統的直接型口試比較貼近現實生活中的口語交際活動,在內涵上也體現了語言的交際功能,考官直接參與考生真實的交際活動,直接觀察考生的麵部表情以及身體語言,因此具有“表麵效度高、靈活性大、針對性強”的特點.但是,受考官資源、評分標準等因素影響,直１２６第五章機考適應性調查與研究◆◆◆接型口試的評分信度通常較低.李玉平(２００９)指出,在半直接型錄音口試中,考生更注重話語輸出的正確性,口語水平的發揮不受考官的語言水平和情緒的影響,因為口試與評分分開進行,半直接型錄音口試能采集到更多的語言樣本,具有評分信度高和可操作性強等特點,但是其缺乏真實口語交際互動性的弊端也較為突出(趙春榮,劉永權,２０１２).
計算機化考試研究始於２０世紀７０年代,至２０世紀９０年代才開始走向成熟,並真正開始應用於考試的實踐中.邱東林(２００５)等基於高校三次大學英語口語機考實驗,對比分析了直接型口試與口語機考的利弊,指出後者具有省時省力、操作簡便易行、評分相對客觀公正、考試語料易於保管的優點.蔡基剛(２００５)通過對四、六級計算機口試與直接型口試成績的對比分析,驗證了計算機口試的信度和效度,指出計算機口語測試適合目前的社會需求,能夠解決考生人數多、考試成本大的難題.高丙梁(２００７)在比較和分析非英語專業學生在計算機口試與直接型口試中的表現和應試反應後發現,計算機口試不僅在形式和內容上更豐富,而且在評分的準確性和組織實施的效率上都優於其他口試形式.李玉平(２００９)和金力(２０１１)的問卷調查也表明,大部分學生對口語機考持認同態度,並指出在設計口語機考的題型時,測試者和測試管理者應充分考慮考生的情感因素,通過聽覺、視覺等多感官刺激和多形式的試題內容,為考生創造較為真實、輕鬆的語言交際環境.此外,國內許多研究者在肯定了口語機考優勢的同時,也發現其最不容忽視的問題在於缺乏真實口語的交際交互性.
基於計算機的口語考試(以下簡稱“口語機考”)隨即進入人們的視野,中國科學技術大學與上海外語教育出版社合作開發了計算機輔助大學英語口語測試係統(以下簡稱口語機考係統),自２００５年開始使用,至今已成功舉行全校性的口語機考十餘次(苗健,２００８).除此機考係統外,其他一些組織機構也開發出了計算機輔助英語口語考試係統,其中最具代表性的是Ordinate公司的PhonePassSET係統和複旦天翼公司開發的英語口語考試係統.在計算機輔助英語口語考試係統的應用日漸廣泛的同時,相關的研究也取得了很大的進展,一些研究者(朱正才,楊惠中,２００１;蔡基剛,２００５;張燕敏,２００７)從口語機考的信度、效度、效率、可操作性等方麵進行了研究,發現基於計算機的口語考試係統有很好的信度和效度,並與麵試型的口語考試有較好的相關性.
當前,國內測試專家對計算機口語測試的可行性及反撥作用等方麵進行了初步研究和論證.但是,將口語機考作為大學英語課程成就測試的一個部分,探討大規模口語機考的信度、效度和可行性的研究屈指可數.口語機考能否在高校大規模使用,取決於其是否具有和直接型口試同樣高的信度和效度.
１２７◆◆◆英語機考適應性研究根據Shohamy等(１９８９)的觀點,如果同一批考生在直接型口試考官評分與口語機考係統自動化判分中所得成績具有高相關度,則說明這兩個考試具有相同的效度和可替代性.鑒於此,本書作為對比性研究,將詳細介紹該校進行口語機考的實驗,並對口語機考係統自動化判分和直接型口試教師評分的結果進行對比分析,以學生和教師參與口語機考時的認知和態度為切入點,探究口語機考的效度、信度、可行性及考生對口語機考的適應性情況,為高校實施大規模計算機輔助英語口試提供實證依據和可行性意見.
１研究過程與研究方法(１)研究對象及方法本次口語機考的研究對象為該綜合性大學２０１１級雙語前期大學英語教學實驗班的６８０名學生,通過對研究對象一次口語機考和一次直接型口試成績的收集和比較,同時結合學生問卷和教師訪談,分析口語機考的效度、信度和可行性及考生對口語機考的適應性情況.
(２)研究問題與假設本研究擬通過對比實驗,並結合定量和定性分析,回答三個問題:(１)口語機考係統自動化判分和直接型口試教師評分的成績相關性是否一致?(２)比起直接型口試,口語機考的效度和信度如何?(３)大規模口語機考的可行性及考生對口語機考的適應性如何?
(３)題型設計與要求兩次口試均以２００７年教育部頒布的?大學英語課程教學要求?中對口語表達能力的較高要求為依據,即考生能用英語就一般性話題進行比較流利的會話,能基本表達個人意見、情感、觀點等,能基本陳述事實、理由和描述事件,表達清楚,語音、語調基本正確.
本書首先對參與實驗的６８０名學生進行了直接型口試,口試題型圍繞所學教材內容展開,包括簡答題(ShortＧAnswerQuestion)和６個主題式對話(TalkBasedonaGivenTopic).每場口試由任課教師主持,２名學生參加.
學生在分別回答完簡答題後,抽取一個話題,經３分鍾準備後進行連續２分鍾的對話交流.
口語機考使用的軟件係統是由安徽科大訊飛信息科技股份有限公司研製的“暢言英語互動學習平台”.該學習平台的口試題型由短文跟讀(６０分)和話題表述(４０分)組成.短文跟讀要求學生在聽完示範朗讀後,大聲朗讀出現在測試軟件屏幕上的文字,約２５０個詞,時間約２分鍾.話題表述由學生根據所給提示,自行組織語言進行表述.經２分鍾準備後,學生就所給話題進行連續１分鍾的表述,錄音時間為２分鍾.每種題型隻有一次錄音機會.學生會１２８第五章機考適應性調查與研究◆◆◆看到準備時間和答題時間提示,屏幕下方顯示剩餘時間.考試結束後,學生提交試卷,計算機將收集記錄學生答案的錄音文件包,並在屏幕上顯示學生的口試成績(分別給出單項分和總分).為了契合期末考試內容,話題表述由任課教師從暢言英語互動學習平台的口試題庫中抽選了與教材主題一致的６套試題,確保話題難易程度接近直接型口試話題.
兩次考試的評分依據包括三個方麵:語言的準確性和範圍、話題的長短和連貫性以及語言的靈活性和適切性.口語機考係統采取題型分項評分法:短文跟讀側重考察語音語調;話題表述側重考察語言組織和連貫表達能力.直接型口試采用綜合評分法,由任課教師獨立打分,每場考試滿分均為１００分.(４)研究過程參與口語機考前,實驗對象在計算機中心先行體驗了暢言英語互動學習平台及其考試程序,以熟悉該係統的使用.該校信息中心有２４０台電腦,分為A、B、C、D、E五個區域.考試當天,學生分三批先後進入計算機中心進行考試,按班級就坐在B、C、D、E四個區域,每人一台電腦,一個帶有話筒的耳機.每個區域內有兩名監考教師,其中一名為任課教師,另一名為技術人員.學生在電腦上輸入學號和密碼即可進入考試界麵,準備考試.試題由事先準備好的題庫隨機發放,共有６套試題,每場試題有所不同.相鄰座位學生的試題形式相同,內容不同.每場考試時間約為２０分鍾,其中答題時間為１０分鍾.A區為備用區域,如果學生在口試過程中遇到機器故障等問題,為了不影響下一批考試,這些學生將統一在A區進行補測.
口語機考結束後首先對學生進行問卷調查.根據學習適應性理論(聶晶,２００６),學習適應能力主要涉及學習態度、學習方式、學習環境及身心適應四個方麵.本次機考的適應性問卷圍繞這四個方麵設計題項:(１)對口語機考認可和接受狀況;(２)有關機考的態度、觀念;(３)對機考方式與環境的適應狀況;(４)身心適應狀況.口語機考適應性問卷設計有７個調查項目,主要調查學生對口語機考的認知、態度和適應性.此次調查,共發放問卷６８０份,有效問卷６７２份,有效回收率為９８８２％.數據使用SPSS１７０統計軟件進行了分析.隨後調查者對參與口語機考的６位任課教師進行集中訪談,了解他們對口語機考整體效果的認知和態度.
２研究結果與分析(１)學生兩次口試成績對比分析語言交際能力的評價最終要以測試成績為依據.為此,調查者對兩種測試形式所得的口試成績進行了描述性統計和相關性分析(見表５Ｇ６和表５Ｇ７).
表５Ｇ６和表５Ｇ７顯示:口語機考係統自動化判分的分數呈正態分布趨勢,１２９◆◆◆英語機考適應性研究成績集中分布於８０~８４分之間,該分數段集中了２５３％的學生,接近教師評分的分布比例(３２４％),得分在７５~７９分之間的考生占２４７％,也很接近教師評分(２７４％).
但計算機係統自動化判分的均分低於教師評分,其差異在於前者在７０~７４分之間集中了２５％的學生,而教師評分隻占３５％;同樣,前者在８５~８９分數段隻集中了１０７％的學生,而教師評分的分布比例為２７４％,這可能是因為學生第一次參加口語機考,難免會感到緊張,或多或少會影響到口試成績.此外,直接型口試中教師對學生成績分布的主觀把握也會影響學生口試成績的分布狀態.
表５Ｇ６平均分和標準差考試形式考生人數最低分最高分平均分標準差口語機考６８０６２９１７６９６６３７直接型口試６８０７２９２８２４２４８８表
５Ｇ７各等級得分人數的比例考試形式９０以上８５—８９８０—８４７５—７９７０—７４６５—６９６０—６４口語機考８
７３１７２１６８１７０６８２１直接型口試６４１８６２２０１８６２４０
０表
５Ｇ８口語機考和直接型口試的成績相關性口語機考直接型口試口語機考Pearson相關性１
．９１１顯著性(雙側)．０００N
６８０６８０．０１水平(雙側)上顯著相關注:在表５Ｇ８是對口語機考係統自動化判分和任課教師主觀評分的Pearson相關分析,結果表明兩者之間的相關度達到０９１１.根據金豔和郭傑克(２００２)的觀點,兩個不同的考試進行同期效度研究,如果相關達到０７００,應該說是較為滿意的.由此可見,這次實驗中的計算機係統自動化判分與教師評分具有相當高的一致性.以上分析結果表明,口語機考在很大程度上能夠反映學生的真實口語能力,基本可代替教師批量評分完成直接型口試任務.
１３０第五章機考適應性調查與研究◆◆◆(２)學生問卷和教師訪談的歸納分析為進一步探究大規模口語機考的信度、效度、可行性及考生對口語機考的適應性,研究者對學生進行了問卷調查並對相關教師進行了訪談.表５Ｇ９列出了學生對口語機考的認知、態度及適應情況.
表５Ｇ９學生對口語機考的認知、態度和適應度完全同意同意不一定不同意完全不同意()()()()()％
％％
％％
我能接受口語機考２０４％４５６％１１７％９５％１２８％機考能反映我的真實口語１２４％４１３％２５７％１４６％６０％水平機考缺乏真實性２２４％２７３％１８５％２３７％８１％機考的評分更加公正２２１％３６２％２２５％１１６％７６％我能適應口語機考的方式２３４％４４８％１１２％１１５％９１％和環境機考更容易緩解我的焦慮感１８５％３１８％２０４％１９６％９７％我認為下一次機考成績比２４５％３６８％１９７％１０８％８２％這次好效度是語言測試理論中的一項重要指標,包括表麵效度和內容效度.表麵效度是指試卷表麵形式的可信度和公眾對考試的接受程度(Ingram,１９７７).Harrison(１９８３)認為表麵效度是指試卷到了使用者手上其表麵形式和內容,是否使受試者覺得它是一次有效的考試,是一次應考能力的考試.Heaton(２０００)指出,考試的表麵效度會直接影響學生的考試動機和努力程度,因此具有重要的使用價值.
首先,表麵效度是指考生對測試的看法和態度.表麵效度的研究方法為調查法,即調查參加口語考試的考生使用口語機考係統的主觀體驗和感受.本書通過設問的形式,收集有用信息,通過了解樣本的主觀看法和態度,以推測總體的情況.在綜合比較了麵談、問卷調查兩種調查研究的方法後,本研究選擇使用問卷調查法.在對本研究樣本實施口語測試之後,現場對考試進行紙質版的問卷調查,旨在討論機考係統及各題型的表麵效度.
我們通過問卷(見表５Ｇ９)了解學生對口語機考態度的數據顯示:學生的接受程度高達６６％,也有２２３％的學生不能接受口語機考.在有關口語機考方式及環境方麵,有６８２％的學生認為機考環境不會影響他們正常口語水平的發揮.在測試過程中,學生的情感狀態也會影響到他們對口語機考的態度.
１３１◆◆◆英語機考適應性研究直接型口試中,教師的態度會影響學生的焦慮程度.在沒有教師直接參與口語交流的情況下,５０３％的學生認為機考能緩解焦慮感,２９３％的學生則表現得更為緊張.這說明在口語機考中,學生麵對新的測試手段,內心的焦慮是不可避免的.此外,６１３％的學生認為自己下一次機考的口試成績會有所提高,隻有１９％的學生持消極態度.
以上這些數據基本說明口語機考總體上受到了學生的普遍認可,學生大多持積極態度,並且對下一次機考的成績抱有信心,也就是說,此次的大規模口語機考具有比較令人滿意的表麵效度.
其次,內容效度是指測試中的項目與任務是否與測試的總體目標相符.問卷要求學生對自己的整體表現進行自我評價,結果顯示,５３７％的學生認為口語機考能夠真實反映他們的口語水平.該校的口語測試為學業考試,所測即所學,試題難易程度取決於教材難度,考試中的口語交際任務與測試的整體目標基本相符,因此學生比較熟悉試題內容,在口語機考中能夠發揮自己的正常水平,對自己的表現較為滿意.但是,相對於直接型口試而言,有４９７％的學生認為口語機考缺乏真實性.
參與訪談的教師也一致認為,事先從口試係統的題庫中抽取試題,既保障了口試話題與所學教材內容一致,也確保了話題之間的難度係數比較接近.與直接型口試相比,口語機考解決了耗時多、效率低的問題.但是,有５位受訪教師也指出,口試係統雖然可以考察學生的語音語調、語言組織和連貫表達能力,卻無法測試學生的語言交際能力,由於是人機對話,學生也無法利用身體語言等手段輔助交際,因此,口語機考過程缺乏了一定的真實性.針對這一問題,有兩位教師認為,如果從多維度、全方位去分析口語測試,其真實性是一個相對的動態概念,無論是直接型口試,還是口語機考,都不可能達到絕對的真實性.經過討論,受訪的５位教師最後達成一致:僅僅通過一場考試就評判學生的語言交際能力是片麵的,因為有些學生會因為口試時麵對教師而感到緊張,出現忘詞或肢體語言不自然等情況,而口語機考則很難做到互動.因此,為了更加全麵地評價學生的口語交際能力,我們需要平衡形成性評價和終結性評價兩種考察方式,這樣既可以公正地反映出學生口語的真實水平,又可以減輕口語機考無法考察交際能力的弊端.
因此,以上數據分析部分證明了口語機考能夠反映學生的真實口語水平,同時,口語試題具有較高的內容效度.
再次,信度是指測試的可靠性程度,表現為測試結果的穩定性,本書中的自信度主要指施考的條件要一致以及閱卷評分要一致.針對施考條件,受訪教師一致認為在直接型口試中,學生在準備話題時會故意讓口語好的學生獨１３２第五章機考適應性調查與研究◆◆◆占話輪,口語較弱的學生則“台詞”較少,難以保證每個學生有同樣的發言時間.此外,直接型口試中排在後麵的學生可以向已經考過的學生打聽話題內容,這些都影響了考試的公平性.而口語機考由屏幕出示話題,相鄰的學生題目不同,屏幕同時顯示每個學生的發言時間,確保了每個學生的樣本的量是相同的,公平性也就因此體現出來了.
就閱卷評分而言,５８３％的學生認為口語機考的評分更加客觀公正,隻有１９２％的學生持反對意見(見表５Ｇ９).受訪教師也指出直接型口試與評分同時進行,是瞬間的,具有不可重複性,教師必須對每組學生的口語樣本當場做出準確地判斷,給出整體分數,壓力較大,如果沒有較高的專業素質,很難做到公正客觀地評分,而且直接型口試評分與教師對學生成績分布的總體主觀把握有關,同時也受教師之間的評分標準不一致、個人喜好、連續評分產生疲勞等眾多因素的影響.相較而言,計算機係統自動化判分采取題型分項評分法,不受主觀因素影響,使得評分結果更客觀、穩定、公正.
由此可見,本次口語機考在一定程度上保障了施考的條件,確保了評分的一致性,由此提高了測試的信度.
複次,大規模計算機口語測試的可行性和適應性.根據以上分析,在保證同樣的效度、信度的前提下,大規模口語機考的可行性涉及考試組織實施、考官評分資源、考場設備、考試時間等成本因素.
與直接型口試相比,受訪教師認為口語機考有三點優勢:(１)省時、省力.以往需要一周的課時進行隨堂口試,而大規模口語機考隻需１５小時即可完成.(２)語料易於保管.學生的原始聲音資料可以完整保留.考試結束後,教師可以按需要進行各種分析,為以後的考試、科研和教學提供各種有益的參考依據,而直接型口試卻做不到這點.(３)調動學生學習積極性.這次的口語機考對雙語班學生的視聽說自主學習起到了督促作用.自從通知學生期末采取機考後,學生對視聽說更加重視,課後更是利用“暢言英語互動學習平台”練習口語.因此,口語機考對大學英語的導向作用很好,不僅緩解了教師的工作壓力,還可以有效改變學生啞巴英語的現象.
同時,有關考生對計算機口語測試的態度及測試適應性的調查問卷數據顯示,大多數學生是認可和接受這一新型的口語測試方式的,半數以上的學生認為機考更能緩解其測試焦慮感,並認為這種測試方式和環境的改變不會影響他們真實口語水平的發揮.
綜合以上研究可知,基於計算機的口語機考具有較高的效度和信度,係統自動化判分也與教師評分趨於一致.問卷和訪談結果也進一步說明了計算機口語測試具有實施可行性和應試適應性.
１３３◆◆◆英語機考適應性研究最後,大規模計算機口語測試的問題及原因分析.部分受訪教師也指出,盡管口語機考有較高的效度、信度和評分的一致性,但要讓學生完全接受和習慣口語機考這一新型的測試方法,還需要一個適應過程.這次考試也存在一些問題,例如與直接型口試相比,此次口語機考的題目難度要低一些,題型相對單一.如果建立了試題庫的話,就可以事先利用屏幕設計現實生活中各種口語交流的真實情景,使整個考試過程更貼近真實,互動性更好.此外,考試期間,少數計算機發生故障無法使用,雖然對於這類突發事件事先有所準備,學生可以在預留考場重新考試,但是在一定程度上會對學生的考試心理產生負麵影響,考試心理素質不夠好的學生極易產生焦慮感.當然,口語機考的完善有一個以點到麵的問題,例如建立試題庫、完善考場設備等.大規模口語機考是我國英語教學改革和教學手段多樣化的產物.就目前來看,利用現有的教學技術,實現英語口語測試的現代化,不僅能提高口試的效度和信度、減輕教師工作壓力,而且對整個口語教學將會產生正麵的反撥作用.目前,利用計算機係統自動化判分進行口語測試在高校英語口語測試中尚處於探索階段,如何更大程度地利用計算機實現接近於真實語言環境的測試,如何將測試目的與測試形式統一起來,還需要進一步的研究.
計算機口語測試已成為該校大學英語教學中一個新的評估手段.本研究通過對比分析證明計算機係統自動化判分性能與教師評分已非常接近,基本可代替教師批量評分完成直接型口試任務.通過學生問卷和教師訪談發現,口語機考得到學生和教師的普遍認可,不僅能反映學生的真實口語水平,還降低了學生的考試焦慮感,更能夠公正、有效地測試出學生的口語能力,具有較好的測試效度和信度,在高校大規模使用具有可行性和適應性.
(二)研究二:大學英語視聽機考實踐教育部的?大學英語課程教學要求?,將大學英語的教學目標從以閱讀理解為主,調整為培養學生的英語綜合應用能力,特別是聽說能力,同時增強其自主學習能力在教學模式和方法上,要求充分利用計算機和網絡技術的發展作為技術支撐;在評估形式上加強形成性評估對教學的反撥作用;在考試方法上逐步實施機考.
開始於２００８年的大學英語機考在考試形式、考試題型、考試內容等方麵較之紙筆考試都發生了翻天覆地的變化,機考視聽理解部分則更是完全突破了紙筆考試的限製,以新聞類短篇、訪談類中篇和視頻類長篇、新聞類體裁為主,話題多彩多樣,材料原汁原味,從感覺、聽覺、視覺方麵給學生帶來了全新的體驗.作為一個大規模高風險的考試,大學英語考試的任何改革必將產生深遠影響(金豔,２００６).大學英語考試從紙筆考試發展到網絡化考試,看似是１３４第五章機考適應性調查與研究◆◆◆考試的技術手段在不斷改進,其真正目的在於使所測試的能力更合理、更接近真實生活中的語言運用能力.考生對這種全新的視聽測試及題型的評價如何?適應性如何?對大學英語教學產生了怎樣的影響?目前在這方麵的研究尚顯不足.
１研究過程(１)研究對象本次視聽機考的調查對象是該校參加了２０１２年１月份和７月份機考的學生,共得到３３５份有效問卷,其中男生２５３名,女生８２名.同時我們也拿到了他們相鄰時間的紙筆考試成績,包括總分和單項分.
(２)定量研究定量研究以問卷調查為基礎,內容涉及四個方麵:視聽理解三部分的難易度、偏愛度、焦慮狀況和成績影響因素.問卷的第一部分采用非結構性問題,由學生來填寫相關信息.第二、三、四、五部分采用結構性問題,由２０個問題構成,采用Likert五級量表形式.問卷主要參照四、六級考委會設計的機考調查問卷.(３)定性研究定性研究采用電話訪談形式,在考試結束後的第二天進行.相對於剛考試結束時的麵對麵訪談,一天後的電話訪談會使學生表現得更加輕鬆,對問題的回答更接近於其真實感受.訪談圍繞視聽理解三部分的難易度、偏愛度、焦慮狀況、成績影響因素及對教與學的影響五個方麵展開.訪談對象為考試中隨機抽取的５名學生.
(４)數據收集與分析研究者對３３５份問卷調查數據采用SPSS１７０進行分析;對訪談部分進行了錄音和記錄.最後,研究者比較問卷調查的數據分析結果與訪談結果,驗證問卷數據的可靠性,力求更準確地描述學生對視聽理解部分的直觀感受,提高研究信度.
２結果與分析(１)題型難度的考生評價整體上看(見表５Ｇ１０),學生認為難度過大,總均值為２２７９６(．７３３５０).細看各分項,最難的是視頻類長篇(２１３４３),訪談類中篇次之(２２８６６),新聞類短篇則排在最後(２４１７９).筆者分析,主要原因在於聽力材料全部來自於VOA、CNN、BBC等廣播、電視、網絡的真實材料,且沒有經過任何的速度處理,這就比?大學英語課程教學要求?規定的最快語速快了３０個詞\/分鍾,其難度顯然大大增加.而學生在平常的聽力課堂中使用的材料是經過加工處理且１３５◆◆◆英語機考適應性研究控製語速的.金豔、吳江的研究也表明,機考考生對聽力理解部分的滿意度低於閱讀、寫作和語法結構,認為聽寫和跟讀部分的難度偏大,對這兩個單項的評價相對偏低.[５]訪談顯示,考生認為視頻長篇難在它的長度,在聽的過程中不知道重點;訪談中篇難在題項較多,共有６道題,又沒有時間提前看題目,在聽的過程中很迷茫,另外,語速較快也是考生說得較多的一個因素.與此同時,我們對這些考生的機考聽力成績和紙筆考試聽力成績進行了比較,結果顯示,紙筆考試聽力的平均分高出機考聽力近７分,這和問卷調查的結果是吻合的.(見表５Ｇ１１).
表５Ｇ１０視聽理解部分三種題型難度評價的統計性描述Item(\/N＝３３５)新聞類短篇訪談類中篇視頻類長篇(頻率\/百分比)(頻率\/百分比)(頻率\/百分比)(很難)\/
\/\/
１５７１７０％７７２３０％１０７３１９％(較難)\/
\/\/
２１３６４０６％１３８４１２％１２７３７９％(一般)\/
\/\/
３９２２７５％７４２２１％５９１７６％(較易)\/
\/\/
４４５１３４％３９１１６％３３９９％(容易)\/
\/\/
５５１５％７２１％９２７％均值\/
\/\/
２４１７９．９７１９０２２８６６１０１２６３２１３４３１０５６７１總均值(
)２２７９６７３３５０表
５Ｇ１１機考聽力與紙考聽力成績對比N值最低分最高分均值標準差機考聽力３３５８０００２０８００１３９５７９１２４７７９３６紙筆聽力３３５８６００２２２００１４６００３０２５２９０５９(２)題型喜愛度的考生評價整體上看(見表５Ｇ１２),考生對機考視聽理解三種題型不太喜歡,總均值為３０５０５(．８９４５１).從各項均值判斷,學生相對較喜歡的是視頻類長篇(２９１３４),相對討厭的是訪談類中篇(３２８３６),表示否定態度的有５０４％,遠大於正麵態度的比例(２７５％).對於短篇聽力,表示認可的人達到了４１２％,但有趣的是,也有３８５％的人表達了相反的態度,二者大致相當,均值的離散度也很大,顯示出群體對於新聞類短篇的認可度呈兩極分化態勢,態度可以說是既“愛”又“恨”,比較矛盾.訪談顯示,考生認為主要原因在於視頻類長篇的畫麵新穎獨特,可閱讀的信息較多,所以盡管難度較大,對此類題型的喜歡度還是較高的.而對於訪談類中篇,這類新聞題材持續時間長而且中１３６第五章機考適應性調查與研究◆◆◆間還夾雜著不標準的英語,學生聽起來很費力,可閱讀的信息又少,再加上平時在這方麵的訓練也很少,所以對這類題型很不適應.
表５Ｇ１２視聽理解部分三種題型的喜愛度統計性描述Item(\/N＝３３５)新聞類短篇訪談類中篇視頻類長篇(頻率\/百分比)(頻率\/百分比)(頻率\/百分比)(十分喜歡)\/
\/\/
１４１１２２％１８５４％５７１７０％(喜歡)\/
\/\/
２９７２９０％７４２２１％１０１３０１％(不確定)\/
\/\/
３６８２０３％７４２２１％４８１４３％(不喜歡)\/
\/\/
４９４２８１％１３３３９７％７２２１５％(十分討厭)\/
\/\/
５３５１０４％３６１０７％５７１７０％均值\/
\/\/
２９５５２．２１６５６３２８３６．０８８９５２９１３４．３６９５７總均值(
)３０５０５８９４５１表
５Ｇ１３視聽理解各部分焦慮度統計性描述\/(N)
新聞類短篇訪談類中篇視頻類長篇Item＝３３５(頻率\/百分比)(頻率\/百分比)(頻率\/百分比)(完全同意)\/
\/\/
１９９２９６％１１７３４９％９０２６９％(同意)\/
\/\/
２６８２０３％８６２５７％７６２２７％(不確定)\/
\/\/
３７６２２７％５４１６１％８５２５４％(不同意)\/
\/\/
４５５１６４％６６１９７％６０１７９％(完全不同意)\/
\/\/
５３７１１％１２３６％４４７２％均值\/
\/\/
２５９１０１３５２５０２３１３４１２３５８１２５５８２１２５５６６總均值(
)２４８７５７５６６０(３)題型焦慮度的考生評價整體上看(見表５Ｇ１３),機考視聽理解部分使考生產生了較高的焦慮情緒,總均值達到了２４８７５.從各項均值來看,訪談類中篇最容易讓學生產生焦慮,其次是新聞類短篇,視頻類長篇排在第三,但比例也低不了多少.這說明視聽理解的三種題型引發學生焦慮感的程度是相當的.這也與金豔、吳江(２０１０)的調查結果相符.訪談顯示,考生認為焦慮主要來自兩個方麵,一方麵是聽力材料太長,聽的過程中容易走神,把握不住重點;另一方麵是回答每個題項時有時間限製,倒計時容易讓人緊張.
１３７◆◆◆英語機考適應性研究(４)成績影響因素的考生評價為了了解影響考生視聽理解部分成績的因素,筆者從新聞題材、語音語速、計算機熟悉程度、題項設置的時間限製及不可逆轉性等方麵進行了調查,問題分別是“我認為視聽理解題的新聞類題材影響了我的聽力得分;我認為視聽理解題的語音語速影響了我的聽力得分;我認為本人計算機操作熟悉程度影響了我的聽力得分;我認為視聽理解題中題項設置的時間限製及不可逆轉性影響了我的聽力得分”.從整體來看(見５Ｇ１４),這四個因素對學生的聽力成績影響較大(總均值達到３０５７４７).按照影響力的大小排序依次為:語音語速、新聞題材、題項設置的時間限製及不可逆轉性和計算機熟悉程度.在一定程度上,它們分別對應著學生自身英語聽力水平的高低、文化背景知識的豐富程度、考試方式是否適應等問題.訪談顯示,考生普遍對語音語速不適應,認為過快,抓不住重點;對新聞類題材較陌生;題項的時間限製增加了緊張程度.但是,學生普遍對自身的計算機操作水平很自信,認為自己的計算機操作水平沒有影響自己的聽力成績(絕大部分學生都擁有個人電腦,而且宿舍都配有網線,課餘時間經常使用計算機).這與金豔、吳江(２００９)的調查有點出入,他們認為影響學生對機考評價的因素包括語言能力和計算機熟練程度.
３結果分析及教學啟示根據上述調查可知:視聽理解的體裁、題型和難度及計算機熟練程度對考生聽力測試產生了負影響,引發的考生焦慮程度較高.因此,我們在研究提高英語聽力教學的對策時,應有的放矢地設計基於計算機網絡的課外自主學習與課堂教學相結合的教學模式,加大新聞類原始聽力素材的輸入,增強學生的適應性,最大限度地降低測試焦慮感.
(１)改進課堂內外聽力輸入環境,加大新聞類原音原景素材比重在傳統的教學與四、六級考試中,聽力理解的訓練與測試全部采用標準語速的文字稿朗讀錄音材料,內容以日常生活體裁為主.而機考視聽理解則采用了選自VOA、BBC和CNN等媒體的新聞、采訪、報道等具有真實語境的材料.這對於長期習慣於非真實語言材料輸入的考生來講,考試的挑戰性大大增加.因此,教師應充分利用網絡、電視、期刊報紙等各種媒體,在課堂內外為學生提供大量的、真實的、可理解的素材輸入,改進聽力輸入環境是解決這一問題的有效途徑.
(２)改善自我效能感,幫助學生樹立提高聽力水平的自信心學生剛接觸原音原景素材時會擔心聽力材料的速度太快,自己跟不上進度,並導致對自身英語聽力水平不自信,自我評價低.在教學中,教師可以從以下兩個方麵著手提高學生聽力水平,提升自信心.一是在為學生提供大量１３８!!\"#$%&''''()*+,!\"#$*+*,-.\/0123456789:>?
\"#$%&''''''''(%&''''()%&''''()%&''''();<=%&''''()(@ABC)(*+,-.
*''''(-+,''''.
\/\/),).
''''\/0,).
-BC1''''\/*,(.
0+\/),0.
-**\/,\/.
(2*2.
*2(,*.
''''9DE1+\/'''',0.
-)*'''',2.
)(*0,-.
*\/*''''),*.
FGHIJKL=MNGO\/9BC2\/\/*,(.
-(*'''',-.
*+''''''''+,2.
1-\/(,*.
PQRSPTU第
章五*@A9BC''''(*+,-.
*0(,2.
*+-''''*.
-**\/,\/.
VW'''',\/**03\/2*-2'''',1\/)03\/(+*+\/,''''\/(-3\/*1+(\/,1)(23*''''+)\/機
適考XVW'''',+(2-23\/*2()究研與查調性應９３１◆◆◆◆◆◆英語機考適應性研究真實語言素材後,教師應當幫助學生製定自主學習計劃.學生可以在計劃中設立一係列目標,但要求必須製定一個近期目標,並確定實現目標的方法.教師則通過課堂或網絡檢查學生的進展情況並不斷鼓勵他們堅持下去,直到實現每一個近期目標.二是教師應該有意識地、經常地對學生的成績與進步給予積極的鼓勵,向學生表示對他們聽力水平的滿意甚至欣賞.陳秀玲的研究表明,８０％的學生擔心教師對自己的評價不高.可見,教師的肯定性評價是學生學習的重要動機,可有效提升學生學習的自信心.
(３)加強基於計算機網絡的自主學習與課堂教學相結合的教學機考有別於紙筆考試的又一特點就是其考試形式的變化.考生需在計算機上完成全部答題,盡管大部分學生認為他們的計算機操作水平沒有影響他們的聽力成績,但也有部分學生表示對在計算機上進行考試不適應,因為長期以來,他們經曆的考試都是以紙筆為基礎的.因此,進一步加強基於計算機網絡的自主學習與課堂教學相結合的聽力教學,甚至直接在局域網或校園網上進行聽力教學訓練,並有意識地布置作業讓學生通過計算機和網絡自主完成提交,提高學生計算機操作的熟練程度,可有效提高學生對機考的適應能力.
(三)研究三:讀寫機考實踐大學英語讀寫機考是閱讀與寫作相結合的綜合能力測試.該校從學生的個性特長出發,培養學生的英語綜合能力.在大學英語各項能力中,寫作能力的培養一直是比較難以解決的問題(黃勇等,２００６),教師可以利用計算機和網絡來提高學生的寫作能力.閱讀與寫作相結合不僅有利於寫作能力的提高,而且有利於學生整體語言能力的提高.然而,基於計算機或網絡的大學英語讀寫測試與傳統的紙質考試有諸多不同,這必然造成考生對考試的不適應感.那麼究竟考生適應什麼,不適應什麼?大學英語教師在教學中又該怎樣調整教學計劃和內容以適應考試改革的需要,使教學發展與考試發展互動、合拍呢?這是本節試圖回答的問題.
１研究過程(１)研究方法本研究采用問卷調查和訪談相結合的方法,把定量研究和定性研究結合起來,共同支持、印證研究結果的準確性和可靠性.(２)研究對象根據全國大學英語四、六級考試委員會的統一要求,為了與全國大學四、六級網絡考試接軌,該校教師組織學生進行了大學英語機考模擬測試,參加本次模擬考試的為試點院校第一次參加考試的１２０人.由於受客觀研究條件的限製,本研究隻調查了該校教育學院的３６名參考學生.但是,根據統計學的一般原理,受試人數在３０人以上,就可以視為有效樣本.在此之前,這些考生沒有參加過１４０第五章機考適應性調查與研究◆◆◆類似的語言類機化考試,任課教師對他們也隻進行了簡單的講解培訓和模擬考試.(３)研究方法(問卷)本次調查問卷嚴格按照問卷設計步驟設計,題目設計框架以網絡考試的試題內容特征、呈現方式、答案輸入方式為經線,以題型類別、主觀感受為緯線.問卷共１２個題目,名稱為?全國大學英語網絡考試考生適應性問卷?.該問卷采取Likert五級量表記分方式,“完全讚同”、“比較讚同”、“沒感覺”、“不太讚同”、“完全不讚同”分別記作５分、４分、３分、２分、１分;反向敘述的題反過來記分.具體的題項分布見表５Ｇ１５.
表５Ｇ１５調查問卷題項分布問卷維度題項編號題項數目(個)閱讀１~５５
寫作６~１０５
主觀感受與其他１１~１２２
１２總題項數目:整個讀寫機考進行期間,研究者都在考試現場觀察,並在考試後第二個星期對考生進行了問卷調查.受調查者３６人,問卷回收率９７％.剔除無效問卷１份,問卷利用率９７％.問卷調查後,研究者對其中６名考生進行了開放式訪談.２結果分析(１)考生對大學英語讀寫機考的適應性情況調查數據統計結果顯示,接受調查的學生沒有像很多英語教師擔心的那樣,對網絡考試的計算機媒介不適應;相反,考生對閱讀文章和閱讀題的呈現界麵、作文輸入形式、滾動條的使用等都能適應.具體結果見表５Ｇ１６.
表５Ｇ１６對大學英語讀寫機考的適應性平均標準平均值標準差t值P
值差
低分組高分組低分組高分組我不適應閱讀時左邊是２４７１０８２１１３００１２７１２２－１５１．１５０文章、右邊是試題的呈現方式.
做閱讀題時,我覺得滾動２０３１１９１４４２４４．７３１４２－１８８．０７９條很礙事.
寫作時,因為看不到自己２５９１３５１６７３８９．７１１２７－４５９．０００的筆跡,我總感覺心裏不舒服.
１４１◆◆◆英語機考適應性研究(２)考生對大學英語讀寫機考不適應性情況調查數據統計結果表明,接受調查的學生在閱讀標注、鍵盤輸入答案、計算機統一設定時間等方麵不適應.具體見表５Ｇ１７.
表５Ｇ１７對大學英語讀寫機考的不適應性平均標準平均值標準差t值P
值差
低分組高分組低分組高分組我不適應閱讀時無法用３５０１４２２５６４４４１４２．７３－３５５．００３筆做各種標記符號我不適應需用鍵盤輸入３６８１１５３００４２２．８７１３０－２３５．０３２答案的題.
我不適應每一部分的答４２１１０４４００４７８．８７．６７－２１４．０４９題時間都由計算機統一設定由表５Ｇ１７的統計結果可見,學生對於讀寫機考中閱讀無法標注、使用鍵盤輸入答案、計算機統一設定時間等方麵不適應,而這一結果和夏紀梅(２０１１)的研究“大學英語四級網考與紙考的考生反饋調查研究”中所得結果不一致.夏紀梅在她的這項研究中,通過問卷調查發現,在機考所有的題型中,考生對閱讀題,特別是閱讀理解中的仔細閱讀題的反饋最好(見圖５Ｇ１),有５７４％的考生認為難度“適中”,而且有７９％的考生認為“容易”.這也許是因為閱讀題從紙考改為機考對考生的影響最小,而且又是老題型,考生相對比較熟悉;也許是因為考生在平時的學習生活中就已經習慣在計算機上閱讀了,沒有提到本調查中所述的眾多不適應因素.劉萍和王菲(２０１２)對“大學英語四、六級機考適應性調查研究”的研究表明:總體而言,考生對機考呈現適應狀態.五分量表中均值大於３則表示項目陳述內容為調查對象所認可.閱讀部分的均值(M＝３７６)最高,表明考生對其適應程度最高.其原因在於:這部分題型基本沒有變化,不同的是紙質閱讀變成了屏幕閱讀.
圖５Ｇ１大學英語機考仔細閱讀部分１４２第五章機考適應性調查與研究◆◆◆同時,在嚴明(２０１１)的關於“大學英語四級機考與紙筆考中寫作對比分析”的研究中指出,大學英語寫作機考較之傳統紙質寫作測試有明顯優勢:機考利於文章修改,機考為文本修改提供了方便條件,突破了在紙筆考中為了保持卷麵整潔的限製;機考利於調控時間,在機考中每一題型都有其既定的答題時間,並在電腦屏幕上設有時間標示,受試者可根據具體情況調節自己的寫作速度.此外,由於寫作的過程中,思維通常具有跳躍性,電腦使受試者調整自己的思路,理順文章更為便捷,不會出現紙上的淩亂現象,而且可以隨時統計輸出字數.
３對以上問卷結果和訪談的分析從對學生的問卷調查和訪談中,學生對讀寫機考是持肯定態度的,但也存在一些問題,如:有些學生不善於在計算機上閱讀、寫作,有的閱讀較慢,時間不夠、對寫作沒有緊迫感、不重視、提不起興趣、長時間盯著顯示器眼睛容易疲勞(王懿等,２００６)等.
第一,閱讀答題技巧的改變造成不適應.根據研究者的觀察和被訪談者的回答,在傳統紙考的閱讀理解中,考生通常會用筆標注各種符號,表示各種意思,以幫助理解和記憶文章內容.不同的符號表示不同的含義,或表示重點詞,或表示不認識的單詞,或表示關聯詞,符號含義根據考生自己的答題習慣而定.在網絡考試中,計算機是通過設置高亮顯示功能以幫助考生標注符號,但學生對此新技巧感到陌生和不適應.
第二,答案輸入方式的改變造成不適應.在傳統紙考中,考生用鋼筆或簽字筆答題.在網絡考試中,他們要用鍵盤輸入部分題目的答案.近年來,各級各類學校都加強了計算機基礎課教學,學生的計算機運用能力有所提高,但沒有要求學生用鍵盤輸入英文單詞.研究者在考試現場觀察到,部分考生為了輸入方便甚至先把作文寫在一張空白紙上,然後再輸入計算機.
第三,答題時間和節奏的改變造成不適應.時間分配在傳統紙考中非常重要,大部分考生已經習慣根據自己的實際水平靈活安排答題時間和答題順序.如有的考生閱讀能力強,他們通常並不是嚴格按照規定的２５分鍾來完成閱讀,而往往把時間分配一點給完形填空、翻譯或最後的檢查.網絡考試中,為了真正考查學生的單項技能水平,每一部分的答題時間和順序都由計算機統一設定,考生不能隨意改動,這和傳統紙質考試很不相同,致使學生難以適應.
４啟示和建議利用現代化的技術手段改革考試方式,利用計算機進行語言測試,這是語言測試的發展趨勢.大學英語網絡考試,作為我國本土化的計算機化語言測１４３◆◆◆英語機考適應性研究試已經成功地邁出了第一步.
調查結果給大學英語的日常教學帶來了啟示.大學英語網絡考試已經把培養大學生的英語綜合運用能力,尤其是聽說能力擺在了重要位置.首先,如何通過學校網絡尋找地道生動的學習材料,培養學生真實語境下的聽說能力而不隻是日常簡單的交際能力,使考試和教學相互促進發展,成為大學英語教學首先需要解決的問題.其次,如何通過有效的任務使學生樂於在網絡上表述觀點,培養其熟練運用鍵盤輸入英文信息的能力是大學英語教師應該思考的問題.最後,如何在日常的教學環節中設計網絡考試的仿真測驗,使學生掌握網絡考試的答題技巧、適應新的題型也應該得到重視.
同時,我們也希望大學英語網絡考試能進行一些調整,使考試的界麵更加人性化,比如讓考生自由翻動考試界麵,設置更豐富的閱讀理解功能符號鍵以實現考生紙考閱讀技巧的部分遷移等.
(四)研究四:大規模的期末機考為了與大學英語四、六級網考接軌,在進行分項語言技能機考的基礎上,該校的大學英語教學已具備推行大規模的全方麵期末網考的條件.為了保證網考的順利進行,學校在加大硬件投入的同時,還應不斷完善試題庫,敦促學生提高計算機操作能力和屏幕閱讀的習慣,以期在今後的大學英語四、六級網考中取得優異成績.
１網考題庫的開發平台及題庫試題來源在本章第一部分有關實施機考的軟件條件部分已經提到,該校已於２００９年５月購買了３００點位的藍鴿校園網語言學科平台軟件標準化考試平台.此校園網語言學科平台中的標準化考試係統能夠完成一次考試的全部相關工作,包括考務管理係統、組卷係統、考試實施係統、高信度閱卷係統、成績管理係統、試卷管理係統等.
該校的本科生分為兩類:普通類本科生和藝術類本科生.該校的機考係統中的試題也分為兩類:普通本科生用試題和藝術本科生用試題.普通本科生用試題按學期分為一級、二級、三級和四級四個級別,藝術本科生用試題也按學期分為預備級、一級、二級和三級四個級別.試題庫內的試題來源有兩個:其一,外語教學與研究出版社的?新視野大學英語?試題庫中的是預備一級、預備二級、一級、二級、三級、四級試題;其二,上海外語教育出版社設計製作的大學英語分級測試題庫２０(新題型版)中的試題.
２大學英語期末機考的優越性為了充分發揮考試的指揮棒作用,推動以聽力為主的基於計算機和網絡的英語教學模式改革(張堯學,２００９),自２００７年１２月份在複旦等四所高校試１４４第五章機考適應性調查與研究◆◆◆點大學英語四、六級網考之後,已經有越來越多的高校參與到網考中.大學英語期末考試機考正是順應了大學英語四、六級網考這一潮流.據有關研究所知,平頂山學院是河南省高校中較早開展大學英語期末機考的學校之一.同時,該校的藍鴿校園網語言學科平台軟件標準化考試係統也已成功運行了４年,當然學生在參加全校性大規模的期末機考的過程中也出現了一些問題,但經過相關部門(大學英語教學部、信息學院和網絡中心)的教師們的共同努力,有關問題都得以解決.
該校大學英語期末考試自２０１０年１月初實施網考以來,受到一線英語教師和學生的普遍好評.與傳統紙質考試相比,大學英語期末機考有無可比擬的優越性,現歸納如下:首先,大學英語期末機考體現了大學英語教學改革的目的.為了全麵實施大學英語教學改革,２００７年７月,教育部根據大學英語教學改革目標要求,結合大學英語教學改革實踐,頒布了修訂後的?大學英語課程教學要求?.教學要求中大學英語教學改革的兩大目的是提高學生的英語綜合應用能力,尤其是聽說能力,以及建設“基於計算機與網絡的英語教學模式”(蔡基剛,２００９).該校自２００７年開展大學英語教學改革至今,大學英語教學已全部采用了多媒體教學,教改班的學生還配備了機房,安裝了在線自主學習係統,基於計算機和課堂的英語教學模式基本建成.經過六學期的期末機考,我們發現學生們使用計算機網絡學習英語的時間逐漸增加,聽力水平有所提高,計算機操作水平也日益熟練.
其次,大學英語期末機考提高了工作效率,節省了成本.期末機考是直接在計算機上從教師們錄入的試題庫中自動抽取並組合成相應級別的一套試題,在考試規定時間內完成答題,並通過計算機來輔助評定考試成績的考試方式.當然,前期我們６０多名英語教師全部參與,在試題庫建設方麵做了大量的工作,包括尋找標準的試題、培訓教師錄入試題,等等.題庫建成之後,機考的優勢就逐步凸顯出來.首先,期末機考提高了工作效率.教師們最切身體會到的一點是實行機考後采用計算機評分係統,極大地提高了閱卷效率.(客觀題得分係統自動給出,教師們隻需批改主觀題)以前批改大學英語期末試卷至少需要一周時間,現在一天就可以批改完試卷.此外,機考有效地降低了試卷製作、印刷成本.該校每學期末參加英語考試的有六七千人,筆試考試組織難度大,投入的人力和物力較多,實行機考後可以給學校節省大量試卷印製費用和考務費用,大大減輕教師監考和閱卷的工作量等.
再次,大學英語期末機考實現了考教分離,減輕了教師負擔,能全麵考核學生的能力.機考實現了考試的現代化,保證了考試的科學性.(試題庫內的１４５◆◆◆英語機考適應性研究試題不從教材內選取,保證了考試與教材分離,不但減少了期末考試對正常教學的影響,減輕了英語教師每學期出卷、改卷的沉重負擔,而且還能全麵考核學生的能力)該校英語期末機考之後,學生們意識到僅僅學好課本知識還不夠,還要做好適應考試新形式的心理和物質準備,需要養成在計算機上進行英語閱讀並答題的習慣,計算機操作水平也得到相應提高.
最後,大學英語期末網考提高考試的效度和信度.四、六級網考是計算機網絡技術、現代教育技術不斷發展的必然結果,這將對大學英語教學改革發生深刻的影響.為順應形勢發展,與四、六級網考接軌,該校自建題庫,進行了期末機考.
評估考試效度的重要標準之一是考試任務與語言真實運用之間的擬合度,即考試的內容和形式與真實語言環境中的交際內容和方式越貼近,考試的效度越高(金豔,吳江,２００９).英語期末機考為考生提供了豐富多彩的視聽材料和互動的平台,增加了考試的真實性和交際性.換句話說,計算機網絡技術在方便教師的同時又考查了學生的聽、說、讀、寫等能力,更有效地考查學生的英語綜合應用能力.
機考的信度大於傳統的紙質考試是不言而喻的.信度包括考試結果和評分結果的穩定性.前者涉及每場考試和同場考試中的不同試卷的等值性,後者涉及試卷在不同時段和不同評分員中評判的一致性(蔡基剛,２００９).由於機考的客觀題占據較大比例,由係統自動評分,避免了人工閱卷的種種失誤,從而提高了客觀題部分的信度;另外由鍵盤輸入的主觀題(如:作文),比起手寫的考場作文,字跡清晰,方便教師閱卷,同時也大大減少了由於書寫問題帶來的評分誤差.蔡基剛和汪中平(２００９)指出:由於鍵盤輸入在學生的學習和生活中具有更大的實用性以及文字清楚有助於提高作文評閱的準確性和公平性,鍵盤輸入寫作考試的效度和信度甚至更高.更有意義的是,鍵盤輸入性作文為今後信度更高的作文的機器自動評分(eＧrating)創造了條件(蔡基剛,２００９).
通過幾次機考實踐證明,大學英語考試實行機考是完全可行的,並具有很多優點.
第一,省時省力省錢.機考屬於綠色考試,實行機考可以節約財力,降低考試成本,大量減少人力資源浪費,提高工作效率.實行機考,取卷、送卷、發卷、收卷、整理試卷等工作人員必然取消,同時監考老師的數量必然大量減少.機考試題采用網絡傳輸,大幅度降低了考試運行和管理成本,可節約資源.
一是省時:考試結束,即知結果.由於是網上考試,計算機程序可以實現交卷即閱卷,對考生來說可以實現考試結束即知結果(張賽斌,２００８).
１４６第五章機考適應性調查與研究◆◆◆電腦網絡閱卷時間很短,客觀題,計算機自動閱卷,主觀題型如英語寫作也可以采用計算機評分(中國外語教育研究中心梁茂成教授研發的“英語作文自動評分係統”可以實現對中國學生英語作文的大規模機器評分).資源消耗低、評分信度可靠,考試結束即可得出成績,閱卷時間節省一半以上;成績統計更加方便,計算機自動完成,１０分鍾內即可生成統計報表.考試資料也易於保留,便於日後研究.
二是省力:以５０００人的英語期末考試為例,若４０人一個考場,共計１２５個考場,需要監考老師２５０人,閱卷老師要１２０多人.實行機考,監考和閱卷人數可減少一半,也就是說,在人力投入上減少一半.
三是省錢:紙筆考試需支付試卷的印刷費、紙張費、搬運費、管理費、監考費、閱卷費.采用機考,參與組織考試的人數減少一半,費用也可減少一半.一般來說,組織一次５０００人的機考,大約一次可節省費用５萬元,同時還節約了紙張、保護了環境,提高了勞動效率,更重要的是以考促學,提高了學生學習的自主性.
第二,適應時代需求.IT時代對於個人素養的這一基本要求早已不再是一句口號了,即新時代所需要的人才不再是單一的知識性人才,而是具備高素質的綜合性人才.為了更好地適應這一時代需求,大學英語機考把計算機技術、認知科學理論和人工智能技術結合起來,既能考核學生的英語知識,又能考核學生的計算機操作能力,從而促使學生成為高素質的綜合性人才.機考能實現考試的現代化;能保證考試的科學性;能全麵考核學生的能力;能節省大量人力和考務費用;能提高考試對教學實踐的正麵反撥效應;考試後信息反饋迅速及時.
第三,提高教學質量.試題庫可以減輕教師出題的工作負擔,還可以實現教考分離,改善學風,改善教風,學生按課程教學要求來學,老師按教學要求來教,老師不再劃重點,不再劃考試範圍,學生不再隻背答案,有效保證了試題的保密性,更科學地檢測教學質量,更好地實現教學管理的調控職能,把握教學目標的實現和保證教學質量,為學生提供考前練習的學習資源平台,從而培養學生的自主學習能力和激發學生的學習主動性與積極性(李金海,２０１１).
第四,消除作弊現象.機考采用試題庫生成試卷的方式,可以做到一個考場裏每份試卷的題目不同,這就打消了考生作弊的念頭.根據設計,機考可以做到每月或每周考一次,考生如不及格或不滿意分數可多次申請參加考試,考試作弊的動機就小多了.
第五,培養學生的自主學習能力.學生可根據考試的要求和自己的情況確立學習目標、製定學習計劃、選擇學習方式、監控學習過程、通過機考檢查學１４７◆◆◆英語機考適應性研究習計劃的落實情況以及評估學習效果.
第六,提高測試的信度和效度.機考客觀題多,音頻,視頻,時間都一樣,翻譯和作文都是打字,不存在因字跡不清、卷麵不整而失分.考試中,信度和效度的矛盾得到了很好的解決.
第七,改善外語教學環境.實行機考,學校對藍鴿語言學科平台進行了升級,增設了服務器,增加了３００個考點,更新了８００台電腦,增設了３間英語自主學習電腦室,促使了教學硬件的改造升級.
１４８第六章結果分析◆◆◆第六章結果分析一、大學英語機考實踐的總體情況分析通過幾次大學英語機考實踐可以看出,學生和教師對大學英語機考持肯定態度.他們認為機考是一種與時俱進的考試形式,有利於與國際化考試接軌,符合現代社會對學習者信息素養方麵的要求.同時,實施大學英語機考的重要意義在於進一步貫徹實施?大學英語課程教學要求?的改革要求,特別是推廣基於課堂和計算機的新教學模式(教育部高等教育司,２００７),其目標是建立“以試卷庫為基礎的計算機網絡係統,盡可能在適當時間、適當地點為考生提供以聽力測試為主的包含說讀寫譯測試在內、重點考查英語學習可持續發展能力的計算機考試”(張堯學,２００８).相關研究的調查對象表示願意加強操作練習或接受訓練,他們認為“對機考的不適應是暫時的,用多了(指使用計算機網絡)自然會習慣”.同時,訪談對象認為與傳統的紙質考試相比,機考還有一些其他的突出優勢:機考節省紙張、降低考試成本,是一種環保型考試;網考答題規範;一人一卷可防止作弊;與紙質考試相比,機考的考查內容更為全麵,能綜合考查學生聽、說、讀、寫各方麵的技能及語言應用能力.然而,對學生而言,機考是一種新事物,一種全新的測試方式,所以對機考還有著諸多方麵的不適應.(教師也要改變觀念,進行教學改革,注意教學實踐中對機考的應對,適應機考帶來的契機和挑戰)這主要集中表現在以下幾個方麵:電腦操作妨礙了思維;設備效果影響心情,環境因素造成心理壓力,對考試公平性評判的新視角———“讓輸入速度、操作水平影響英語水平的發揮,有失公平”、“讓聽力水平影響寫作的發揮,對聽力差的考生不公平”,等等.
對不同語言技能的機考,學生的具體表現和適應情況也有所差異.我們下麵將分別對口語機考、試聽機考和讀寫機考等側重不同語言技能的機考實踐中學生的表現適應情況進行論述,分析造成學生不適應的原因,並努力探索有效措施,提高學生(及教師)對機考的適應性,有效地測試學生的綜合語言能力,最終達到?新大學英語課程教學要求?所明確的教學目標.
與直接型口試相比,受訪教師認為口語機考有三點優勢:(１)省時、省力.以往需要一周的課時進行隨堂口試,而大規模口語機考隻需１５小時即可完１４９◆◆◆英語機考適應性研究成.(２)語料易於保管.學生的原始聲音資料可以完整保留.考試結束後,教師可以按需要進行各種分析,為以後的考試、科研和教學提供各種有益的參考依據,而直接型口試卻做不到這點.(３)調動學生學習積極性.這次的口語機考對雙語班學生的視聽說自主學習起到了督促作用.自從通知學生期末采取機考後,學生對視聽說更加重視,課後更是利用“暢言英語互動學習平台”練習口語.因此,口語機考對大學英語的導向作用很好,不僅緩解了教師的工作壓力,還可以有效改變學生啞巴英語的現象.
二、口語機考情況在第五章,我們進行了口語機考方麵的研究和實踐,結果表明:機考係統自動化判分和任課教師主觀評分的Pearson相關度達到０９１１.由此可見,計算機係統自動化判分與教師評分具有相當高的一致性,並且口語機考在很大程度上能夠反映學生的真實口語能力,基本可代替教師批量評分完成直接型口試任務.
由問卷調查結果(見表５４)得知:有６６％的學生接受口語機考,也有２２３％的學生不能接受;同時,有６８２％的學生認為機考環境不會影響他們正常口語水平的發揮.在沒有教師直接參與口語交流的情況下,５０３％的學生認為機考能緩解焦慮感,而２９３％的學生則表現得更為緊張;相對於直接型口試而言,５３７％的學生認為口語機考能夠真實反映他們的口語水平,另有４９７％的學生認為口語機考缺乏真實性.
其他的相關研究也表明,與麵試型口試相比,口語機考雖缺乏交際的真實性,但考生對機考各方麵總體評價較好,且相關的對比研究數據以及評分一致性數據表明,兩者相關性較高,具有較高的效度和可替代性,測試結果不存在顯著差異(高丙梁,２００７;黃崢崢,２０１３;賈清豔,２０１３).由於口語機考不帶有主觀印象,成績更具客觀性,因此很大程度上能有效反映考生的真實口語表達能力.此外,機考中生成的錄音文件可以形成語料庫,有助於教師進一步分析語料,查找影響學生口語能力發揮的因素.因此,口語機考是解決考生人數多、師資不足、測試信度等問題的有效途徑之一.
同時,對教師的訪談發現,大多數教師認為口語機考能客觀高效地反映學生的口語水平,覺得口語機考能夠對英語口語教學產生正麵的反撥作用,能夠有效激發學生學習英語的動力.但是對於口語機考的互動性,教師的意見較分散,這說明口語機考在加強交互性方麵還有待提高.總的來說,口語機考得到了大部分教師,特別是中青年教師的認可.他們普遍認為機考題型的多感官刺激有助於學生的語言輸出,用機考成績來解釋學生口語能力具有較高的１５０第六章結果分析◆◆◆可信度.
然而,盡管口語機考有較高的效度、信度和評分的一致性,但要讓學生完全接受和習慣口語機考這一新型的測試方法,還需要一個適應過程.作為一種全新的考試形式,機考也難免存在一些問題.
(一)口語機考中學生的不適應及其局限性第一,設備問題,機器死機,加重學生的測試焦慮感,從而影響其真實水平的發揮.對評分者而言,他們無法了解考生的體態語言和麵部表情;而且當聽到學生說得不清楚或說得太少時,不能在當下提醒;一旦錄音結束,不能重新錄音,當計算機設備出了問題或錄音效果不佳時,評分工作就難以進行,隻能重新抽取試卷.以上及類似的其他情況均可能削弱考試的公平性.
第二,從口語機考的形式來講,試題的真實性和交互性較差.人機對話畢竟不如人與人的麵對麵對話來得自如真切.雖然由於技術的發展,口語考試經曆了從OPI到SOPI,現在正在向COPI發展的曆程(蔡基剛,２００５),但這也隻能局限在某些測試題型:朗讀、表述觀點、看圖說話等形式用機考比較容易,但對話、討論、辯論等互動形式用機考比較困難,效果還不理想.測試的效度不夠是計算機輔助口語測試曆來存在的一個問題.口語是一種交際性很強的語言能力,應該是互動的.人機對話很難做到真實的溝通,體現出交際的真實性和交互性,所以就不能完全準確地反映學生的真實交際能力.
第三,從口語機考設備來講,有的學生考試後說對著計算機說話找不到真實的感覺,表達不自然,如果以後考試能裝攝像頭,和視頻聊天一樣,效果就更好了.
第四,機考口試與麵試相比,缺乏人文關懷,機考中學生反應無法用表情、眼神和手勢等體態語言增強交際的效果,真實感差,不能達到真正的交際目的.特別是屏幕上顯示的回答問題的時間給學生一種緊迫感;而麵對麵的口語測試除了語言交流,還有情感交流,教師鼓勵的眼神和微笑對於緩解學生的考試焦慮有很大的作用.
第五,考試紀律問題:由於考題有限,因此無論是麵試型口試還是機輔口試都存在一個共同的問題:前麵考完的考生把考題泄傳給後麵幾場的考生,使他們有突擊準備的可能而削弱考試的公平性.
(二)應對措施針對上述問題,我們可以采用如下的方法加以彌補或改進.第一,口試係統設計單位和部門,在係統研發中如能考慮增加視頻功能或設計出真正智能化的英語口語考試軟件,考生在屏幕上就可以看見對話方的麵容和表情神態,１５１◆◆◆英語機考適應性研究與之進行交流,勢必能使交際更為接近真實;評分者可以看見考生的整個口語表達過程,也能增加對交際效果評價的客觀性.
第二,在出題形式上力求多樣化以彌補機考交互性差的問題.今後大學英語機考這方麵要進行改進,如:增加兩人討論的題型.由電腦控製隨機配對,考生可自由交流.這種模式為雙向交互式,考生與考生之間不斷地交換聽與說的角色,經過多個回合的信息交流達到相互溝通的目的.盡管討論雙方不能直接麵對麵,但耳機中傳出的是真實的人聲,也可營造出一種逼真的交際環境,來彌補看不到真人的缺陷.即使是麵對麵口試,由於考生麵對的是考官,嚴格意義上講也不能算作真實的交際場景.調查表明,許多學生麵對考官會感到緊張,這勢必會影響到正常發揮.
第三,利用多媒體的優勢盡量模擬真實的場景,如電腦的屏幕可以切換出與不同話題相應的畫麵,彌補機考真實性差的問題以提高考試的效度.
第四,針對考生對著機器講話不適應的問題,我們可以通過平時的訓練使學生逐漸熟悉這種形式來提高機考的可操作性.由於計算機網絡技術的迅猛發展,一些大型外語教育出版社研究開發出的用於口語練習的自主學習軟件也要求學生與電腦進行對話,因此人機對話對學生而言並不陌生.如果平時或考前訓練得當,考試時學生也不會感到緊張和不適.金豔(２００９)提到,由於部分學生(中山大學)在參加SOPI測試前接受了考前培訓,對錄音的方式、時間的掌握、每個部分的考試形式有了直接的感性認識,而且考生都實際做了一套模擬練習題,結果表明,參加考前培訓的考生成績要高於未參加培訓的考生.由此可見,在平時自主學習時,我們可以抽出一定的時間模擬一下考試的真實情景,提高學生對考試形式的熟悉程度,以便在實地測試中不會因非語言因素影響測試結果.
第五,口語機考的適應性主要取決於以試題庫為核心的考試內容.考試內容是否與教學大綱、考試大綱及教材相適應,是否與教學活動相適宜,在一定程度上決定著口語機考的適應性.應該指出,英語教學的目標、教學效果評價標準及考生口語水平的測量方法是相對穩定的,但其教學的具體內容、形式及要求是發展變化的.所以,試題庫的建設是一個動態的過程,需要不斷地補充、修改,從而極大可能地保持與教學活動相適應、相一致.目前,口語機考在考試內容、答卷方式等方麵與日常教學活動存在著較大的差距,試題庫需要進一步調整、補充和改進.這也說明,目前大學英語口語教學還需要進一步改革,要不斷應用現代信息技術,不斷融入社會發展的科技信息和文化元素,適應社會發展的新形勢、新需求.從本質上說,適應性是雙向的,是“主客互適”.口語機考與麵試的適應性比值說明,目前口語機考還有很大的改進與完善的１５２第六章結果分析◆◆◆空間,要進一步加強口語機考與口語教學的融合.
第六,在設計機考試題時,測試者和測試管理者應充分考慮受試者的情感因素,運用人本主義心理學理論,通過聽覺、視覺等多感官刺激和多形式試題內容,為受試者創造較為真實、輕鬆的語言交際環境,最大限度地為他們提供友好界麵,從而有效緩解他們的情景焦慮,使他們發揮出真實的水平.
第七,測試的主體是人.考生在精力高度集中的情況下,長時間凝視屏幕會導致其視覺疲勞、過度緊張和精力不集中,所以學校要增加投入,使測試顯示界麵和座椅設計得更加人性化,體現出機考的人文關懷.設備問題:硬件設備是機考質量的基本保障.因此,我們要保障機考的軟、硬件設備都有較高的質量和較好的性能(如電腦、聲卡、麥克風、軟件等).
第八,為解決泄題和紀律問題,每場考試分別用不同的考題,用過一遍就不再使用,盡量避免出現考生“有備而來”的情況.
大麵積開展口語教學和口語測試需要財力和技術的支持,購買多媒體口語教學軟件、設計注重口語教學的網絡學習平台需要資金和技術支持,用於大規模測試的軟件和評分閱卷網站也需要技術人員的設計和維護.所以,要全麵推廣這一測試形式,經費和技術支持必不可少.
此外,本書中所未涉及的交際類口語測試題型也將是今後研究的重點,尤其是技術支持層麵.因為,對於能更好地測試交際能力的機考題型,如小組討論等,往往受到技術支持層麵的限製.但是,隨著計算機技術持續快速的發展,計算機輔助口語測試的前景仍然十分廣闊.
隨著計算機軟硬件在英語教學和英語測試中應用的普及,學生在電腦上對著麥克風說英語的緊張程度將會有所緩解.根據需要在考前適當地對考生進行培訓並提供係統試用機會,告訴考生注意在交際能力測試的過程中,彌補可能丟失的非語言信息,把計算機口試形式可能帶來的負麵影響降低到最小,具有現實意義.
總之,大規模機助口語測試是我國英語教學改革和教學手段多樣化的產物.它能利用現有的教學技術,實現英語口語測試的現代化,簡化考試組織管理,實現考評分離,不僅能提高口語考試的信度和效度,提高評分公正度,降低考試成本,而且對整個口語教學將會產生正麵的反撥作用,這也展示出計算機在英語口語能力測試方麵廣闊的應用前景.
三、視聽機考情況目前正在全國大力推廣的大學英語機考考試和傳統的紙筆考試的最大區別主要體現在其獨特新穎的視聽理解部分.考生對這部分測試的評價如何?
１５３◆◆◆英語機考適應性研究對大學英語教學產生了怎樣的影響?這是第五章第四節關注的重點.最終調查結果發現,盡管學生普遍認為視聽理解題型難度較大,但卻認為其更能客觀地檢驗出自己的英語聽力水平.由調研結果得到的教學啟示是:大學英語教師應當積極轉變教學方式,改變課堂語言輸入環境;學生則應主動適應測試形式的變化,改變學習策略.