測評要素的確定要依據兩個方麵來進行:一是崗位職責與任職要求;二是文件筐測驗的特點。
有效的崗位分析是文件筐測驗設計試題最核心的基礎工作,分析的關鍵內容開展得越規範、越全麵、越深入、越細致,文件筐測驗的題目設計就越容易,測評結果的信度和效度也就越高。下列因素是文件筐測驗題目設計的主要依據。
環境特點:所在行業的特點、單位內部和外部環境狀況、同行文化和希望建立的新文化等。
崗位特點:管理職務設置的目的和工作職責、管理職務的工作性質與工作方式等。
工作特點:管理者工作活動的內容、各項工作活動占全部工作活動時間的比例、各項工作活動的執行權限和執行依據、工作活動結果的預期標準(每一管理者的工作活動都包括人際關係、信息傳遞和決策製訂三大類活動)、管理者每一工作活動的主導業務流程等。
工作關係:管理者的直接上級和間接上級、直接下級和間接下級、管理者的同級、管理者的企業內部客戶和企業外部客戶。
工作資源:管理者可調遣或協調的工作資源,包括人力資源、物力資源、財力資源和信息資源。
測評目標:測評目標分招聘、選拔、評價、培訓等,不同的測評目標和測評要求,對不同測評題目在整個測評中的權重有不同的考慮。
由於文件筐測驗的方法不一定對所有的測評要素都適合,因此,需要根據文件筐測驗的特點,對測評要素進行選擇。通過選擇確定測評什麼要素、哪些要素可以得到充分測評以及各個要素所占的權重等。
(二)選取文件素材,設計文件
文件的編製是文件筐測驗編製過程中的核心環節,主要有以下三個步驟。
1.獲取文件素材
編製文件所需要的素材不是憑空杜撰的,必須從任職者的實際工作中得來。一般情況下,要按所需文件數量的兩倍到三倍來征集文件素材。在實際操作中經常采用的一種方法,是請對應崗位一批比較好的任職者或者他們的直接上級開交流會,讓他們回想自己印象比較深刻的、在工作中處理過的各種事情或文件材料,並要求他們寫出來。事先將測評要素及其內涵告訴他們,讓他們圍繞這些要素來回憶一些關鍵事件,這些關鍵事件材料最好具備以下幾個特征:含有實際工作中需要解決的棘手的問題;
事件提供了足夠充分的細節,依據這些細節材料可以提出處理意見;
事件的處理不需要專業知識;
事件的解決有一個比較科學的處理辦法。
2.加工文件素材
在獲取的大量素材中,有一些可能不符合文件筐測試的要求,比如說有的事件根本就反映不出相應的能力來,就可以把這個事件淘汰掉了。
然後是對剩下的許多事件進行加工。因為任職者寫出來的事件中有的太抽象或者不夠完整,這就需要適當補充完整;有的包含了多個事件,這就需要適當地進行拆分;還有的事件描述得太繁瑣,這就需要進一步地精簡加工。此外,如果所選材料完全真實的的話,可能會偏重經驗的考察,而忽視潛能的考察,據此選拔出來的人無疑是完全與招聘單位文化氣氛相同的人,單位內部的應試者被選中的可能性明顯增大,不利於引入外來人才,給單位輸人新鮮血液,同時這對單位外部的應試者也不公平。
最後還需要對文件的文字陳述進行加工,保證試題的表述清楚,文句簡明扼要,表意確切,不至於產生誤解,但是也不能遺漏一些必要的條件。文件筐測驗不是閱讀理解或者語文能力測驗,而是對各種領導和管理能力的測量,一般情況下,不使用太深的詞句,以免影響測驗結果的公平性。
3.編製文件
在對獲取的素材進行加工的基礎上,可以編製測驗所需要的文件,這些文件包括信函、備忘錄、報告、請示、便條等。編成的文件一般具有三大特點:
典型性。文件內容所涉及的是對應崗位工作中最主要的活動,而不是那些次要的、偶然的活動。文件所涉及的事件,不一定是實際工作中的原型,它是對多種情況進行歸納和概括後,集中在一個文件上的設定事件;
主題突出。單個文件應該以描述一個主題為核心,盡量避免一個事件的多個方麵都是重點;
難度要適中。測驗的目的在於區分應試者能力的高低,因此所編製的文件,不應太複雜,以免應試者都不會處理而出現“地板”效應;但也不應太簡單,使應試者都會處理而出現“天花板”效應。一般是由易到難,形成梯度。
(三)組織測試,收集答案
文件筐編製好後,就要編製答案,製定評價標準。
為了使評價標準有針對性和實用性,就需要收集各種答案,即文件的各種處理辦法。通常采用的做法,是把編好的文件筐讓在職的有關人員做答。這些在職人員和應試者應具有相似的特征,他們所在的崗位,就是應試者將來擬任的崗位。人數不能太少,通常應有幾十人,但是時限可以稍微寬鬆一些,以保證他們能夠將所有的文件都處理完。最後根據這些在職人員的結果進行彙總分類,列出表格。
為了驗證編製出來的文件筐測驗的效度,一般會將文件筐測驗施測於一批優秀的任職者和一批沒有管理經驗的一般人員。將兩個團體的做答結果進行比較。假如兩個團體的作答結果之間沒有顯著性的差異,或者一般人員的結果比優秀管理者的結果要好,這就說明編製的文件筐測驗可能存在問題,區分效度不明顯,需要進一步修改。假如優秀管理者的結果明顯地好於一般人員,則可以接受這份文件筐測驗,但要注意強調保密。
(四)編製答案,確定評分標準
讓有經驗的高層管理人員或者主管對上述所有的答案用三級量表評定(好、中、差並進一步確認題目所測試的要素以及答案可能反映出來的被試者的能力水平。在此基礎上,把所得到的結果進行總結性的統計和組織,即得出了各文件的可能答案表及評分標準。
下麵給出一個評分標準的樣例:
好:能夠有條不紊地處理各種公文和信息材料,並根據信息的性質和輕重緩急對信息進行準確的分類處理。在處理問題時,能及時提出切實可行的解決方案,主要表現在能係統地事先安排和分配工作,注意不同信息之間的關係,有效地利用人、財、物和信息資源。
中:分析和處理問題時能夠區分事件的輕重緩急,能夠看到不同信息間的關係,但解決問題的辦法不是很有效,在資源的分配與調用方麵也不盡合理。
差:處理各種公文和信息材料時不分輕重緩急,沒有覺察到各種事件之間的內在聯係。解決問題時沒有考慮到時間、成本和資源方麵的種種限製以致提出解決問題的辦法不可行。