正文 第12章研究中的層麵問題(3 / 3)

每一個長方格就代表一個人。假設我們是在測量員工的滿意度。因此,我們一共有25個員工的數據。員工分為5組,凡是同一個縱軸的長方格就代表同一組。每個方格的高低水平代表員工的數據(滿意度)的大小。每一組中的圓圈代表這一組的平均數。因此,我們看見最後一組(最右邊的5個數據)是相對其他長方格為高的,代表這組員工的滿意度是相對最高的。可知,這一組的平均滿意度(最右邊的一個圓圈)也比其他組的圓圈較高一點。當中橫的一條虛線(brokenline)代表所有25位員工的滿意度的總平均。ICC所測量的是每個小組內的方差(每一個縱軸的長方形與自己組內的圓形的平均平方差額),與5個小組平均(圓圈)與整個數據的總平均(虛線)的平均平方差的比較。前者是“組內方差”(σ2w),後者是“組間方差”(σ2b)。現在讓我們用一個數學模型來代表每一個組員的評分,如果小組j中組員k的評分是xjk,xjk可以視為由兩個部分組成,小組j的真實“團隊成員互助行為”分數(Gj)和小組j中組員k的評分的誤差(ejk),即xjk=Gj+ejkk=1,…,Kj=1,…,J式中xjk——第j個小組中第k個組員的評分;

Gj——第j個小組“團隊成員互助行為”的真實分數(truescore),“真實分數”的意思是當k=∞時,第j個小組的平均評分;

ejk——第j個小組中第k個組員的評分誤差或是隨機部分;

Gj——正態分布,平均值是0,方差是σ2e;

ejk——正態分布,平均值是0,方差是σ2p;這個模型還可以改成另外一種寫法,即xjk=μ+(Gj-μ)+ejk或是xjk=μ+αj+ejk式中μ——整個樣本裏所有小組內的所有組員的平均評分;

αj——第j組的平均值Gj離開μ的距離。因此,組內方差是1kk(xjk-Gj)2,而組間方差是1jj(Gj-μ)2。這是什麼意思呢?首先,所有的組員,無論他是哪一個組的,合起來有一個總平均(grandmean)的評分。我們將這個總平均稱為μ。其實,這就是所有人的平均評分。然後,每一個組的“平均評分”會與這個總平均有差別。這就是(Gj-μ)或者簡稱αj。這個“組的平均”與“總平均”的差,其實就是組與組之間的評分的差異。在我們這個例子中,就是一組與另外一組的“團隊成員互助行為”的差異。最後,每一個組的每一個組內組員,他的評分也會與他自己的組的平均有差異,這其實就是誤差(ejk)。如果我們對上麵的評分做一個方差分析(ANOVA),我們就有J個小組,每小組有K個組員,每一個組員都是一個數據點。這個方差分析可以告訴我們,小組與小組之間有無團隊成員互助行為的差異。如果μ是所有組所有成員報告值的平均值的話,我們將有以下的方差分解表:方差來源自由度SSMSMS期望值小組之間(BetweenGroup)J-1k(Gj-μ)2MSBkσ2b+σ2w誤差(Error)J(K-1)(xij-Gj)2MSWσ2w總和(Total)NK-1(xjk-μ)2ICC(1)的定義為ICC(1)=σ2bσ2b+σ2w從上式我們知道,ICC(1)是小組之間真實“團隊成員互助行為”的方差(σ2b),與觀察到的表現的總方差(σ2b+σ2w)的比率。因為我們不知道σ2b和σ2w是多少,計算ICC時隻能采用抽樣數據計算出來的MSB(Meansquarebetween)和MSW(Meansquarewithin)。利用MSB和MSW的期望值代入ICC的定義公式,得ICC(1)=MSB-MSWMSB+(k-1)MSW基於以上的解釋,ICC(1)有7個特點:①當MSB=MSW時,“小組之間的差異”與“小組內的差異”一樣大,ICC(1)=0。②當MSW=0時,“小組內的評分”沒有差異,每個評分者的評分都一樣,ICC(1)=1。③當MSW比MSB更大時,一般把ICC(1)當成0。④ICC(1)是兩個不同的小組p和q內所有小組組員的評分的相關係數(推導見附錄1)。ICC(1)越大,代表在同一個組裏的不同成員的評分越一致。⑤ICC(1)被定義為小組之間的真實方差(σ2G)與觀察到的方差(σ2G+σ2e)的比率。如果讀者還記得測量一章的內容,應該有印象這正是信度的定義,所以ICC(1)也可以看成是小組成員對同一被評對象進行評分的信度。⑥[1-ICC(1)]可以被視為評分者評分差異的百分比(percentageofvarianceduetothedisagreementamongtheraters,Bartko,1976:763)。因為當ICC(1)高的時候,就代表組間的差異遠遠大於組內的差異(σ2bσ2w);當ICC(1)低的時候,組內差異主要是由於評分者之間的差異帶來的,故[1-ICC(1)]恰好就可以表示出這一部分所占的比例。⑦ICC的邏輯跟Rwg完全不一樣。Rwg是比較“變量實際觀察的方差”和“理論的隨機分布的方差”來判斷觀測值之間的一致程度。如果變量的方差近乎隨機分布的方差,研究人員就把變異看成是隨機性的,即團隊成員的評分沒有一致性。ICC的理論卻比較像方差分析(ANOVA)的概念。ICC比較“團隊內的變量評分的方差”(組內的方差(Withingroupvariance),σ2w)和“團隊之間的平均評分的方差”(組與組之間的方差(Betweengroupvariance),σ2b)來決定團隊內人員評分的一致性。如果σ2w遠少於σ2b,即代表組內的評分非常一致,而組與組之間的評分相差很大,這就代表組內變量的一致性很高、隨機性很低,相反,如果組內的方差(σ2w)很大,而組之間的方差(σ2b)很小的話,就代表組內的一致性很低而變量的隨機性很高。上麵的ICC(1)隻是表現了每一組內不同組員的評分的一致性。所以我們可以把ICC(1)看成是“個別組員的評分”的信度。但是,我們收取小組數據的最終目的,其實是把每一組的所有組員的評分計算出一個平均的評分。然後用這個“小組內的平均評分”來代表該小組的評分。因此我們真正用來做數據分析時,采用的不是個別組員的評分,而是每一個小組的“平均評分”。

從這個角度看,ICC(1)代表的組內成員評分的一致性,或者是組內成員的評分的信度,可能不是我們最有興趣的。相反,我們可能更有興趣的是,如果我用了小組的平均評分,這個“小組平均”的信度是多少。這就稱為ICC(2)了。因此:ICC(2)是小組的平均評分的信度;ICC(1)是小組內不同的組員評分的信度。ICC(2)可以理解為:當我們從n個組內,隨機地從每一個組內抽取k個組員,個別計算每一組的平均。然後,我們(理論上)再重複依照這個步驟再做一次。因此,我們就會有兩個樣本在手上,每個樣本都有n個組,每個組有k個組員的平均評分。ICC(2)就可以看成是這兩個樣本的n個平均的相關係數。換句話說,ICC(2)就是小組的平均評分的信度。根據SpearmanBrownprophecyformula,一個測試現在的信度是rxx,如果我們重複這個測試k次的話,它的信度將會增加,新測試(k倍原來的測試)的信度ryy與原來測試的信度rxx的關係為ryy=krxx1+(k-1)rxx如果每一組都有k個評分者,而我們用這k個評分者的“平均評分”作為該組的評分的話,那這J個組的“平均評分”的信度就好像是ICC(1)擴大了k倍一樣。這個“平均評分”的信度稱為ICC(2)。其實就是把SpearmanBrownprophecyformula用在ICC(1)上麵(詳細解釋見附錄2),即ICC(2)=kICC(1)1+(k-1)ICC(1)=MSB-MSWMSB1)例子評分者評分者評分者評分者甲乙丙丁總數Gj小組一2433123.00小組二5756235.75小組三131271.75小組四7998338.25小組五2461133.25小組六6884266.50總數23353224114平均3.835.835.334.004.75SSBetweenGroups=kj(Gj-μ)2kj=4

SSWithinGroupt=(xij-Gj)2

SSTotal=(xij-μ)2方差來源自由度公式SSMS小組間(BetweenGroups)(n-1)=5kj(Gj-μ)2122.5024.50組內(WithinGroups)n(k-1)=18(xij-Gj)236.00總和(Total)nk-1158.501.23

ICC(1)=MSB-MSWMSB+(k-1)MSW=24.5-2.0024.5+(4-1)2.00=0.7377(“單一評分者”的信度)ICC(2)=MSB-MSWMSB=24.5-2.0024.5=0.9184(“4個評分者的平均”的信度)2)ICC(2)的概念小組主管對小組的凝聚力的評分k個組員對小組的凝聚力的評分的“平均數”小組一4小組一3.8小組二2小組二1.5小組N5小組N3.5在左邊的設計裏,每個小組隻有一個主管對“小組的凝聚力”評分,因此,每個小組隻有一個“小組的凝聚力”分數。我們假設這個“小組的凝聚力”評分的信度是rxx。在右邊的設計裏,每個小組有k個小組成員對“小組的凝聚力”評分,因此,每個小組有k個“小組的凝聚力”分數。如果我們把每個小組的k個組員的評分平均,用這個平均值作為“小組的凝聚力”的分數,假設組員評分的誤差與主管評分的誤差一樣,“組員的平均評分”的信度(ryy)肯定比“一個主管的評分”(rxx)的信度高。兩者之間的關係就可以用來代表,即ryy=krxx1+(k-1)rxxICC(1)與ICC(2)的關係就像以上的例子一樣。①ICC(1)是每組的一個評分者對組內不同對象評分的信度。ICC(2)是一組評分者平均對組內不同對象評分的信度。②ICC(1)是小組內“個別評分者”的評分的信度。ICC(2)小組的“平均評分”的信度。也就是說如果我們在N個小組的每個小組內再隨機選出另外k個評分者來對同樣的對象評分,然後計算每組的“平均評分”。

兩次“平均評分”的相關係數就是ICC(2)的值。③ICC(2)受每組的評分者數目(k)影響很大。k越大,ICC(2)值就越大。④因為ICC(2)是組內“平均評分”的信度,而“平均評分”的誤差肯定比“個人評分”小,故ICC(2)一定比ICC(1)大。

σ2=E(x2)-[E(x)]2

=Ak=11Ak2-Ak=11Ak2

=1AAk=1k2-1AAk=1k2

=1AA(A+1)(2A+1)6-1AA(A+1)22

=1AA(A+1)2(2A+1)3-1AA(A+1)2

=A+122(2A+1)-3(A+1)6

=A+12A-16

σ2=A2-112

2Rwg的計算例子假設我們有以下數據。我們有6組員工,每一組有10人。每個員工都會用兩個條目(x1和x2)評價自己的小組的“公民行為”。

Groupx1x2Groupx1x2Groupx1x2153353554142353544154354544143352552153352552144344552152342543143344553154343543142343553244442653253442644243453643253452654242444643252443643243453654254453652242444642254444642以下的SPSS程序就可以做Rwg的分析。首先假設數據是存在rwgdata.sav文件內。GETfile=′k:\rwgdata.sav′.AGGREGATE/OUTFILE=′k:\rwgout.sav′/BREAK=group/COUNT=N/sdx1sdx2=SD(x1x2).execute.上麵的程序是計算x1和x2的“組內標準差”,然後把每組的“組內標準差”存於兩個新的變量中,分別是sdx1和sdx2。Getfile=′k:\rwgout.sav′.COMPUTEvarx1=sdx1*sdx1.COMPUTEvarx2=sdx2*sdx2.把標準差變成方差。computemvar=MEAN(varx1,varx2).計算S2xycomputenvar=2.小組的公民行為是用兩個條目來測量的。computerwg=nvar*(1-(mvar/2))/(nvar*(1-(mvar/2))+mvar/2).計算Rwg。execute.結果,我們會得到如下6組的Rwg估計數值:Rwg第一組0.8661第二組0.8661第三組0.8661第四組0.8679第五組0.8679第六組0.8679

3為什麼ICC(1)可以看成是信度的指標?注意:本章內容裏提供的是“樣本”的ICC(1)公式,這裏我們用MSB和MSW的期望值,因為期望值是代表了本體中的MSB和MSW。ICC(1)=E(MSB)-E(MSW)E(MSB)+(k-1)E(MSW)

=kσ2b+σ2w-σ2wkσ2b+σ2w+(k-1)σ2w

=kσ2bkσ2b+kσ2w

=σ2bσ2b+σ2w

=rxx4為什麼ICC(2)(用了“平均評分”的信度)就等於讓ICC(1)擴大了k倍?現在讓我們來看看,如果每一組隻有一個評分者,信度的定義為rxx=σ2tσ2x=σ2tσ2t+σ2e在這種情形下,σ2t就是σ2b,σ2e就是σ2w,因為“組間差異”σ2b才是真實的差異(在我們的例子,就是組與組之間的公民行為的不同)。在每一個組內,不同的組員的不同評分,其實是隨機的誤差(在我們的例子,就是組內的不同組員評價自己組的公民行為的不同),因為理論上每一個組內的所有組員的評分應該是一樣的,也就是這個組的“真實”公民行為。現在我們平均了k個評分者,如果每個評分者的隨機部分都一樣,用了“平均評分”就好比把隨機的部分減少了k倍。因此,“平均評分”的信度的隨機方差是σ2w/k(Winer,1013),而“平均評分”的信度為ryy=σ2bσ2b+(σ2w/k)

ryy=kσ2bkσ2b+σ2w

ryy=kσ2bσ2b+σ2w+(k-1)σ2b

ryy=kσ2bσ2b+σ2wσ2b+σ2w+(k-1)σ2bσ2b+σ2w

ryy=krxx1+(k-1)rxx上式中最後一步,其實就是SpearmanBrownprophecyformula。因此,如果ICC(2)是“平均評分”的信度,ICC(2)就相當於每組隻有一個評分者時的信度。5ICC(1)和ICC(2)計算的例子以下麵的簡單數據為例子。有6組(group),每組有4為組員(subject),每位組員都評價自己組內的一般公民行為(measure)。數據如下:

計算ICC有以下兩個方法:方法一:如果用這個數據在SPSS做一個簡單的方差分析(onewayANOVAof“measure”by“group”),將有如下的結果:SSdfMSBetweengroup56.20833511.24167withingroup(Error)112.75186.263889基於這個結果,就可計算ICC:ICC(1)=MSB-MSWMSB+(k-1)MSW[注:k=每組裏的組員人數]ICC(1)=11.2417-6.263911.2417+(4-1)×6.2639

ICC(1)=0.1657ICC(2)=MSB-MSWMSB

ICC(2)=11.2417-6.263911.2417

ICC(2)=0.4428方法二:如果我們希望由SPSS直接計算ICC,要用如下的方法重新組織數據:現在有5個變量,第一個是分組(group)。有6組。然後每一個組員(subject)的評分就是一個變量。因為每組有4個組員,所以有4個變量,分別是subject1,subject2,subject3和subject4。

然後,我們在SPSS內:①選擇Scale。②然後選reliabilityanalysis。③然後選擇subject1到subject4這4個變量。④在統計項(statistics)裏,選擇intraclasscorrelation和Model(onewayrandom)結果,程序就會為你計算ICC(1)和ICC(2)了。輸出中,SingleMeasure對應的intraclasscorrelation就是ICC(1)=0.166;AverageMeasure對應的intraclasscorrelation就是ICC(2)=0.443。跟方法一的結果是一樣的。上麵的所謂“onewayrandommodel”,意思是我們假設所有的每一組內的評分者是隨機選擇的。因此,組內評分者的方差會全看成是隨機的誤差。