我們要估計y^i時，需要知道所有在回歸方程裏麵的回歸係數（也就是一個截距，如b1，b2，…，bk）。因此，如果我們有k個xi，就要猜k個參數，再加截距。故自由度是（N-1-k）。因此，自由度也可分解為(y-y)2=(y^-y)2+(y-y^)2“總平方和”=“回歸的平方和”+“殘差的平方和”N-1=k+(N-k-1)每一個“平方和”除以自己的自由度，我們稱為“平方均（meansquare）”。
因此“總平方和”/N-1稱為“總均方（meansquaretotal）”“回歸平方和”/k稱為“回歸均方（meansquareregression）”“殘差平方和”/(N-k-1)稱為“殘差均方（meansquareresidual）”我們問的第二個問題，就是到底“主管衝突”是否影響“離職傾向”。
這個問題其實是問模型中的b2是否等於0。同樣，我們知道樣本中的b2是0.24，但是總體中的b2還有可能是0。因此，我們有H0：β2=0（β2是總體中的b2）。要驗證這個假設，首先需要知道b2這個統計值的“抽樣分布”是怎樣的。統計學家告訴我們，回歸係數的“抽樣分布”是一個t分布。與F分布一樣，t分布有一個跟隨的自由度。b2這個回歸係數的自由度是（k-1），即b1Sb1=b1Sy.12(x1－x1)2(1－r212)～t(N－k－1)
b2Sb2=b2Sy.12(x2－x2)2(1－r212)～t(N－k－1)
Sy.12=SSresN－k－1。Sy.12其實是“殘差的平方均”的平方根。讀者應該還記得回歸分析的其中一個假設是，對於所有的x來說y的分布的標準差都是相等的。Sy.12就是對於每一個x來說，y的分布的標準差。因此，這裏的Sy.12與上麵講的σε是一樣的。
7.2.6一個演算的例子
yx1x2(x1－x1)2(x2－x2)2(x1－x1)(y－y)(x2－x2)(y－y)(x1－x1)(x2－x2)1345.761.2110.804.952.642471.963.614.90-6.65-2.663520.169.611.007.751.244530.164.410.603.150.845650.360.01-0.300.05-0.066530.164.41-0.20-1.050.847441.961.21-2.10-1.651.548680.368.411.507.251.7499912.9615.2112.6013.6514.0410762.560.817.204.051.4426.4048.9036.0031.5021.60x5.505.405.10σ2.871.622.21
b1=x22x1y－x1x2x2yx21x22－x1x22=48.90×36.00－21.60×31.5026.40×48.90－(21.60)2=1.310
b2=x21x2y－x1x2x1yx21x22－x1x22=26.40×31.50－21.60×36.0026.40×48.90－(21.60)2=0.066
b0=y+b1x1+b2x2=5.50－1.31×5.40－0.066×5.10=－1.908如果我們用相關係數的公式，因為rx1y=0.771；rx2y=0.496；rx1x2=0.601，則b1=ry1－ry2r121－r212σyσx1=0.771－0.496×0.6011－(0.601)2×2.871.62=1.310
b2=ry2－ry1r121－r212σyσx2=0.496－0.771×0.6011－(0.601)2×2.872.21=0.066同時，因為b1=1.31；b2=0.066，故回歸方程為y^=-1.908+1.31x1+0.066x2yx1x2y^(y－y)(y^－y)(y－y^)1342.2820.2510.341.652473.7912.252.923.213524.776.250.533.144534.842.250.440.705656.280.250.611.646534.840.250.441.357443.592.253.6311.608686.486.250.952.3299910.4712.2524.722.1710767.6620.254.645.50SS82.5049.2333.28x5.505.405.10d.f.927σ2.871.622.21
SSreg=(y^－y)2=b1x1y+b2x2y=1.31×36+0.06×31.5=49.23整個多元回歸分析的“模型R2”（R2y.12）為R2y.12=SSregSStot=49.2382.50=0.60
R2y.12=r2y1+r2y2－2ry1ry2r121－r212=(0.771)2+(0.496)2－2×0.771×0.496×0.6011－(0.601)2=0.60R2y.12=b1σx1σyry1+b2σx2σyry2=1.31×1.632.87×0.771+0.06×2.212.87×0.495=0.60H0：總體中的Ry.12=0
或是H0：總體中的b0=b1=b2=0用的統計量為R2k1－R2N－k－1～F(k，N－k－1)F(2，7)=0.6021－0.6010－2－1=5.1777**(p5為高共線性；VIF（bk）>10為危險程度的共線性的臨界值。要知道“變異膨脹係數”，隻要在SPSS的程式裏多加一點命令就可以了：REGRESSION/MISSINGLISTWISE/STATISTICSCOEFFOUTSRANOVACOLLINTOL/CRITERIA=PIN(.05)POUT(.10)/NOORIGIN/DEPENDENTy/METHOD=ENTERx1x2x3.
有了COLLIN和TOL這兩個指令，程序就會計算下麵最後兩行的共線性統計結果（CollinearityStatistics）。ModelUnstandardizedCoefficientsStandardizedCoefficientstSig.CollinearityStatisticsBStd.ErrorBetaToleranceVIF(Constant)-.8241.574-.523.619x1-.957.998-.515-.959.374.09210.874x22.177.7531.3222.891.028.1277.901x3.201.411.135.490.641.3472.879這個結果明顯指出，x1之所以不顯著，是因為嚴重的共線性（VIF=10.87）。x2其實也有頗嚴重的共線性問題（VIF=7.90）。相對來說x3就比較安全了（VIF=2.88）。那如果出現了嚴重共線性，研究人員可以做什麼呢？統計學家提供了一些可能解決多重共線性的方法。不過，第一，這些方法一般都不可以完全解決共線性的問題。第二，我們的建議是，嚴重的共線性往往代表在研究者的模型中，出現了兩個極為接近的變量，因此它們會有極高的相關。如果是這樣，最合理的做法就是把其中一個相對不這麼重要的變量從模型中刪掉。
為了方便，我們先假設x與y都是標準化的，平均數=0；方差=1。
最小化ky=1(y^－y)2
=最小化(a+bx－y)2
=最小化［(bx－y)+a］2
=最小化(bx－y)2+2a(bx－y)+a2
=最小化(bx－y)2+2abx－2ay+a2
=最小化(bx－y)2+a2
=最小化(bx－y)2
=最小化b2x2－2bxy+y2
=最小化［b2σ2x－2bσxy+σ2y］
=最小化［b2－2bσxy+1］
=最小化［b2－2brxy+1］
=最小化［(rxy+c)2－2(rxy+c)rxy+1］
=最小化［r2xy+2crxy+c2－2r2xy－2crxy+1］
=最小化［(1－r2xy)+c2］
(因為x與y都是標準化的，x=y=0，中間兩項都沒有了)(因為a是一個常數，a2不可能是負數，a2的最小值是0，因此，在最小化的過程中a2可以不要了)
（因為x與y都是標準化的，x2=σ2x=1；y2=σ2y=1）
（因為x與y都是標準化的，σxy=rxy）［現在，我們假設如果b=rxy+c（c是任何一個常數）］
注：以上假設是一定對的。因為如果b≠rxy，我們就叫兩者的差為c這個數值隻有當c=0時才可能是“最小”的，否則，它永遠是最小值+c2。但是，如果c=0，則b=rxy所以我們的結論是，這一條回歸直線的OLS值是當b=rxy，a=0時，才是最小的。注：上麵的推導隻有在x與y都是標準化時才對。如果x與y沒有標準化，則最小化ky=1(y^-y)2=最小化(a+bx-y)2求這個值最小化時b的值，我們求導：b(a+bx-y)2=0b(a+bx-y)2=02x(a+bx-y)=02ax+2bx2-2xy=02bx2+2ax-2xy=0b=xyx2(因為x=0，中間的項去掉了)求這個值最小化時a的值，我們求導：b(a+bx-y)2=0b(a+bx-y)2=02(a+bx-y)=0(a+bx-y)=0bx+an-y=0(n是樣本數)a=yn-bxna=y-bx
故b=xyx2而a=y-bx同時，因為rxy=xyx2y2，故b=xyx2=rxyσyσx而a=y-bx2二元回歸的最小平方法估計推導最小化ky=1(y^－y)2=最小化(b0+b1x1+b2x2－y)2求這個值最小化時b0的值，我們求導：b0(b0+b1x1+b2x2－y)2=0b0(b0+b1x1+b2x2－y)2=02(b0+b1x1+b2x2－y)=0(b0+b1x1+b2x2－y)=0b0+b1x1+b2x2－y=0y=b0+b1x1+b2x2求最小平方法的b1值時，我們求導：b1(b0+b1x1+b2x2－y)2=0b1(b0+b1x1+b2x2－y)2=02x1(b0+b1x1+b2x2－y)=0b0x1+b1x21+b2x1x2－yx1=0x1y=b0x1+b1x21+b2x1x2因為b1和b2是對稱的，因此，求最小平方法的b1值時，得x2y=b0x2+b2x22+b1x1x2這裏有3個方程，它們是解求最小平方法的b0，b1和b2值時得出來的。它們在數學上稱為“正規方程（NormalEquation）”。
我們現在有3個正規方程，3個未知數。隻要解了這一組的聯立方程式，就可以找到b0，b1和b2了。“正規方程（NormalEquation）”y=b0+b1x1+b2x2x1y=b0x1+b1x21+b2x1x2x2y=b0x2+b2x22+b1x1x2現在我們把3個正規方程簡化為y=b0+b1x1+b2x2（1）x1y=b0x1+b1x21+b2x1x2（2）x2y=b0x2+b2x22+b1x1x2（3）如果我們假設x1和x2都是中心化的，那麼x1=x2=0。方程則變為y=b0（4）x1y=b1x21+b2x1x2（5）x2y=b2x22+b1x1x2（6）由式（4），則y=Nb0（N是樣本數）b0=y把式（5）×x1x2減式（6）×x21，則x1x2x1y－x21x2y=b2(x1x2)2－b2x21x22b2=x21x2y－x1x2x1yx21x22－(x1x2)2把式（5）×x22減式（6）×x1x2，則x1yx22－x22x2y=b1x22x21－b1(x1x2)2b1=x22x1y－x1x2x2yx21x22－(x1x2)2故當x1與x2都是中心化時，則b0=yb1=x22x1y－x1x2x2yx21x22－(x1x2)2b2=x21x2y－x1x2x1yx21x22－(x1x2)2現在讓我們進一步簡化上麵的方程，因為b1=x22x1y－x1x2x2yx21x22－(x1x2)2我們把整個方程除以樣本數N，就可以得b1=σ2x2σx1y－σx1x2σx2yσ2x1σ2x2－σ2x1x2我們再把整個方程的分子和分母都除以σ2x2σx1σy，得b1=rx1y－rx1x2rx2yσx1σy－r2x1x2σx1σyb1=rx1y－rx1x2rx2y1－r2x1x2σyσx1因為x1和x2是對稱的，故我們就得到一組很重要的公式為b1=rx1y－rx1x2rx2y1－r2x1x2σyσx1b2=rx2y－rx1x2rx1y1－r2x1x2σyσx2如果x1，x1和y都是標準化的話，上麵的公式就簡化為b1=rx1y－rx1x2rx2y1－r2x1x2b2=rx2y－rx1x2rx1y1－r2x1x23SSreg的推導SSreg=R2y.12SStot=R2y.12σ2yN因為SStot=(y－y)2=r2y1+r2y1－2ry1ry2r121－r212σ2yN=r2y1－ry1ry2r121－r212σ2yN+r2y2－ry1ry2r121－r212σ2yN=ry1－ry2r121－r212ry1σ2yN+ry2－ry1r121－r212ry2σ2yN=b1ry1σyσx1N+b2ry2σyσx2N因為b1=ry1－ry2r121－r212σyσx1=b1ry1σyσx1N+b2ry2σyσx2N因為ry1=σx1yσx1σy=b1σx1yN+b2σx2yN=b1(x1－x1)(y－y)+b2(x2－x2)(y－y)4多元回歸的模型R平方的推導多元回歸的模型R平方其實就是y與y^的相關係數。為了簡化整個推導，我們先假設x1，x2和y都是標準化的。Ry.12=Corr(y，y^)
=Corr(y，b0+b1x1+b2x2)
=Cov(y，b0+b1x1+b2x2)Var(y)Var(b0+b1x1+b2x2)
=b1Cov(y，x1)+b2Cov(y，x2)Var(b1x1+b2x2)(b0是一個常數，不會跟其他變量有協方差；σ2y=1因為y已經標準化了)
=b1ry1+b2ry2b21+b22+2b1b2σ12(σ2x1=σ2x2=1)
Ry.12=b1ry1+b2ry2b21+b22+2b1b2r12(7)
由附錄2的方程（5），則
x1y=b0x1+b1x21+b2x1x2
ry1=b0x1+b1x21+b2x1x2（σ2y=σ2x1=1）
ry1=b1+b2r12(8)
同樣的，ry2=b2+b1r12(9)
把式（8）和式（9）代入方程（7）中，則
Ry.12=b1ry1+b2ry2b21+b22+2b1b2r12
Ry.12=b1(b1+b2r12)+b2(b2+b1r12)b21+b22+2b1b2r12
=b21+b1b2r12+b22+b1b2r12b21+b22+2b1b2r12
Ry.12=b21+b22+2b1b2r12(10)我們把附錄2的最後一組b1的b2公式代入方程（10），得
Ry.12=ry1-ry2r121-r2122+ry2-ry1r121-r2122+2rr1-ry2r121-r212ry2-ry1r121-r212r12
=ry1-ry2r121-r2122+ry2-ry1r121-r2122+2(ry1-ry2r12)(ry2-ry1r12)(1-r212)2r12
=(ry1-ry2r12)2+(ry2-ry1r12)2+2(ry1-ry2r12)(ry2-ry1r12)r121-r212
=(r2y1-2ry1ry2r12+r2y2r212)+(r2y2-2ry1ry2r12+r2y1r212)+2(ry1ry2-r2y1r12-r2y2r12-ry1ry2r212)r121-r212
=r2y1+r2y2-2ry1ry2r12-r2y1r212-r2y2r212-2ry1ry2r3121-r212
=r2y1(1-r212)+r2y2(1-r212)-2ry1ry2r12（1-r212）1-r212
=(r2y1+r2y2-2ry1ry2r12)(1-r212)1-r212
=r2y1+r2y2-2ry1ry2r121-r212
R2Y.12=r2y1+r2y2-2ry1ry2r121-r212因此，如果x1，x2和y都是標準化的，則R2y.12=r2y1+r2y2-2ry1ry2r121-r212