第二章近紅外光譜分析技術原理
21近紅外光譜檢測原理
近紅外（Near Infrared Spectroscopy，簡寫為NIR）光是指波長介於可見區與中紅外區之間的電磁波，因此它具有光的屬性，即具有“波”和“粒”的二重性。當光源發出的紅外光線經一定的路徑照射到由一種或多種分子組成的物質上，其中的分子會改變自身的振動能態，從而引起躍遷現象，產生近紅外光譜吸收，其波長範圍約為800～2500nm，波數範圍約為12500～4000cm-1。近紅外光譜是人們認識的最早的非可見光區域，其在整個電磁波譜中的位置如圖21所示。
圖21近紅外光譜在電磁波譜中的位置
近紅外譜區的吸收主要是分子或原子振動基頻在2000cm-1以上的倍頻與合頻吸收，主要包括C-H、N-H和O-H等含氫基團的倍頻和合頻吸收帶。因為不同的基團或同一基團在不同的特定化學環境下近紅外所吸收的波長與強度有明顯差別，所以近紅外光譜具有大量而豐富的結構和物化信息。如，食用油脂結構中的-C=C-和-C-H-鍵的伸縮振動第一組合頻在5600～5800cm-1和4400～4800cm-1兩個光譜範圍的吸收最為明顯，即反應了油脂脂肪酸的含量差異，這些吸收特征為近紅外光譜定量及定性分析樣品的物理化學性質提供了前提。
近紅外光譜分析檢測技術分為兩大類：透射技術和反射技術。透射光譜法是把樣品放於光源與檢測器之間，用以測定均勻透明的溶液或固體樣品。反射光譜分析法是把樣品放於光源與檢測器的同側，且用以測定固體或半固體樣品。
在透射技術中，若樣品是透明真溶液，透射光強與樣品中各組分的濃度符合比爾定律，如式21所示。A=－lgII0=εbc(21)其中：
I0——波長為λ的平行、均勻入射光束強度；
I——透過溶液後的光束強度；
A——吸光度；
ε——待測組分的摩爾吸光係數；
b——光程；
c——待測物質組分的濃度。
若樣品是渾濁的，那麼由於光散射的原因，光經過樣品時的路徑不確定，不符合比爾定律，將其稱之為漫透射分析測定法。
物體對光的反射分為規則反射和漫反射。應用漫反射進行的分析測定稱為漫反射分析測定法，該方法在現代近紅外光譜分析中起著非常重要的作用。當樣品發生漫反射時，光線將包含有關樣品中的大量的物質成分信息，即不同成分在特定波長下吸收了不同能量的光，對樣品成分的分析提供了方便。但漫反射並不遵循比爾定律，其遵循Kubelka-Munk方程，如式22所示。A=log1R∞=－log1+KS－KS2+2KS(22)其中：
R∞——樣本厚度無窮大時的相對漫反射率；
A——吸光度；
K——吸收係數；
S——散射係數。
22近紅外光譜分析發展概述
一、化學計量學的發展
近紅外光譜分析技術的發展離不開化學計量學方法的發展。化學計量學的應用是近紅外光譜技術得以廣泛應用的一個關鍵技術，通常近紅外光譜儀都帶有化學計量學軟件。化學計量學是綜合應用數學、統計學和計算機科學方法從化學量測的數據中提取信息的學科。20世紀70年代初首次提出這個名詞，同時也為這門學科的發展奠定了基礎。隨著計算機科學的發展，80年代以後化學計量學的專著及專業期刊大量出現。化學計量學已用於化學學科的各個領域，在分析測試中，廣泛用於色譜、電化學、質譜等領域。
化學計量學中的多元校正變成了近紅外光譜定量及定性分析時不可缺少的部分。在近紅外光譜分析中，常用的化學計量學大致有四個方麵。即：（1）光譜數據預處理；（2）定量校正；（3）模式識別定性方法；（4）模型傳遞。
二、儀器的發展
近紅外光譜儀是一種測量物質對近紅外輻射的吸收率（或透過率）的分析儀器，它可以利用每種物質的特征吸收譜對被測物質進行定性分析。它同樣可以利用物質總量與吸收總量所呈現的線性關係，對被測物質的特征成分進行定量分析。按分光器分類，近紅外光譜儀器可分為濾光片型、光柵色散型、傅立葉變換型和聲光可調濾光器型。近紅外光譜儀器主要由光源、分光係統、樣品池、控製係統、檢測器、數據采集和分析軟件等部分構成。其結構如圖22所示。
圖22近紅外光譜儀器的結構
濾光片型近紅外光譜儀采用幹涉濾光片分光，在農副產品的檢測分析中得到了廣泛的應用。該類儀器設計簡單，成本低，采用速度快，比較堅固，可根據需要在固定的波長下進行測量。但儀器的靈活性差，波長的分辨率和重現性較差，如果客觀測量環境發生較大的變化，常會引起較大的測量誤差。因此，此類主要用於對一些成熟的特定項目的分析檢測作業。如Perten公司的Inframatic係列產品和NDC Infrared Engineering公司的Infralab 710產品。
光柵色散型近紅外光譜儀采用棱鏡或者光柵作為分光元件，對紅外輻射的色散實現分光，是20世紀80—90年代最常見的近紅外光譜儀器，成為第二代近紅外分析儀。又可分為掃描-單通道檢測器和固定光路-陣列檢測器兩種類型。其基本原理是：光源發出的檢測光源經準直和入射狹縫照射到光柵上進行分光，光柵不斷的轉動，由此使單色光依次通過出射狹縫，照射到樣品後，與該樣品發生作用，進入檢測器檢測。這類儀器可進行全譜掃描，價格適中，分辨率高，維修也很容易。在糧食和食品領域得到了廣泛的應用。如日本島津公司的UV-365型分光光度計；北京普析通用公司TU-1800係列和上海棱光技術有限公司的農產品品質分析儀。但其最大的缺點是光柵或反光鏡等部件易磨損，部件複雜，抗震性能較差，掃描的速度相對較慢，一般不適合做過程分析儀器。由於測量精度低，需要經常對其進行外部標準校正。值得一提的是，目前已有一些儀器公司針對該類儀器的缺點進行了進一步的改進和完善，其同樣具有良好的潛力和發展前景。
傅立葉變換型近紅外光譜儀在進入80年代以來便成為近紅外光譜儀器的主導產品，其核心部件是邁克爾遜幹涉儀。在工作時，需選用合適的光源、分束器與檢測器。該類儀器的特點是信噪比高，波長精度高，分辨率好，穩定性好。近年來，國內外湧現出大量較實用的傅立葉近紅外光譜儀，如Themo-Nicolet公司的Antaris係列，Bruker公司的VECTOR和MATRIX產品以及我國瑞利分析儀器公司生產的WQF-400N等儀器。
聲光可調濾光器型近紅外光譜儀是90年代近紅外光譜技術最突出的進展，采用聲光可調濾光器作為分光係統，通過超聲射頻的變化掃描光譜。該類儀器物可移動部件，測量速度快，濾光器體積小，可做到光譜儀器的小型化，可長期穩定地工作。但此類儀器的分辨率不如傳統的近紅外分析儀器高，並且造價相對較貴，比較適合用於在線過程分析。目前，如Brimrose公司的LUMINAR係列產品，Maihak公司的LIMORL產品等近紅外光譜儀都采用聲光可調濾光器分光原理。
三、應用的發展
20世紀80年代，應用光譜分析領域的相關專家開始關注近紅外光譜分析技術的發展。由於光譜界與近紅外分析領域人員的共同探討，進一步采用化學計量學的方法，使近紅外光譜分析技術發展為現代近紅外光譜分析技術。與此同時，大量相關的文獻幾乎成指數增長。
進入90年代，由於計算機技術高速迅猛的發展，近紅外光譜分析技術逐漸廣泛應用到各個領域，並且得到了長足的進步，近紅外光譜分析技術開始用於在線分析，從此，該領域進入了一個快速發展，潛力無窮的發展時期。
23近紅外光譜分析流程
近紅外光譜分析過程分為兩步：校正模型的建立和未知預測樣品的預測。流程圖如圖23所示。
圖23近紅外光譜分析流程
24近紅外光譜分析的化學計量學方法
241定標模型的評價指標
對於建立的定標模型，常用以下幾個指標來評價模型的定標效果和預測能力。
一、相關係數R
該評價參數考察樣本的預測值與真實值之間的相關程度，有時也用絕對係數R2，R越接近1，說明預測值與真實值之間的相關程度越好。R的計算公式如式23所示。R=1－∑ni=1i－yi2∑ni=1yi－2(23)yi——樣本集中第i個樣本的真實值；
i——樣本集中第i個樣本的預測值；
——樣本集中所有樣本的真實值的平均值。
二、交互驗證均方根誤差RMSECV
主要評價某種建模算法的可行性及對內部樣本的預測能力。在模型訓練過程中通過交互驗證的方法來計算。預測均方根誤差越小，說明該模型對樣本的預測能力越高，反之越低。其計算公式如式24所示。RMSECV=∑ni=11i－yi2n(24)yi——校正集中第i個樣本的真實值；
1i——校正集中剔除第i個樣本後，用餘下的樣本建模後，該模型對第i個樣本的預測值；
n——校正集樣本數。
三、預測均方根誤差RMSEP
表示模型對預測及集樣本的預測均方根誤差，評價該模型對外部樣品的預測能力。該值越小，則表示模型對外部樣品的預測能力越高，反之則預測能力越低。其計算公式如式25所示。RMSEP=∑ni=1yi－i2n(25)yi——預測集第i個樣本的真實值；
i——預測集第i個樣本的預測值；
n——預測集樣本數。
242分析數據預處理方法
對於具有高散射特性的被測樣品，原始光譜通常不但包含樣品相關化學結構信息，還包含一些與待測樣品性質無關的幹擾信息。這些幹擾信息往往表現為基線漂移，噪音以及光譜的不重複。它們對待測樣品組分不具有解釋作用，並且降低了模型的可靠性。因此，在建模前，對原始光譜進行預處理是非常必要的，用以過濾噪音，提高信噪比，消除光程變化等。光譜預處理方法主要包括平滑，求導，矢量歸一化等。這些技術的目標如圖24所示。
圖24近紅外光譜信息預處理
一、中心化、標準化或歸一化處理
在建立近紅外光譜定標分析模型時，需將光譜的特征與待測樣品的性質或結構特征相互關聯。正是基於如上的特點，在建立NIR定量或定性模型前，往往需要采用一些數據增強算法來降低直至消除一些冗餘信息，從而在降低樣品間相關性的同時，也能夠增大樣本之間的差異，進而達到提高模型的重現性和預測能力的效果。常用的算法有均值中心化（mean centering）、標準化（auto scaling）和歸一化（normalization）等。這些方法的基本思路是計算每個樣品的平均值，將光譜數據減去這些數值，使所有樣品的有關數據都分布在零點兩側，充分反映變化信息，這樣，溫度或人為操作等客觀因素所帶來的變化對光譜數據造成的影響可以有效地被去除，並且對以後回歸運算有一定的簡化作用。
二、平滑算法（Smoothing）
經近紅外光譜儀器掃描後，樣品的光譜數據中在含有有用信息的同時，也包含了一定量的噪聲信息，使得信噪比降低。信號平滑算法的本質是對光譜進行低通濾波，去掉高頻成分，有效地保留低頻信息。因此，平滑算法是一種有效的降低噪聲的辦法。其基本思路是在平滑點的前後各取若幹點來進行“擬合”或“平均”，並且求得平滑點的最佳估計值，這一方法的基本前提是隨機噪聲在處理“窗口”內的均值為0。常用的信號平滑方法是窗口移動平均法，Savitzky-Golay卷積平滑法。采用移動平均法，其中最為重要的參數是平滑窗口的寬度。若窗口寬度太大，在求平均值計算時，會忽略掉一些有用信息，使得光譜信號產生一定的失真。若窗口寬度太小，噪聲不能被有效地去除掉。因此，便出現Savitzky-Golay卷積平滑法這種改進算法，該方法並不是進行簡單的求平均計算，而是使用加權平均法通過多項式對移動窗口內的數據進行多項式最小二乘擬合。更加突出了中心點的中心作用。Savitzky-Golay卷積平滑法已經成為最為廣泛應用的光譜去噪算法。
三、導數算法（Derivative）
當樣品的背景顏色等因素導致所測光譜出現位移或漂移時，在近紅外光譜分析中常用導數法來消除基線漂移或平緩背景幹擾的影響，從而提供比原始光譜分辨率更高、清晰度更高的光譜輪廓變化。對光譜求導一般有兩種方法：直接差分法和Savitzky-Golay求導法。對於分辨率高，波長采樣點多的光譜，應用直接差分法得到的光譜與實際相差不大；但對於稀疏波長采樣點的光譜，此方法所求的導數則與實際存在很大的誤差，這時通常采用Savitzky-Golay卷積求導法計算。導數方法可分辨出重疊峰，快速有效地提高了分辨率和靈敏度。但同時它也會引入噪聲信息，從而得不到較高的信噪比。在實際的應用中，差分寬度的選擇非常重要：若差分寬度過小，噪聲會很大，這樣就會影響所建模型的質量；若差分寬度過大，平滑過度，從而丟失大量的有效信息。由經驗可知，差分寬度不應大於光譜新手峰半峰寬的15倍。
四、多元散射校正（MSC）
多元散射校正是由Martens等人提出，是基於一組樣品的光譜陣進行運算。該方法的基本思想是假定散射係數在所有波長處都是相同的，將化學物質的吸收信息與光譜中的散射光信號進行有效的分離。
多元散射的校正過程：
首先，計算所需校正光譜的平均光譜如式26所示。=∑ni=1Ain(26)其次，對平均光譜作回歸如式27所示。Ai=mi+bi(27)最後，對每一條光譜作多元散射校正如式28所示。Ai校正後=Ai-bimi(28)多元散射校正可消除近紅外漫反射光譜中由於樣品的鏡麵反射及不均勻造成的噪聲，消除光譜的基線漂移現象及光譜的不重複性。但是，由於多元散射校正假定了散射同波長和樣品的濃度的變化無關，所以，對於組分性質變化範圍較大的樣品處理效果並不明顯，甚至導致較大誤差。
五、傅立葉變換（Fourier Transform）
傅立葉變換是一種信號處理技術，有效地濾除高頻噪聲以及由儀器原因或基線偏移等因素引起的低頻噪聲，該方法對光譜數據進行平滑、差值、濾波等運算增加光譜信噪比。傅立葉變換首先將數據進行快速傅立葉變換（FFT），在頻率空間下與高斯窗函數進行運算，然後進行反快速傅立葉變換（IFFT）計算，得到經帶通濾波處理後的光譜數據。帶通濾波器的中心頻率和帶寬分別取決於高斯函數的均值與標準差，並且應用數值優化方法來實現濾波的參數，以獲得最佳濾波效果。通過對光譜的平滑去噪，數據壓縮等一係列處理進一步提高模型對測量條件擾動的穩健性。該方法原理清晰，實現方便，大大縮小運算時間，而且樣品光譜質量得到有效改善，校正模型的預測能力和適應能力也得到進一步的增強。
六、正交信號校正（Orthogonal Signal Correction）
利用正交信號校正算法，對原始光譜數據進行預處理，可以有效地取出光譜數據中所包含的各種幹擾噪聲信號。在實際應用的近紅外光譜技術進行分析時，部分係統誤差或幹擾噪聲等與有效信息無關的信息常常會被引入在光譜中，這時，用偏最小二乘法建立的定標模型的前幾個主因子數對應的光譜載荷經常不是有用的濃度陣信息，而是與濃度陣無關的噪聲信號。因而，在建立定標模型前，通過正交的數學運算，除去與濃度陣無關的噪聲，然後，將經過數學運算處理後的光譜矩陣作為新的自變量矩陣，再利用PLS方法建立校正模型。
隻要保證除去的部分與預測值矩陣能夠正交，則除去部分所含有的信息必然與光譜矩陣沒有必然的關係。正是基於這種新穎的思想，SWold等在1998年提出正交信號校正方法。但是這種最初的算法的缺點是每次迭代計算均需要計算一遍PLS，計算時間較長，且內置PLS算法的成分數很難確定［24］。Sjoblom又改進了該算法，其算法與Wold基本一致，隻是計算次序略有差別［25］。這種算法在迭代時不用反複計算PLS，其主成分數也容易通過交叉驗證的方法確定。但同樣該方法的缺點是無法嚴格證明其剔除的信息與光譜矩陣正交。經過學者們長時間的不斷探索和研究，陸續出現了逐漸完善的算法，如Fearn的類PCA算法［26］，Andersson的DO算法［27］，Westerhuis的DOSC算法［28］，Trygg的0-PLS算法［29］，Feudale的POSC算法［30］等。這些改良後的預處理方法的基本原理是在建立定標分析模型前，將光譜矩陣與濃度矩陣正交，去掉光譜與濃度陣無關的冗餘信號，再進行多元校正，從而使所建立的模型更加簡化並且提高模型的穩定性和預測能力。