在近紅外光譜分析中，多元校正是必不可少的方法，除此之外還有一個內(nèi)容也經(jīng)常用到化學(xué)計量學(xué)，即光譜數(shù)據(jù)預(yù)處理，它包括光譜處理和波長選擇。

　　可用于近紅外光譜測量的樣品多種多樣，性質(zhì)各異，所測定的光譜除了與樣品的化學(xué)成分信息相關(guān)以外，還可能受樣品狀態(tài)、檢測環(huán)境和測量條件這些物理因素有關(guān)。通常，近紅外光譜分析利用的是樣本的化學(xué)信息，而物理信息往往是干擾因素，對建模不利，應(yīng)該予以消除或降低，這就是進(jìn)行光譜預(yù)處理的目標(biāo)。本講在介紹常見光譜預(yù)處理方法的基礎(chǔ)上，還嘗試對各種方法的本質(zhì)進(jìn)行描述。雖然，近紅外光譜分析過程中，通常都是“嘗試地”使用預(yù)處理方法，再根據(jù)建模結(jié)果選擇方法，但如果能更深入地理解這些方法的內(nèi)涵，則有望讀者能根據(jù)各種預(yù)處理方法的特點，以及樣品的實際特點，更科學(xué)地、理性地使用這些方法。

　　目前常用的預(yù)處理方法有平滑、基線校正、求導(dǎo)、多元散射校正、標(biāo)準(zhǔn)正態(tài)變換、正交信號分解、小波變換濾波、傅里葉變換濾波等。波長選擇也屬于光譜預(yù)處理方法，但不是本文討論的范疇，這里推薦一篇最近發(fā)表的綜述供大家參考：Yun Yong-Huan et al., An overview of variable selection methods in multivariate calibration of near infrared spectroscopy，TRENDS IN ANALYTICAL CHEMISTRY, 113(2019), 102-115。在近紅外光譜分析中經(jīng)常使用的方法包括平滑、求導(dǎo)、多元散射校正、標(biāo)準(zhǔn)正態(tài)變換等，本文只介紹這幾種方法，其他方法請參考相關(guān)資料。

　　1、光譜數(shù)據(jù)中心化

　　從數(shù)學(xué)原理來講，為了保證能獲得優(yōu)異的回歸性能，如PLS、PCA及MLR這些多元校正方法都需要對數(shù)據(jù)進(jìn)行中心化處理，然后再進(jìn)行多元校正。如果y和X是指標(biāo)參數(shù)（如濃度）向量和NIR光譜矩陣，多元校正應(yīng)該用如下模型

X_j=a₀+a₁j+a₂j²+...+a_pj^p

該式就是對y和X進(jìn)行了中心化處理。一般人們都默認(rèn)使用了中心化的y和X，所以模型依然用y = Xβ + e的形式。有時也有用非中心化的y和X建立模型，但嚴(yán)格來講還是中心化的模型更可靠。對X按列計算平均值獲得平均光譜圖片，光譜數(shù)據(jù)中心化是用每一個樣本的光譜減去平均光譜。如圖1所示，中心化的光譜以零值為中心分布在其上下，其和等于零。

　　對y和X分別中心化后建立模型，實際上就是用y的變化量與X的變化量建立多元校正模型，使得模型中的截距項為零，簡化了模型。與其他光譜分析方法不同，建模樣品（即標(biāo)準(zhǔn)樣品）的近紅外光譜通常都是在一個高背景情況下疊加一個較小吸光度組成的，中心化相當(dāng)于去除了高背景的影響，有利于建模，也符合Lambert-Beer定律所描述的吸光度與濃度的關(guān)系。

　　2、光譜數(shù)據(jù)的平滑

　　數(shù)據(jù)平滑是常用的測量信號處理方法，近紅外光譜平滑是為了減小儀器噪聲對光譜的影響，提高信噪比。有多種平滑方法，近紅外光譜分析中應(yīng)用廣泛的是Savitzky-Golay平滑法（S-G平滑法），也稱為窗口移動多項式擬合平滑法。

　　曲線平滑的目的就是把含有噪聲的“毛刺”信號去除而獲得“平滑”的真實曲線信號。數(shù)學(xué)上定義平滑曲線為連續(xù)可導(dǎo)的曲線，可以用一個適當(dāng)?shù)暮瘮?shù)進(jìn)行描述。但用一個固定函數(shù)形式的，又不太復(fù)雜（為了易于擬合）的連續(xù)可導(dǎo)函數(shù)在整個波長范圍來表示一條近紅外光譜幾乎是不可能的。Savitzky和Golay提出一個巧妙的解決方法，即S-G平滑法。將整個光譜范圍分解為多個局部小段，在每個小段用某個比較簡單的函數(shù)進(jìn)行擬合得到函數(shù)的解析式，這樣做使得整段復(fù)雜的光譜曲線可以用局部的簡單函數(shù)分別處理來解決，而且用窗口移動的形式從整個光譜的開始到結(jié)尾獲得多個局部小段，分別擬合得到多個擬合函數(shù)來計算平滑曲線；每個局部小段均含有奇數(shù)個波長點，用擬合后的函數(shù)只計算中心波長的估計值作為該波長的平滑結(jié)果，移動窗口的策略可收集所有局部小段中心波長平滑值，正好獲得整個光譜的平滑曲線（光譜兩端有（w-1）/2個波長點缺少平滑值，w為局部小段的波長數(shù)目，稱為窗口大?。粩M合用的函數(shù)用多項式函數(shù)（只用較小階數(shù)，常用1或2階），該函數(shù)性質(zhì)優(yōu)良（比如可導(dǎo)，導(dǎo)數(shù)連續(xù)，具有線性加和形式），又符合任何函數(shù)都可用泰勒級數(shù)展開的數(shù)學(xué)規(guī)律。

　　S-G平滑以及將要介紹的S-G求導(dǎo)方法都是常用的曲線數(shù)據(jù)處理方法，其具體計算過程容易從書籍中得到（可參看杜一平等，《化學(xué)計量學(xué)應(yīng)用》，化學(xué)工業(yè)出版社，2008.5），在此不過多介紹，只給出重要的公式，以便讀者深入理解。

　　窗口移動得到的每個局部小段包含w=2n+1個波長，稱為窗口大小，多項式函數(shù)為：圖片 ，p為階次，通常為1、2等，x為光譜，j表示波長點，它有w個取值。用該多項式對w個j值和對應(yīng)的圖片值進(jìn)行最小二乘擬合，獲得參數(shù)a0，a1，a2，圖片ap，用參數(shù)計算中心點的x，就是平滑值。容易推導(dǎo)，平滑值就是光譜測量值的加權(quán)平均值。

　　值得指出的是，在S-G平滑時要對窗口大小做合適的選擇，如果窗口太小，噪聲不易去除，窗口太大則導(dǎo)致平滑過度，使峰寬較小的精細(xì)信號丟失。

　　3、光譜數(shù)據(jù)的求導(dǎo)

　　求導(dǎo)也是常用的近紅外光譜預(yù)處理方法，它可以消除基線漂移、提高光譜分辨率。從微積分知識我們知道，一階導(dǎo)數(shù)可以去除常數(shù)基線，二階導(dǎo)數(shù)可消除一次函數(shù)基線（線性函數(shù)），三階導(dǎo)數(shù)能去除二次函數(shù)基線，等等。所以，光譜求導(dǎo)是去除基線漂移的有效手段，對復(fù)雜的基線即使不能完全消除，也可以一定程度地去除。導(dǎo)數(shù)光譜另一個優(yōu)良性質(zhì)是它能提高光譜分辨率。我們知道，一個峰形曲線的一階導(dǎo)數(shù)有2個峰（正峰和倒峰都是峰），二階導(dǎo)數(shù)為3個峰，三階導(dǎo)數(shù)則有4個峰。在出峰范圍內(nèi)峰數(shù)量增加，則不完全重疊的兩個峰分開的程度自然就增加了，進(jìn)而提高了分辨率。在近紅外光譜分析中求導(dǎo)能提高光譜分辨率，使得重疊峰分開程度增加，可有效降低光譜的干擾，對建立模型有利。但光譜求導(dǎo)也能增加噪聲水平，降低光譜信噪比，對建模有害。導(dǎo)數(shù)階數(shù)越高信噪比降低越嚴(yán)重，所以，近紅外光譜分析中導(dǎo)數(shù)光譜一般只使用一階或二階，偶爾用到三階，再高階的導(dǎo)數(shù)光譜基本不用。

　　一條光譜難以用適當(dāng)?shù)暮瘮?shù)式子寫出，當(dāng)然不能用解析式來計算導(dǎo)數(shù)光譜。有多種求導(dǎo)算法，如差分法、窗口移動多項式擬合法（Savitzky-Golay求導(dǎo)法）、小波變換法等。近紅外光譜分析中廣泛使用Savitzky-Golay求導(dǎo)法，簡稱S-G求導(dǎo)法。該方法的基本思想與S-G平滑法一樣，即，用窗口移動的形式從整個光譜的開始到結(jié)尾獲得多個局部小段，對每個小段用多項式函數(shù)進(jìn)行擬合得到多項式參數(shù)，對擬合后的函數(shù)求導(dǎo)，計算中心波長點的導(dǎo)數(shù)值，移動窗口的策略可收集所有局部小段中心波長導(dǎo)數(shù)值，正好獲得整個光譜的導(dǎo)數(shù)曲線（同樣缺少光譜兩端（w-1）/2個波長點的導(dǎo)數(shù)值）。與S-G平滑法的結(jié)果類似，S-G求導(dǎo)法計算的導(dǎo)數(shù)同樣也是光譜測量值的加權(quán)平均值，當(dāng)然兩種方法的權(quán)值是不一樣的。一階和二階導(dǎo)數(shù)光譜如圖1所示?？梢钥闯觯簩?dǎo)數(shù)光譜向中心（零值位置）發(fā)生偏移，正峰和倒峰分布于零值位置上下，而且二階比一階偏移的更明顯；光譜峰數(shù)增加了（包括正峰和倒峰），而且二階比一階增加的更多；注意導(dǎo)數(shù)光譜的縱坐標(biāo)，其數(shù)值明顯變小了，信噪比也明顯降低，而且二階比一階降低的更甚。

　　與平滑相似，S-G求導(dǎo)時要對求導(dǎo)窗口大小做合適的選擇，窗口太小會擴大噪聲，而窗口太大平滑過度，導(dǎo)致精細(xì)信息丟失。

　　光譜導(dǎo)數(shù)計算的具體方法可以參考一些書籍，比如：杜一平等，《化學(xué)計量學(xué)應(yīng)用》，化學(xué)工業(yè)出版社，2008.5。

上一篇：分析實驗室儀器耗材使用注意事項

下一篇：2022年鹽霧試驗機試驗方法概...