在抽樣調查中，經常會遇到調查問卷中某些項目沒有回答的情況，這就是數據缺失的問題。數據缺失問題無論是在市場調查、政府調查還是學術調查中都呈現越來越嚴重的趨勢。這是由多種原因造成的。首先，公民越來越重視個人的隱私權，不愿意透露一些個人信息；其次，不規范的市場調查影響了調查的嚴肅性，使得受訪者對各類調查不屑一顧，不能認真對待；第三，問卷設計不規范，問卷內容過長或過難，尤其是市場調查中的各類“搭車調查”使得問卷過長，造成受訪者的厭倦心理；第四，調查主辦單位不重視訪問員的培訓，訪問員缺乏一些必備的追問、補問、查漏等基本技巧。
缺失數據根據其產生機制可以分為完全隨機缺失（MCAR）、隨機缺失（MAR）和非隨機缺失（MNAR）。完全隨機缺失是指這樣一種情況：缺失情況相對于所有可觀測和不可觀測的數據來說，在統計學意義上是獨立的。比如說，受訪者在街頭接受訪問時，突然沙粒吹進了眼睛導致問卷后面的問題無法回答，從而造成了數據缺失。隨機缺失是一個觀測出現缺失值的概率是由數據集中不含缺失值的變量決定的，而不是由含缺失值的變量決定的。非隨機缺失是與缺失數據本身存在某種關聯，比如問題設計過于敏感造成的缺失。
識別缺失數據的產生機制是極其重要的。首先這涉及到代表性問題。從統計上說，非隨機缺失的數據會產生有偏估計，因此不能很好地代表總體。其次，它決定數據插補方法的選擇。隨機缺失數據處理相對比較簡單，但非隨機缺失數據處理比較困難，原因在于偏差的程度難以把握。
缺失數據的插補是指選擇合理的數據代替缺失數據。不同的插補法對總體推斷會產生較大的影響，尤其是在缺失數量較大的情況下。目前國內學者對缺失數據的插補問題尚未有充分的認識。筆者發現，研究者在抽樣調查報告中很少會說明缺失值的處理方法，但事實上，絕大部分社會科學調查（包括市場調查）都會包含不完整的數據，理應對此有所說明。
二、幾種常見的缺失數據插補方法
（一）個案剔除法(Listwise Deletion)
最常見、最簡單的處理缺失數據的方法是用個案剔除法(listwise deletion)，也是很多統計軟件（如SPSS和SAS）默認的缺失值處理方法。在這種方法中如果任何一個變量含有缺失數據的話，就把相對應的個案從分析中剔除。如果缺失值所占比例比較小的話，這一方法十分有效。至于具體多大的缺失比例算是“小”比例，專家們意見也存在較大的差距。有學者認為應在5%以下，也有學者認為20%以下即可。然而，這種方法卻有很大的局限性。它是以減少樣本量來換取信息的完備，會造成資源的大量浪費，丟棄了大量隱藏在這些對象中的信息。在樣本量較小的情況下，刪除少量對象就足以嚴重影響到數據的客觀性和結果的正確性。因此，當缺失數據所占比例較大，特別是當缺數據非隨機分布時，這種方法可能導致數據發生偏離，從而得出錯誤的結論。
（二）均值替換法(Mean Imputation)
在變量十分重要而所缺失的數據量又較為龐大的時候，個案剔除法就遇到了困難，因為許多有用的數據也同時被剔除。圍繞著這一問題，研究者嘗試了各種各樣的辦法。其中的一個方法是均值替換法(mean imputation)。我們將變量的屬性分為數值型和非數值型來分別進行處理。如果缺失值是數值型的，就根據該變量在其他所有對象的取值的平均值來填充該缺失的變量值；如果缺失值是非數值型的，就根據統計學中的眾數原理，用該變量在其他所有對象的取值次數最多的值來補齊該缺失的變量值。但這種方法會產生有偏估計，所以并不被推崇。均值替換法也是一種簡便、快速的缺失數據處理方法。使用均值替換法插補缺失數據，對該變量的均值估計不會產生影響。但這種方法是建立在完全隨機缺失（MCAR）的假設之上的，而且會造成變量的方差和標準差變小。
（三）熱卡填充法（Hotdecking）
對于一個包含缺失值的變量，熱卡填充法在數據庫中找到一個與它最相似的對象，然后用這個相似對象的值來進行填充。不同的問題可能會選用不同的標準來對相似進行判定。最常見的是使用相關系數矩陣來確定哪個變量（如變量Y）與缺失值所在變量（如變量X）最相關。然后把所有個案按Y的取值大小進行排序。那么變量X的缺失值就可以用排在缺失值前的那個個案的數據來代替了。與均值替換法相比，利用熱卡填充法插補數據后，其變量的標準差與插補前比較接近。但在回歸方程中，使用熱卡填充法容易使得回歸方程的誤差增大，參數估計變得不穩定，而且這種方法使用不便，比較耗時。
（四）回歸替換法(Regression Imputation)
回歸替換法首先需要選擇若干個預測缺失值的自變量，然后建立回歸方程估計缺失值，即用缺失數據的條件期望值對缺失值進行替換。與前述幾種插補方法比較，該方法利用了數據庫中盡量多的信息，而且一些統計軟件（如Stata）也已經能夠直接執行該功能。但該方法也有諸多弊端，第一，這雖然是一個無偏估計，但是卻容易忽視隨機誤差，低估標準差和其他未知性質的測量值，而且這一問題會隨著缺失信息的增多而變得更加嚴重。第二，研究者必須假設存在缺失值所在的變量與其他變量存在線性關系，很多時候這種關系是不存在的。
（五）多重替代法(Multiple Imputation)
多重估算是由Rubin等人于1987年建立起來的一種數據擴充和統計分析方法，作為簡單估算的改進產物。首先，多重估算技術用一系列可能的值來替換每一個缺失值，以反映被替換的缺失數據的不確定性。然后，用標準的統計分析過程對多次替換后產生的若干個數據集進行分析。最后，把來自于各個數據集的統計結果進行綜合，得到總體參數的估計值。由于多重估算技術并不是用單一的值來替換缺失值，而是試圖產生缺失值的一個隨機樣本，這種方法反映出了由于數據缺失而導致的不確定性，能夠產生更加有效的統計推斷。結合這種方法，研究者可以比較容易地，在不舍棄任何數據的情況下對缺失數據的未知性質進行推斷。NORM統計軟件可以較為簡便地操作該方法（NORM統計軟件可以在http://www.stat.psu.edu/~jls/misoftwa.html可以免費下載）。
三、五種插補方法的實證比較
為了比較這五種缺失值插補方法的不同結果，我們使用實際數據庫進行實證研究。數據來源于零點研究咨詢集團于2006年秋對云南農村169位農民進行的居民生活調查。我們以此次調查中涉及到的4個變量為例：年齡、收入、精神生活滿意度、壓力感得分。其中，年齡沒有缺失值。收入以“千”為單位，有21%的缺失值。精神生活滿意度為6項指標得分之和，總分為30分，有2%的缺失值。壓力感得分（本次調查的因變量）為3項指標得分之和，總分為15分，有16%的缺失值。
（一）描述性指標比較
我們首先比較采用5種方法插補后，每個變量的均值和標準差的變化。除了在個案剔除法中有58位個案被剔除之外，其余4種方法都有169個個案參與計算與分析。
從表1中可以發現采用不同的插補方法，其變量的均值和標準差是不同的。當變量的缺失值比較少時（如精神生活滿意度），采用5種方法插補后的均值和標準差差異較小。但當缺失值所占比例增大時（如收入、壓力感得分），采用不同方法后的均值和標準差差異較大。5種方法中，使用個案剔除法后各變量的標準差都明顯增大，使用均值替換法后各變量的標準差都明顯減小。
|
|
|
|
（二）回歸分析比較
我們以壓力感得分為因變量，其余3個變量為自變量進行回歸分析。觀察表2可以發現，從F值上看，個案剔除法與回歸替換法的F值較高。
由于回歸分析中，各個變量是相互關聯的，所以雖然年齡變量沒有缺失值，但由于其他變量存在缺失，導致年齡變量在回歸方程中的系數也會發生變化。從表2中可以看出這種變化是比較大的，其中T值從-0.38變化至1.01，與之相應的P值也從0.314變化至0.71。這提醒我們，在進行多元分析時，尤其要注重缺失數據插補方法的使用，因為它不僅會影響到有缺失值的變量，而且影響沒有缺失值的變量。
采用不同插補方法對“收入”變量的影響較大。其中，使用熱卡填充法后的系數是最大的，并且明顯高于了采用其他方法插補后的系數。從P值上看，使用熱卡填充法該變量的影響不是顯著的，但使用其他插補方法，卻可以使得該變量對因變量的影響是顯著的。這和前面的分析是一致的，即在回歸分析中，用熱卡填充法獲得的系數是不穩定不可靠的。
|
|
|
|
應該說上述5種缺失值插補方法各有利弊，研究者在選用插補方法時應該綜合考慮缺失數據產生機制、缺失值所占比例、研究能力、時間限制等因素，具體情況具體分析，尋找到在當前條件下最適宜的方法。對于各類插補，共同的目的在于使不完全樣本的已有信息得到最佳利用。