應用機率密度函數及重疊係數評估資料一致性之研究

Evaluating Data Consistency with Probability Density Function and Overlap Coefficient

黃量謙(Liang-Chien Huang) ； 林定香(Ting-Hsiang Lin)

《Journal of Data Analysis》 7卷2期 (2012/04) Pp. 125-143

https://doi.org/10.6338/JDA.201204_7(2).0007

摘要

在許多實務應用上，經常會接觸到針對相同調查母體抽樣所得的兩個獨立資料庫。在沒有互相連結變數的情況下，就無法像關聯式資料庫利用連結變數，將所有資料串聯起來。因此，在比對變數間一致性時，就無法透過一對一的方式進行資料的對應。故本研究提出由觀察資料機率密度函數形態的角度，依據資料變數的屬性，分別從單一維度及多維度來尋找其適當機率分配函數，利用所估計的機率分配函數作為兩獨立資料間比對的基礎，計算出兩筆資料間的重疊係數，進而判定彼此資料間的一致、吻合程度，使得在變數使用上更具可靠性。根據本研究範例，對於產業創新與工商普查資料的實務上應用分析，建議利用不隨時間變動的屬質變數進行一致性比對，相對於屬量變數可得到較佳的比對結果。

關鍵字

資料一致性 ； 機率密度函數 ； 重疊係數 ； 連結變數

並列摘要

In many practical applications, we have two databases that sampling from the same population. Without linking variables, one will not be able to merge data to check data consistency. In this study, we take a perspective from probability density function. According to the attributes of the variables, we find the appropriate one-dimension and multi-dimension probability distribution function for two datasets. Then, we use the estimated probability distribution function to obtain the overlap coefficient. Finally, we evaluate the extent of data consistency and reliability between two data. From the empirical analysis of industrial innovation survey and the industry, commerce and service census data as an example, we suggest that using the non-time-varying discrete variables to carry on data mapping will yield better results than using continuous variables.

並列關鍵字

Data consistency ； Probability density function ； Overlap coefficient ； Linking variable

參考文獻

劉訓蓉、陳豔秋、呂淑君 (2004)，「普查及抽樣調查與公務檔案資料聯結運用及資料庫建立方法」，行政院主計處專題分析，取自行政院主計處網頁 : http://www.dgbas.gov.tw/ct.asp?xItem=28620&ctNode=3266

建立商業母體資料檔之研究 (2005)，行政院主計處專題分析，取自取自行政院主計處網 http://www.dgbas.gov.tw/ct.asp?xItem=28620&ctNode=3266

Gao, C.,Fan, W.,Geerts, F.,Jia, X.,Ma, S.(2007).Improving Data Quality: Consistency and Accuracy.Proccedings of the VLDB 2007.(Proccedings of the VLDB 2007).

Gordon, A.,Ying, G.,Leo, T.W.(2009).Distributional Overlap: Simple, Multivariate, Parametric and Non-Parametric Tests for Alienation.Econometric Reviews.29,247-275.

Hassani, H.,Haeri Mehrizi, A.(2006).Data Mining and Official Data.Proceeding of the 8th Iranian International Statistics Conference.(Proceeding of the 8th Iranian International Statistics Conference).