應用機率密度函數及重疊係數評估資料一致性之研究

Evaluating Data Consistency with Probability Density Function and Overlap Coefficient

黃量謙(Liang-Chien Huang) ； 林定香(Ting-Hsiang Lin)

《Journal of Data Analysis》 7卷2期 (2012/04) Pp. 125-143

https://doi.org/10.6338/JDA.201204_7(2).0007

摘要

在許多實務應用上，經常會接觸到針對相同調查母體抽樣所得的兩個獨立資料庫。在沒有互相連結變數的情況下，就無法像關聯式資料庫利用連結變數，將所有資料串聯起來。因此，在比對變數間一致性時，就無法透過一對一的方式進行資料的對應。故本研究提出由觀察資料機率密度函數形態的角度，依據資料變數的屬性，分別從單一維度及多維度來尋找其適當機率分配函數，利用所估計的機率分配函數作為兩獨立資料間比對的基礎，計算出兩筆資料間的重疊係數，進而判定彼此資料間的一致、吻合程度，使得在變數使用上更具可靠性。根據本研究範例，對於產業創新與工商普查資料的實務上應用分析，建議利用不隨時間變動的屬質變數進行一致性比對，相對於屬量變數可得到較佳的比對結果。

關鍵字

資料一致性 ； 機率密度函數 ； 重疊係數 ； 連結變數

並列摘要

In many practical applications, we have two databases that sampling from the same population. Without linking variables, one will not be able to merge data to check data consistency. In this study, we take a perspective from probability density function. According to the attributes of the variables, we find the appropriate one-dimension and multi-dimension probability distribution function for two datasets. Then, we use the estimated probability distribution function to obtain the overlap coefficient. Finally, we evaluate the extent of data consistency and reliability between two data. From the empirical analysis of industrial innovation survey and the industry, commerce and service census data as an example, we suggest that using the non-time-varying discrete variables to carry on data mapping will yield better results than using continuous variables.

並列關鍵字

Data consistency ； Probability density function ； Overlap coefficient ； Linking variable

參考文獻

王咨富(2008)。在無線隨意網路下考量資料一致性的協同式快取(碩士論文)。國立臺灣科技大學資訊管理學系。

周奕彰(2009)。比較國民健康訪問調查與全民健保資料庫(碩士論文)。國立陽明大學公共衛生研究所。

林家偀(2006)。微陣列基因表現資料一致性的統計方法之評估研究(碩士論文)。國立臺灣大學農藝學研究所。

傅正陽(2010)。一個針對高效率多核心系統快取記憶體資料一致性模擬之根據分享變數為基礎的同步方法(碩士論文)。國立清華大學資訊工程學系。

王華、金勇進(2010)。統計數據質量評估：誤差效應分析與用戶滿意度測評。中國統計出版社。