基於全景圖的影像室內定位技術

A Novel Approach of Optical Indoor Localization Using the Panorama

李思慧(Lee Su Hui)

指導教授 ： 黃俊堯

國立臺北大學/電機資訊學院/資訊工程學系/碩士(2014年)

摘要

本研究是以模擬人類在一個陌生空間迷路所會做出的即時反映為啟發，提出一項利用全景圖的即時影像式室內定位的技術。本研究利用全景相機來建造360度的室內全景圖來模擬一個室內環境，當使用者在全景圖所涵蓋的範圍捕捉周圍的影像同時，此技術透過手機影像與全景圖的特徵點比對來推測使用者相對全景圖的確切位置。但是，與平面影像相較之下，圓柱式全景圖在拍攝的過程中會造成一些失真。這是因為全景圖與手機影像在建構時所使用的坐標系不一樣，因此當兩張特徵點進行比較的時候，比對結果會稍遜於同坐標系的特徵點。換句話說，在提取全景圖的特徵點之前，全景圖必須先經過處理，將之轉換為與手機影像所屬的坐標系。因此，本論文先將全景圖進行切割，再Unwarped成一張張的平面圖。之後，本研究利用BRISK演算法在這16張平面圖裡提取特徵點。這些特徵點最後將會存成Indoor Map。
依據人類的習性，本論文將此技術分為三個階段進行。首先是，Indoor map的建置。第二，第三階段分別為Reorientation 與 Localization。第二與第三階段的差別在於 Reorientation 是初始化階段，而Localization是仰賴於與上一個方位資訊進行定位。在初始化階段的時候由於沒有方位資訊，因此特徵點必須與全景圖的所有特徵點進行盲目式的搜索，找到與之匹配的特徵點。因此本研究為了減低時間複雜度，而根據BRISK特徵點的特性，提出以”Sorting Hat Matching”的技術來摒除關聯性較低的特徵點。但是純粹以”Sorting Hat”的方式並不能快速的幫使用者進行定位。因此在成功定位使用者之後，Localization將利用行動裝置裡的嵌入式感測器來判定使用者的旋轉方向，並以前一個方位為考量的基準，來推測使用者目前的觀看方向，進而定義出一個高關聯性的區域。此時，手機影像只需與此區域的特徵點進行特徵點比對即可。區域性的特徵點比對可以避免在行動裝置上計算量過度龐大的問題，並有效的提高了即時定位的效能。
為驗證本論文所提出的方法，本論文提了三項實驗分別驗證BRISK特徵點匹配的準確度，BRISK sampling pattern 依Ring順序的關鍵性，以及Sorting Hat Matching與傳統比對方法的時間。試驗結果證實了BRISK在眾Binary Descriptor中表現最為優異，BRISK sampling pattern 離中心點越接近的Ring就越關鍵。而Sorting Hat的速度也比一般傳統的比對速度快達5倍。除此之外，利用Sorting Hat Matching在高關聯性的區域做特徵點比對可以更有效的提高效能，滿足使用者需要即時定位的的需求。

關鍵字

特徵點 ； BRISK ； 室內定位 ； 全景圖

並列摘要

This paper presents a real-time vision-based indoor positioning approach that uses panoramic image to estimate mobile users’ position. When a user is within the focus of this panoramic image, they can be positioned by matching the live image captured by mobile device’s camera with the panoramic image. Therefore, the proposed method first uses an omni-camera to offline take the panoramic images that cover 360 degree view of the indoor environment. Sixteen perspective view images are then unwarped from the panoramic images. BRISK is then used to extract feature points with descriptors from these sixteen images. Consequently, instead of saving the whole panorama, only the descriptors from these sixteen images are saved into a panoramic with its coordinate in the panorama and perspective image.
Based upon the characteristics of the descriptor, a “Sorting Hat” is proposed to discard the unrelated descriptor during feature matching process. During online positioning, “Sorting Hat” matching is apply at the initialization stage to replace the blind matching between mobile device’s image and the indoor map to locate user’s orientation. Then, the inertial sensor embedded in the mobile device is utilized to determine panning direction of user to further constrain the number of features that involve in matching process for the follow-up localization. This can effectively reduce the computation load during run-time and make is realisable on mobile devices. However, the proposed approach is limited to the localization from a known position at this moment, further to expand the technique of positioning a mobile user among the multiple panoramic images is the next step of research.

並列關鍵字

Feature point ； BRISK ； Indoor localization ； Panoramic image

參考文獻

[36] Chan, Li-Wei, Ya-Ying Hsu, Yi-Ping Hung, and Jane Yung-jen Hsu. "Orientation-Aware Handhelds for Panorama-Based Museum Guiding System." In UbiComp 2005 Workshop: Smart Environments and Their Applications to Cultural Heritage. 2005.

[1] Azuma, R. T. (1997). A survey of augmented reality. Presence, 6(4), 355-385.

[4] Julier, Simon, et al. "Information filtering for mobile augmented reality." Augmented Reality, 2000.(ISAR 2000). Proceedings. IEEE and ACM International Symposium on. IEEE, 2000.

[5] Tesoriero, R., Tebar, R., Gallud, J. A., Lozano, M. D., & Penichet, V. M. R. (2010). Improving location awareness in indoor spaces using RFID technology. Expert Systems with Applications, 37(1), 894-898.

[6] Lee, Chunhan, et al. "Indoor positioning system based on incident angles of infrared emitters." Industrial Electronics Society, 2004. IECON 2004. 30th Annual Conference of IEEE. Vol. 3. IEEE, 2004.