• 學位論文

使用超網路模型處理對話情境下的機器閱讀理解與錯誤傳導探討

在自然語言處理中，機器閱讀理解(Machine Reading Comprehension) 試圖讓機器從文件中提取語意，並根據語意回答文件相關的問題，是一個極具挑戰的應用，在深度學習的技術發展下，處理機器閱讀理解的技術日漸成熟，相與對應的模型也逐期推出，在這樣的基礎下，本論文探討相對複雜的情境，對話情境下的機器閱讀理解(Conversational Machine Reading Comprehension)，在此情境下， 模型除了需要了解文章與問題的內容，還需要理解問題本身與對話前期內容的相依性，因此如何處理對話情境的資訊，並將其融入機器閱讀理解的任務顯的重要。本論文提出使用超網路將對話情境的資訊融入產生的參數之中，讓當前的文章輸入和問題，和產生的參數互動得到對話情境的資訊，藉此提昇任務的表現。除此之外，本論文針對任務進行分析，並透過分析方法來了解模型的行為，期許未來研究能夠根據這些分析，提出有效的解決方案。

• 學位論文

基於深度學習的單張夜晚陰雨影像除雨與強化演算法

在惡劣的天氣條件下(尤其是在下雨的夜晚) 將使圖像質量下降，並導致許多基於視覺的應用失敗，例如自動駕駛和物體檢測。為了解決該問題並從夜間陰雨圖像中獲得清晰的圖像，我們提出了一種基於深度學習的單張夜間陰雨圖像除雨與強化模型。該模型包含兩個子模型：首先，亮度增強網絡基於對抗生成網路(GAN) 架構，用於將夜間陰雨圖像的亮度調整為更加清晰與明亮。然後，雨水去除網絡使用上下文相關的擴張網絡從強化後的圖像中除去除雨水條紋。基於改良JORDER和EnlightenGAN的訓練架構，提出的方法可以同時增強亮度效果並消除夜間多雨圖像的雨紋。透過在生成數據集和真實數據集上進行廣泛的實驗，所提出的方法比現有技術有了顯著的改進。

• 學位論文

在毫米波長多對多通道估計上運用丹茨克估計元及其誤差分析

多輸入多輸出，毫米波段的通信系統將逐漸被採納；大規模的天線使通道估計更困難。此時混合式波束賦形能更少使用射頻電路鍊，而被大幅應用，因此需要重新設計相應的通道估計方法。能將這問題看作壓縮感知的一個例子，過去文獻通常使用正交匹配追蹤算法。 我們考慮混合波束賦形的架構，及均勻線性陣列，其中兩側都有前編碼階段與結合階段。再產生隨機波束賦形的矩陣，使用丹茨克估計元估計通道在空間傅立葉轉換後的表示。這樣，就能得到高機率保證下的平均誤差範數的上界。為了減少複雜度，我們轉換成線性規劃，並建議使用基底追蹤去噪的形式。數值實驗顯示，丹茨克算法的正規化效果很好，特別來說，樣本數不足時，或噪音較大時，他仍然能有不錯表現。我們認為，在射頻電路鍊較少時，或估計階段不足時，不妨使用丹茨克估計元。

• 學位論文

可解釋性深度學習於多標注者圖像語意分割

為了解深度學習模型如何進行分類預測，近期不少研究轉向發展模型可解釋性，然而目前多數研究無法直接應用至語意分割任務上，更無法在多標注者圖像語意分割問題上提供模型可解釋性。針對多標注者圖像語意分割任務，本研究旨在透過回答兩個問題來實現可解釋性模型：「誰」的標注影響預測結果，以及「為何」模型會受到該標注者影響。本研究中，我們提出了 Tendency-and-Assignment Explainable (TAX) 訓練框架，使模型能給提供「標注者」與「指派原因」兩層次的解釋。在 TAX 訓練框架下，多組捲積核負責學習不同標注者的標注傾向（標注偏好），而 prototype bank 利用圖像資訊來引導多組捲積核的學習。本研究實驗結果顯示，TAX 不僅能夠結合目前最新的網路架構以達到優良的語意分割效果，同時能針對「標注者」與「指派原因」兩面向提供令人滿意的可解釋性。

• 學位論文

非目標式之由文本控制的影片操縱技術

在本論文中,我們研究了沒有目標圖像監督下的文本引導圖像編輯問題。在僅觀察輸入圖像、使用者給定指令和對應圖像之物件類別標籤,我們提出了一種迴圈式編輯GAN (cManiGAN) 來解決這一具有挑戰性的任務。首先,通過引入一個圖像-文本跨模態解釋器,用相應的指令對輸出圖像進行比對驗證,我們能夠為訓練圖像生成器提供單詞級的訓練反饋。此外,迴圈式編輯一致性的假設進一步用於圖像處理,它結合了『撤消』指令,用於處理後的輸出以還原輸入圖像,能夠在像素級別提供額外的監督。我們在CLEVR 以及COCO 的數據集上進行了廣泛的實驗。雖然後者由於其多樣化的視覺和語義信息而特別具有挑戰性,但我們在兩個數據集上的實驗結果證實了我們提出的方法的有效性和普遍性。

• 學位論文

背部與模糊人臉偵測

人臉偵測在電腦視覺領域中是一項重要的課題。無論在門禁管理、智慧零售，或疫情期間的健康控管等方面，偵測或辨識出人臉是不可或缺的技術。儘管已有諸多人士投入相關研究，尤其在過去十年深度學習的突飛猛進之下，各有所長的演算法相繼被提出，但在一些較困難的情況或資料集上，仍然有相當大的進步空間，例如大面積遮蔽、大角度轉頭，或低解析度的模糊臉部等。這篇論文主要針對兩種情況做改善，分別是背面的人臉或頭部，以及不同模糊程度下的人臉偵測。 對於背面的人臉，最關鍵的是找出可能為頭髮的區域。我們推斷頭髮及其周邊的像素變化會較為劇烈，並結合影像梯度和顏色的特徵來找出這些區域；接著，為了剔除掉多餘的候選區塊，我們訓練了一個卷積神經網路模型來區別頭部或臉部與其他物體；最後，再以非極大值抑制以及一些幾何條件來做最後的篩選。 對於模糊的人臉，我們則生成許多不同模糊程度與不同模糊方式的人臉影像，作為訓練集與測試集。我們測試了幾種最新用於物件偵測的卷積神經網路模型，包括YOLOv4 和DenseNet等；若結合不同模型的輸出，可能會有更好的效果，因此我們也嘗試訓練針對特定模糊程度的模型，再將其和先前的模型結合在一起做集成學習。 模擬結果顯示，無論對背面的人臉或模糊的人臉，我們的方法皆能在這些特殊的資料集上勝過既存的方法，並有效補強目前人臉偵測演算法的不足之處。

• 學位論文

雙基地多輸入多輸出雷達在多誤差環境的存在下之角度估計

此篇論文在探討關於估計離開方向(Direction of departure, DOD)與到達方向(Direction of arrival, DOA)的問題。傳統的一維均勻線性陣列(Uniform Linear Array, ULA)只需要討論關於DOA的估計問題，而近年討論度很高的多輸入多輸出雷達(Multi-input Multi-output, MIMO)則需要估計DOD和DOA。我們研究主要是以雙基地(Bistatic) MIMO雷達為天線架構，並且探討解決訊號在實際環境中可能會遭受到的各種非理想環境，像是天線耦合現象(mutual coupling)、天線元件增益與相位誤差(gain and phase error)、同調環境(coherence)、天線元件位置擾動(position error)、本地散射(local scattering)等等誤差環境。 為了解決在雙基地MIMO雷達下訊號可能會遭受多種誤差環境的影響，我們參考文獻Separate MUISC演算法來將資料矩陣分為傳送端與接收端之資料矩陣，來對抗同調環境的影響並降低創建字典矩陣時的運算時間。接著利用Simultaneous Orthogonal Matching Pursuit(SOMP)演算法初步估計出DOD與DOA，此方法比傳統OMP演算法的運算時間還快。再利用文獻中解決天線耦合現象的Recursive Rank-Reduction(R-RARE)演算法，並且搭配上梯度(Gradient)演算法與middle array的概念結合，來估計天線元件增益與相位誤差之矩陣，最後利用迭代的方法來修正受到天線耦合現象以及天線元件增益與相位誤差之DOD與DOA估計的問題。最終我們提出的方法可以有效的對抗受到天線耦合現象、天線元件增益與相位誤差、同調環境以及本地散射的多重誤差環境，以提升估計DOD與DOA的精確度以及強健性。

• 學位論文

多天線正交分頻多重接取系統中載波頻率偏移之估測

正交分頻多重接取系統於近年來廣泛應用於多種通訊系統上，有著非常重要的地位。但由於正交分頻多重接取系統是基於一項技術正交分頻多工的基礎所設計的，因此相同的，對於傳送端與接收端之間的載波頻率偏移非常的敏感，如果沒有順利的解決載波頻率偏移之問題，則會造成載波間干擾以及用戶間干擾等狀況，這些現象都將會使得整個通訊系統的品質與表現大幅下降。 本篇論文將基於現有的改善頻率偏移狀況的方法，延伸至多天線正交分頻多重接取系統，並提出利用多天線所估測之頻率偏移量之線性組合的方法來大幅改善頻率偏移所造成的影響。論文中也提出一些參數標準之參考值，可以僅透過簡單的計算與判斷得出最適當的線性組合結果，其改善結果相當優秀且簡易快速。本論文的章節後有附上多種情況下之實驗模擬圖來驗證目標方法的效果與表現。

• 學位論文

在多重不匹配環境下應用張量模型在雙基地多輸入多輸出雷達的強健性波束成型演算法

本篇論文中將討論在雙基地多輸入多輸出雷達系統上的波束成型器演算法設計，並探討在考慮多重不匹配誤差環境，像是信號角度誤差、天線耦合現象、天線元件位置擾動、信號射散問題、天線元件增益(Gain)與相位(Phase)誤差……等，因為在現實環境中，這些誤差是有可能同時發生的，因此在多重誤差下也能維持良好效能的強健性演算法是我們欲探討的主要問題。 本論文中所提出的演算法之中，首要貢獻為針對同調環境帶來的影響，許多文獻中的方法在面臨同調問題時效能都會大幅下降，因此我們在其中一篇文獻中發現四階張量自相關矩陣的概念，並參考運用此概念，分離出信號傳送端與接收端的部分，來改善同調環境衍生出的效能降低之問題。 在克服同調環境的影響後，為了應付同調以外的誤差環境，我們還會結合估計指引向量和重建干擾加雜訊自相關矩陣的概念，使我們的演算法在多重誤差下也能維持良好的效能。 在估計指引向量方面，我們將原先本實驗室所提出的極小極大方法，改良為分別對指引向量的增益(Gain)和相位(Phase)部分來估計，來提升在誤差環境下的強健性。然而所估計的指引向量在誤差加劇時可能不會完全準確，因此在高功率下可能會發生能量反置現象，會將自相關矩陣中的欲接收信號成分當作干擾信號消除，因此我們結合參考文獻中的重建干擾加雜訊自相關矩陣方法，概念是藉由去除訊號自相關矩陣，接收信號成分來避免能量反制現象，從而提升其效能。 參考文獻中原先重建干擾加雜訊自相關矩陣的方法，所使用的是預設理想的指引向量，並配合信號角度重建，我們參考文獻中的方法，考量並加入誤差對指引向量的影響，使其更接近理想的干擾加雜訊自相關矩陣，並改良其方法，加強干擾加雜訊自相關矩陣對於演算法的強健性和泛用性。

• 學位論文

利用標籤資訊之周邊資訊基準音樂播放清單延續

播放清單延續對於音樂推薦而言是不可或缺的，其目標為利用歌曲資訊及歌曲與播放清單間的關係，將適合的歌曲加入播放清單內。然而，由於冷啟動歌曲的資訊稀缺性，當候選歌曲或播放清單內的既存歌曲為冷啟動歌曲時，既有的推薦系統多半表現不佳。在這篇論文中，我們利用了結合協同過濾（collaborative filtering）及內容過濾（content-based filtering）的混合模型，以回歸的方式來處理冷啟動問題。具體而言，我們將播放清單中各首歌曲的標籤視為一張二維圖片，並以周邊特徵向量利用潛藏於標籤之中的資訊，以進行總體推薦（ensemble recommendations）。為了確保順暢的聆聽體驗及增進系統表現，我們保留了原本歌曲在播放清單中的排序。我們使用了編輯者及使用者創作的播放清單來衡量此模型的性能，實驗結果顯示，該模型在含有冷啟動的資料集中以命中率作為衡量指標時，表現勝過了其他競爭模型。