1)按領域分類:
第一種是使用傅裡葉變換及其逆變換原理基於頻域,消除低分辨率圖像裡的頻譜混疊以獲得更多的高頻信息,從而提高圖像分辨率。
第二種是利用圖像局部的資訊基于空域進行,增加像素的數量和緊密程度,從而提高圖像分辨率。
2)按所用低分辨率圖像的數量:
第一種是針對輸出的是單幅圖像,增加圖像尺寸或者像素数量,以及在圖像系統的衍射極限之外復原圖像信息。
第二種是既包括單幅圖像也包括一個圖像系列,基本前提是可通過同一場景獲取多幅LR細節圖像,以此合成HR圖像,從而達到SR圖像復原的目的。
3)按技術本身特點:
第一種是基於重建的超分辨率復原方法是對圖像的獲取過程建立觀測模型,然後通過求解觀測模型的逆問題來實現超分辨率重建。觀測模型描述了成像系統從高分辨率場景 (圖像)獲取低分辨率觀測圖像的過程。
第二種是借助預先的訓練學習(從資料庫)來尋找或建立低分辨率圖像與其對應的高分辨率圖像之間的映射關係,提取高頻資訊,從而在給定低分辨率圖像的情況下,通過優化方法獲得相應的高分辨率圖像。
背景介紹
通過軟體或者硬體的技術手段來提升原有圖像的分辨率就是超分辨率,現如今高清設備也不斷在日常生活中普及,大部分客戶端顯示裝置的畫面分辨率已經普遍是2K顯示標準,甚至有些已經是更高的顯示水準。在這樣的情況下,一些以前的多媒體素材,例如珍貴的歷史記錄影像資料需要得到高清修復。這些工作放在之前都需要耗費大量人力和資源才能完成。但是隨著圖像超分辨率技術的逐漸成熟,為解決這個問題提供了一個更好的方法。通過圖像超分辨率技術,更輕鬆更經濟地就能完成這些素材的高清修復工作。
除了在多媒體素材修復方面,超分辨率技術在攝影拍攝過程中也得到了廣泛的應用。因為手機的便於攜帶,且人們的日常生活離不開手機,所以手機廠商也越來越重視用戶對於拍攝功能的需求,所以圖像超分辨率這項技術也在手機拍攝功能這方面得到廣泛應用。
1)圖像修復技術與圖像超分辨率技術:
圖像修復的目標是恢復一個被模糊或者信息被破壞的圖像,但是它不改變圖像的尺寸。事實上圖像修復和SR復原在理論是完全相關的,超分辨率技術可以看作是第二代圖像修復技術,主要區別是圖像修復技術在處理後圖像中的像素數幷不增加。
2)圖像插值與圖像超分辨率技術:
圖像插值,即增加單幅圖像的尺寸。一般的插值並不能恢復LR採樣過程中丟失的高頻信息,但是圖像超分辨率可以,因此圖像插值方法不能被認作是SR技術。
3)圖像銳化與圖像超分辨率技術:
圖像銳化可以提升高頻信息,但僅增强已有的高頻成分;超分辨率技術能估計出原始圖像中沒有表現出來的高分辨率細節。
4)圖像拼接與圖像超分辨率技術:
圖像拼接雖然將多幅圖像結合成更大的圖像,包含了更多的像素数量,但沒有提供更多的細節信息,所以不能算是超分辨率技術。
1)圖像壓縮領域:
通常,為了減少圖像存儲所需的空間以及傳輸所需的頻寬,會在進行傳送前將圖片預先壓縮,等接收端接收完解碼,再利用超分辨率重建技術復原原始圖像。這種使用方法一般在視訊會議等即時性要求比較高的場合應用廣泛。
2)醫學成像領域:
超分辨率重建技術在醫療方面也有一定的應用,使用超分辨率重建技術對醫學圖像進行
復原。這樣既能降低對成像環境的要求,也能保證不增加高分辨率成像技術成本。清晰醫學影像能幫助醫生更好地了解病變細胞的情況,對患者病情做出更好的診斷。
3)遙感成像領域:
目前我國的天文事業發展也是領先其他很多國家,針對之前遙感衛星需要耗時長、成本高等才能擁有高分辨率的情況,特地在該領域引進了超分辨率重建技術,以解決高分辨率的遙感成像過程複雜的缺點,這一技術的引入使得能在不改變系統本身的前提下提高成像的分辨率。
4)公共安防領域:
公共場合的監控設備采集到的視頻往往受到天氣、距離等因素的影響,存在圖像模糊、分辨率低等問題。通過對採集到的視頻進行超分辨率重建,可以爲辦案人員恢復出車牌號碼、清晰人臉等重要資訊,爲案件偵破提供必要綫索。
5)視頻感知領域:
通過圖像超分辨率重建技術,可以起到增强視頻畫質、改善視頻的品質,提升使用者的視覺體驗的作用。
目前來講,爲了獲得高品質的高分辨率圖像,滿足不同情況的實際應用要求,超分辨率圖像復原的研究發展方向主要集中在以下三個方面:
1)提高超分辨率圖像復原的能力,減小計算量,加快運算的收斂速度,適用不同的圖像要求;
2)發展和尋求新的退化成像模型,使成像模型更加精確和全面,實現對點擴散函數和雜訊的精確估計。
3)在利用序列和多幅圖像的復原中,發展和尋求新的運動模型,能够對運動進行精確估計。