基於稀疏表示的影象超解析度重建演算法研究
影象超解析度重建是一種改善影象視覺效果和為影象後續處理（影象特徵提取、資訊識別等）做準備的重要影象處理技術。本文主要研究了稀疏表示在影象超解析度重建中的應用，重點介紹分析稀疏表示中字典構建和正則化項建立的方法，並提出將基於稀疏表示的多幀影象超解析度重建技術用於遙感影象的時空融合問題中。
傳統的基於map的超解析度重建方法中，通常建立基於高斯分布或者拉普拉斯分布的雜訊模型，但是這種基於某種雜訊分布的模型很難自適應處理實際中複雜的雜訊模型。針對這個問題，本文提出一種新的混合雜訊模型，通過估計雜訊的分布引數來自適應地決定雜訊的分布趨勢。
根據所需處理的解析度影象的不同，。並進一步討論稀疏表示中字典的建立和稀疏正則化約束的方法。字典的建立方法中介紹兩類有效的方法：
基於影象特徵的字典對和聚型別字典；根據稀疏性約束出發點的不同，將正則化分為基於區域性稀疏約束的、加權的區域性稀疏約束和基於全域性的稀疏性約束。
另外，針對遙感影象獲取中遙感器不能拍攝同時具有高空間解析度和高時間解析度影象的問題，本文提出將基於稀疏表示的多幀影象超解析度重建方法應用於此問題中。結合遙感序列影象的特點，從可學習的影象特徵空間出發，提出了基於遙感影象空間資訊和基於遙感序列時間資訊的兩種學習思路。
關鍵詞：稀疏表示影象超解析度重建反問題字典學習稀疏正則化約束遙感影象時空解析度
一章緒論
影象超解析度重建是利用同一場景的多幅存在亞畫素位移的低解析度影象重建一幅高解析度影象的過程。近年來基於學習的方法，可以從其他影象中獲取先驗資訊，因此可以大大降低對輸入低解析度影象的要求，例如只需要一幅低解析度影象即可。本文提出的影象超解析度重建的概念：
給定某一場景的一幅或者幾幅低解析度影象，結合一定的先驗資訊來重構此場景的高解析度影象的過程稱為影象超解析度重建問題。
影象處理領域還有幾個和超解析度重建技術相似的影象處理技術：影象放大、影象復原、影象增強和影象融合。
影象放大：根據影象自身的畫素值來增加畫素的個數。且此技術的觀測模型中不涉及變形過程及模糊過程，而超解析度重建模型需要考慮這兩步的降質過程；
影象復原：基於特定影象觀測模型，影象去噪，影象去模糊
影象增強：通過一定的加工手段獲得對某種具體應用來說更有效的影象，直方圖均衡，影象平滑，影象銳化；
影象融合：利用某種演算法把兩幅或者多幅影象資訊結合起來產生一幅新影象的技術，這一定以表明影象融合比影象超解析度重建具有更廣泛的涵義，例如影象拼接屬於影象融合但不屬於超解析度重建。
最早的影象超解析度重建採用的是基於傅利葉變換平移特性的頻域方法，理論簡單，計算量低，但不能融入先驗資訊且只能處理全域性平移的運動模型，之後對頻域方法的研究不多。 對此，出現大量空域方法：非均勻取樣內插法、反向迭代投影法、基於最大後驗的統計方法、基於集合的凸集投影方法以及基於稀疏表示的方法等。
本文將目前研究較多的超解析度演算法分為三類：基於插值的方法（相對簡單，適合於實時處理）、基於重建的方法、基於學習的方法。
基於插值的影象超解析度重建方法
基於多幀低解析度影象間的插值是最直觀的影象超解析度重建技術。該類方法採用非均勻的取樣結構。步驟如下：
1 估計各幀低解析度影象間的相對運動資訊
2 利用低解析度影象的畫素值和它們之間的相對運動資訊得到高解析度影象在非均勻間距取樣點上的畫素值
3 通過非均勻估計插值估計每個高解析度柵格上的畫素值
4 採用影象恢復技術消除模糊和減小雜訊
基於重建的影象超解析度重建演算法
此方法原理是利用前向觀測模型對輸入的多幀解析度影象進行一致性約束，並結合一定的影象先驗資訊（通常是平滑性約束）進行求解。關鍵是運動估計和選擇先驗資訊。
比較典型的基於重建的超解析度重建方法：
迭代反向投影法：將估計到的高解析度影象代入前向觀測模型中得到低解析度影象和原來的低解析度影象做差得到乙個誤差估計，然後利用此估計誤差更新高解析度影象，即反向投影過程。演算法簡單、直觀，但存在解不唯一和不穩定的問題。
主要原因是該方法中沒有加入先驗資訊，另外反向投影核也比較難確定。
map（最大後驗概率）方法：
pocs（凸集投影法）方法：通過迭代地求解一系列約束凸集的交集來求得高解析度影象。其中每乙個約束凸集代表了一種高解析度影象可行解的子空間，例如正定性解空間、能量有界性解空間、觀測資料一致性解空間以及光滑性解空間。
迭代時，首先確定高解析度影象的初始值，並假設每乙個凸集對應乙個凸集投影運算元，然後從高解析度影象某一點出發，尋找滿足所有約束凸集的下一點，通過各個約束集合的相交，可以得到乙個更小的子空間，然後不斷重複上述迭代過程，最終估計到高解析度影象。演算法簡單，且可充分利用先驗資訊，但是解不唯
一、不穩定，收斂過程較大程度上依賴於高解析度影象初值的選擇，對初值較為敏感。
基於學習的影象超解析度重建演算法
基於重建的方法雖然可以加入先驗資訊，但是在大概率情況下恢復效果差，主要原因是此時低解析度影象不能提供足夠的先驗資訊，為加入更多的先驗資訊出現基於學習的超解析度重建方法。其基本思想是首先選定一組高解析度和低解析度訓練影象集，然後再高低訓練影象集上簡歷一種對應關係，這種對應關係可以是一**像特徵的查詢表、一組學習到的插值核或者高低解析度影象塊的表示係數。
基於學習的超解析度重建防範
1 基於樣本
學習過程：首先將選擇的高低解析度影象進行分塊，然後利用馬爾科夫隨機場建立高低解析度塊之間的概率轉移模型和高解析度率鄰近塊之間的概率轉移模型，所有這些關係組成乙個馬爾科夫網路。對於待重建的一幅低解析度影象，將其分塊後，對於每一塊利用訓練過程中建立的概率模型尋找其在馬爾科夫網路中的最佳位置，從而找到對應的高解析度快，最後得到一幅高解析度影象。
基於樣本的超解析度重建方法比先前的基於插值和重建的方法可以恢復更多的高頻或者細節資訊，但是這種方法對選擇的訓練樣本的要求更高，且抗噪效能比較差。
2 鄰域嵌入
假設對應的高低解析度影象塊可以再它們的特徵空間形成具有相同區域性集幾何結構的流形。過程：首先選擇一組訓練樣本，然後訓練得到高低解析度影象塊的流形；對於重建的低解析度影象塊和這些選定的k鄰域的距離關係得到加權係數，最後利用得到的加權係數和低維流形對應的高維流形估計相應的高解析度影象塊。
這個方法存在的問題是高低解析度影象塊在鄰域嵌入時較難建立鄰域保持關係，為改進這一問題，出現了基於直方圖匹配的訓練樣本選擇演算法和基於區域性殘差嵌入等方法。相比於基於樣本的學習方法，基於鄰域嵌入的方法需要較少的訓練樣本，且有一定的抗噪效能。
3 基於稀疏表示的方法
思想假設：自然界的影象具有相似的結構表示基元，這裡的結構通常指高頻資訊，例如影象的邊界資訊、紋理結構資訊等。這個方法包括訓練和重建兩個階段。
訓練過程如下：1 選擇大量的各類結構的自然影象；2 分別對高低解析度影象提取各自的高頻特徵；3 對高低解析度特徵影象分塊，並隨機抽取一定量的高低解析度特徵塊作為訓練樣本；4 對於高低解析度訓練樣本中每一對特徵塊，約束它們具有的稀疏表示係數，最後學習到一對過完備的高低解析度字典。重建階段 ，對於輸入的低解析度影象，首先對其提取相應的影象特徵，然後將其分塊，對於每乙個影象特徵塊找到其相關的低解析度字典的稀疏表示係數，利用此表示係數和高解析度字典可以由稀疏表示理論得到相應的高解析度影象特徵塊，然後恢復整幅高解析度影象。
另一種基於稀疏表示的方法是先用低解析度樣本訓練乙個低解析度字典，然後根據影象的降質過程，約束產生乙個和上述低解析度字典匹配的高解析度字典。第三種思路是只訓練產生乙個高解析度字典，恢復時根據影象的降質過程通過迭代求得高解析度影象。
基於稀疏表示的方法可以較好地保持鄰域關係，且可以恢復更多的影象細節資訊。缺點是稀疏編碼階段的計算量較大，另一方面，得到乙個具有廣泛表示能力的過完備字典比較難。
稀疏表示sr研究背景及發展狀況
影象處理領域，在基於變換的訊號表示中用幾個主要基元就可以充分地表示訊號，這在影象壓縮中已經得到應用。jpeg和jpeg-2000就是分別基於離散余弦變換和離散小波變換，但在壓縮階段採用了選取具有大係數表示基元的方法。訊號稀疏在其中得到充分的體現。
人類視覺效果：只對某些結構性高頻資訊敏感，從而稀疏表示模型能有效地和人類視覺系統感知系統匹配。在這樣的情況下，出現了基於冗餘字典的稀疏表示方法，即訊號可以用乙個冗餘字典中少量基元的線性組合來表示。
在影象壓縮、影象去噪、影象恢復以及影象超解析度重建中應用。
二章反問題、稀疏表示與字典學習理論
影象中反問題解法
影象資訊丟失原因：1 攝像儀器精度和影象處理技術限制；2 自然環境中不可避免的各種雜訊和干擾引起；由於資訊丟失而導致解不唯一的現象稱為影象處理中的反問題（數學中稱為病態問題或者不適定問題），解決這一問題，出現了以正則化為基礎的方法以及優化演算法。
正則化方法
影象降質後，想要恢復原影象，最直接的方法是最小二乘法，但由於反問題中解的不唯一性，加入額外的資訊才能得到逼近原影象資訊的解，即概率論中所謂的先驗資訊或者確定論中的正則化資訊。基於這種先驗資訊的方法稱為正則化方法（最小二乘法+先驗資訊（約束條件））。其思想是：
用一組與原問題相鄰近的適定問題去逼近原問題的解。在這個過程中，需要解決的三大核心問題是：構造正則運算元、選取正則引數一獲得圓滿的收斂速度以及如何快速求解。
優化過程一般都是基於迭代下降法。
稀疏表示方法
訊號的稀疏表示就是多**在變化域壓縮的關鍵技術。
目前基於影象稀疏表示的研究主要沿著兩個方向展開：基於多尺度的幾何分析理論和基於過完備原子庫的冗餘系統。第乙個方向採用「單一基」，通過建立合適的能夠處理邊緣到紋理更層面幾何結構的影象模型來逼近地擬合資料。
第二個方向，稀疏表示，通過訊號在過完備庫上的分解，用來表示訊號的基可自適應地根據訊號本身的特點靈活選取，以得到訊號的稀疏表示。
改進MAP演算法的影象序列超解析度重建
第 卷第 期 年 月 計算機應用與軟體 改進 演算法的影象序列超解析度重建 田秀華孫曉春 遼寧工程技術大學機械工程學院 遼寧阜新 遼寧工程技術大學電子與資訊工程學院遼寧葫蘆島 摘要對基於 演算法的影象超解析度重建演算法進行研究，分析演算法的不足。針對現存的 演算法邊緣與細節保持能力的 不足，提出改進...
一種新的單幅影象超解析度方法
問題描述 一般地，我們認為低解析度影象是由高解析度影象經過模糊 扭曲 降取樣以及雜訊汙染得到的 整個降晰過程可以近似表示成乙個線性過程 假定低解析度影象的尺寸為 影象放大尺度為，那麼圖象降晰模型可以表述為 行 也可以簡潔的表示為 脅 其中，和町分別表示按行或按列重新排列而成的 的 圖象 的 蝴 的雜...
ps教程畫素 解析度和影象尺寸
1我們知道顯示器上的影象是由許多點構成的，這些點稱為畫素，意思就是 構成影象的元素 但是要明白一點 畫素作為影象的一種尺寸，只存在於電腦中，如同rgb色彩模式一樣只存在於電腦中。畫素是一種虛擬的單位，現實生活中是沒有畫素這個單位的。在現實中我們看到乙個人，你能說他有多少畫素高嗎？不能，通常我們會說他...