How to handle multiple types of degenerate convolution superresolution

1. はじめに

単一画像超解像（SISR）の目的は、1 枚の低解像度（LR）画像入力から高品質な高解像度（HR）画像を得ることです。一般に、LR 画像 y は、以下の劣化プロセスによって得られるシャープな HR 画像 x です。


image.png は、HR クリア画像 x とぼかしカーネル k との畳み込みを表し、係数 s のダウンサンプリング演算子を表し、n は標準偏差（ノイズレベル）の加法性白色ガウシアンノイズ（AWGN）を表します。

SISR の手法は主に、補間ベースの手法、モデルベースの手法、識別学習ベースの手法の 3 つのカテゴリに分類されます。

補間ベースの手法（最近傍補間、双三次補間など）は高速ですが効果は限定的です。モデルベースの手法は、非局所類似性事前分布やノイズ除去事前分布などの画像事前分布を導入し、目的関数を求解して視覚的に高品質な HR 画像を得ますが、処理速度は遅くなります。CNN ベースのノイズ除去事前分布との組み合わせにより速度をある程度改善できますが、エンドツーエンド学習ができない、調整の難しいパラメータが含まれるなどの欠点に制約されます。

識別学習ベースの手法、特に CNN ベースの手法は、高速な処理速度とエンドツーエンド学習により近年広く注目され、SISR を解く主流手法として次第に確立されてきました。

CNN を用いた SISR の最初の研究である SRCNN が ECCV（2014 年）で公開されて以来、さまざまな改良手法が次々と提案されてきました。たとえば、VDSR は PSNR 指標で非常に大きな改善を達成し、ESPCN と FSRCNN はそれぞれ速度を向上させ、SRGAN は倍率が大きい場合の視覚効果を改善する効果的な手法を提案しました。

しかし、これらの手法には共通の欠点があります。双三次ダウンサンプリング劣化モデルのみを考慮しており、他の劣化タイプを同時に処理するためにモデルを柔軟に拡張できない（すなわち非ブラインドではない）という点です。実画像の劣化プロセスは多様であるため、これらの手法の効果的な実用アプリケーションシナリオは非常に限られています。

一部の SISR 研究では、画像劣化プロセスにおけるぼかしカーネルの精度が SISR に重要な役割を果たすことが指摘されていますが、CNN ベースでぼかしカーネルなどの要素を考慮した関連研究はありません。これが本論文で扱う主たる問いにつながります。異なる種類の画像劣化を解決する非ブラインド SISR モデルを設計することは可能か？

2. 手法

本論文ではまず、最大事後確率（MAP）フレームワークの下で SISR 手法を分析し、CNN ネットワーク構造の設計を導くことを目指します。SISR 問題の不良設定性により、通常は解空間を制約するために正則化項を導入する必要があります。具体的には、LR 画像 y に対応する HR 画像 x は、以下の問題を解くことで近似できます。

ここで、データ忠実性項（尤度項）、事前分布項（正則化項）、および尤度項と事前分布項の間のトレードオフパラメータを表します。

簡単に言えば、上記の数式には 2 つの要点が含まれます。

推定される HR 画像は、SISR の劣化プロセスに適合するだけでなく、クリアな画像の事前分布特性も満たさなければならない。

非ブラインド超解像問題では、x の解は LR 画像 y、ぼかしカーネル k、ノイズレベル、およびトレードオフパラメータに依存する。

要するに、非ブラインド SISR の MAP 推定は次のように表すことができ、ここで MAP 推定のパラメータを表します。さらに、CNN を MAP 推定解法の別の形式と見なすと、以下の結論が導かれます。

データ忠実性項は SISR の劣化プロセスに対応するため、劣化プロセスの正確なモデリングは SISR の結果に重要な役割を果たします。しかし、既存の CNN ベースの手法は以下の問題を解くことを目的としています：image.png
。ぼかしカーネルやノイズなどの要素を考慮していないため、その有用性は非常に限られています。

より効果的な CNN ベースの SISR モデルを設計するためには、より多くの種類の画像劣化を考慮する必要があります。シンプルなアプローチは、ぼかしカーネル k とノイズレベルをネットワークの入力として使用することです。トレードオフパラメータはノイズレベルに統合できるため、CNN 写像関数は以下のように簡略化できます：image.png

MAP 推定のパラメータの大部分は画像事前分布に対応し、画像事前分布は画像劣化プロセスとは関係がないため、単一の CNN モデルで異なる劣化タイプを処理するモデリング能力を持っています。

以上の分析から、非ブラインド SISR では劣化モデルのぼかしカーネルとノイズレベルもネットワークの入力として考慮すべきであると結論付けられます。しかし、LR 画像、ぼかしカーネル、ノイズレベルは次元が異なるため、そのまま CNN の入力として使用することはできません。

このため、本論文では次元伸長戦略を提案します。LR 画像のサイズを仮定し、まずベクトル化されたぼかしカーネルを PCA で次元削減し、次にノイズレベルと組み合わせて t+1 次元のベクトル v を得て、さらに v を次元のテンソルに伸長します。このテンソルを劣化マップ（Degradation Maps）と呼び、i 番目のマップのすべての要素は です。

ここで、劣化マップと LR 画像をマージして CNN の入力として使用できます。この戦略の有効性を証明するため、高速で効果的な ESPCN 超解像ネットワーク構造フレームワークを選択します。注目すべき点として、学習プロセスの収束速度を加速するため、および LR 画像にガウシアンノイズが含まれることを考慮して、ネットワークに Batch Normalization 層を追加しています。

図 2 に提案する超解像ネットワーク（以下 SRMD と略称）の構造フレームワークを示します。

3. 実験

学習フェーズでは、SRMD は等方性および異方性のガウシアンぼかしカーネル、ノイズレベル [0, 75] のガウシアンホワイトノイズ、および双三次ダウンサンプリング演算子を使用します。SRMD は他のダウンサンプリング演算子や他の劣化モデルにも拡張可能であることを指摘しておきます。

テストフェーズでは、SRMD は同じ双三次ダウンサンプリング劣化下での異なる手法の PSNR と SSIM の結果を比較しました（表 1 に示す）。SRMD は多種類の劣化を処理するために設計されていますが、双三次ダウンサンプリング劣化下でも良好な結果を達成していることがわかります。SRMD は速度面でも大きな優位性を持っていることを指摘しておきます。Titan Xp GPU 上で 512×512 の LR 画像を処理するのにわずか 0.084 秒しかかからず、これは VDSR の 2 倍超解像にかかる時間の半分です。

表 2 に異なる劣化タイプ下での PSNR と SSIM の結果比較を示します。SRMD が良好な結果を達成していることがわかります。図 4 は、SRMD が非一様な劣化マップを設定でき、非一様な劣化空間を持つ LR 画像を処理できることを示しています。最後に、図 5 に実画像に対する異なる手法の視覚効果の比較を示します。SRMD によって復元された HR 画像は、視覚効果において他の手法を大幅に上回っていることがわかります。

表 1：双三次ダウンサンプリング劣化下での異なる手法の PSNR と SSIM の結果比較（SRMDNF はノイズを考慮せずに学習したモデルを表す）。

表 2：異なる劣化タイプ下での異なる手法の PSNR と SSIM の結果比較。

図 4：SRMD が劣化空間が一様でない状況を処理できることを示す。（a）ノイズレベルとぼかしカーネル幅の空間分布、（b）LR 画像（最近傍補間で拡大）、（c）復元された HR 画像（2 倍に拡大）。

図 5：4 倍超解像での SISR の古典的なテスト画像「チップ」に対する異なる手法の視覚効果比較。

4. 結論

以上をまとめると、本論文の主な貢献は以下の 3 点です。

*シンプルで効果的かつスケーラブルな超解像モデルを提案し、双三次ダウンサンプリング劣化モデルだけでなく、多種類の劣化タイプや非一様な劣化空間を持つ劣化タイプも処理でき、SISR ソリューションに実用的なアプリケーションを提供する。

*畳み込みニューラルネットワークが異なる次元の入力を処理できるようにするシンプルで効果的な次元伸長戦略を提案し、この戦略は他のアプリケーションにも拡張可能である。

*合成画像で学習した超解像ネットワークモデルが実画像の複雑な劣化タイプを効果的に処理できることを実験で示した。