Image Generation Algorithm Based on Stylization Against Self Encoder

概要

本論文では、自動画像生成のためのオートエンコーダーベースの敵対的生成ネットワーク (GAN) を提案する。これを「様式化敵対的オートエンコーダー」と呼ぶ。既存の生成的オートエンコーダー（通常、潜在ベクトルに事前分布を課すもの）とは異なり、提案手法では潜在変数をスタイル特徴とコンテンツ特徴の 2 つの要素に分割する。いずれも実画像のエンコーディングに基づく。この潜在ベクトルの分割により、異なるサンプル画像を選択することで、生成画像のコンテンツとスタイルを自由に調整できる。

さらに、本 GAN ネットワークでは多クラス分類器を判別器として使用しており、よりリアルな画像を生成できる。手書き数字、シーンテキスト、および顔データセットで実験を行い、様式化敵対的オートエンコーダーが優れた画像生成結果を達成し、対応する教師あり認識タスクを大幅に改善できることを示す。

1：導入

自然画像の生成的モデリングは、コンピュータビジョンおよび機械学習の分野における基礎的な研究課題である。初期の研究では、生成ネットワークモデリングの統計的原理に注目が集まっていたが、効果的な特徴表現手法が不足していたため、得られる結果は特定のモードに限定されていた。ディープニューラルネットワークは表現学習において顕著な優位性を示しており、画像分類やオブジェクト検出などの判別的ビジョンタスクに効果的であることが実証され、一連の深層生成モデルの開発につながった。

研究により、正則化されたニューラルネットワークは制約のないネットワークを実践的に上回ることが多いことが示されている。一般的に使用される正則化の形式には、L1 ノルム LASSO、L2 ノルムリッジ回帰、およびドロップアウトなどの現代的な手法が含まれる。特にオートエンコーダーニューラルネットワークについては、研究者が多くの正則化手法を提案している。しかし、これらの正則化手法はいずれも潜在変数（隠れノードとも呼ばれる）に事前分布（多くの場合ガウス分布）を課すものである。

このアプローチは、グレースケール数字画像のモデリングなど、比較的単純な生成タスクには有効であるが、色付き英数字画像や顔などの複雑な画像の生成には適していない。これらの画像は潜在変数が多く、その真の分布は把握が困難であり、単純なモデルではモデリングできないためである。

図 1 に示すように、本論文では様式化敵対的オートエンコーダー (SAAE) という新しい生成モデルを提案する。これは敵対的アプローチを用いて様式化オートエンコーダーをトレーニングするものである。

既存のオートエンコーダーとは異なり、潜在ベクトルを画像コンテンツに関連する部分と画像スタイルに関連する部分の 2 つに分割する。コンテンツ特徴とスタイル特徴はいずれもサンプル画像からエンコードされ、潜在変数の分布に関する事前仮定は一切使用しない。指定されたコンテンツとスタイルを持つ目標画像は、組み合わされた潜在変数に基づいてデコードできる。つまり、異なるサンプルコンテンツ画像やスタイル画像を選択することで出力画像を調整できる。

さらに、文献 [1, 2, 3] の手法に着想を得て、モデルトレーニング段階において敵対的アプローチを採用する。典型的な二値分類器を判別器として使用するのではなく、本 GAN ネットワークでは多クラス分類器を使用する。これにより、真画像と偽画像を区別する際に生成画像の変動をより良くモデル化できる。さらに、GAN モデルトレーニングはゲーム形式の極小极大最適化であり、収束が非常に困難であるため、提案する GAN ネットワークの収束性能を改善する効率的な 3 段階トレーニングアルゴリズムを经验的に開発した。

図 1：本モデルの概要図。コンテンツ画像とスタイル画像からそれぞれ特徴を抽出し、それらの特徴を融合させて目標画像をデコードする。多クラス判別器により、生成画像がよりリアルになるよう強制される。

本研究の主な貢献は以下のようにまとめられる。

コンテンツ特徴とスタイル特徴を 2 つのサンプル画像からそれぞれ独立にエンコードし、これら 2 つの特徴から新しい画像をデコードできる、新規な深層オートエンコーダーネットワークを提案する。

多クラス分類器を判別器として使用し、生成画像の多様性をより良くモデル化するとともに、生成ネットワークに対し、よりリアルな結果を生成するよう効果的に強制する。

提案する様式化敵対的オートエンコーダーの収束を確保するための 3 段階トレーニング戦略を開発する。

2：様式化敵対的オートエンコーダー

説明の便宜上、シーンテキスト生成などの文字画像生成を背景アプリケーションとしてアルゴリズムを紹介するが、実験部分では顔生成など、さらに多くのアプリケーションも示す。目標は、ニューラルネットワークを定義しトレーニングすることで、2 つのサンプル画像（コンテンツ画像 c とスタイル画像 s）から画像を生成することである。文字画像生成において、コンテンツ画像はスタイル、テクスチャ、背景を持たない合成文字画像（A から Z、0 から 9 など）を指し、スタイル画像は実単語画像などのサンプル画像である。

前述のように、実データの先驗分布を表現する潜在変数をスタイル特徴とコンテンツ特徴の 2 つの部分に分割する。コンテンツ特徴はコンテンツ画像から（畳み込みネットワークを介して）得られ、スタイル特徴はスタイル画像から得られる。

2.1 生成器

生成ネットワークは 2 つのエンコーダー（Enc_c と Enc_s）と 1 つのデコーダー（Dec）で構成される。Enc_c はコンテンツ画像をコンテンツ潜在表現（特徴 z_c）にエンコードし、Enc_s はスタイル画像をスタイル潜在表現（特徴 z_s）にエンコードする。Dec は組み合わされた潜在表現をデコードして出力画像を生成する。便宜上、Enc_c、Enc_s、および Dec の組み合わせを生成器 G と呼ぶ。

2.2 判別器

既存の GAN における判別器の出力は、入力 x が実画像である確率 y = Dis(x) ∈ [0,1] である。判別器 D は二元クロスエントロピー L_{dis} = −log(Dis(x)) − log(1 − Dis(G(z))) を最小化するようトレーニングされる。

G の目標は、D が実画像と区別できない画像を生成すること、すなわち L_{dis} を最大化することである。前述のように、既存の GAN ネットワークでは D に二値分類器を使用して画像が実画像か生成画像かを判定している。しかし、すべての実画像を一つの大きな正のクラスにまとめてしまうと、これらのトレーニング画像の内在する意味構造を活用できない。そこで、多クラス分類器を判別器として使用することを提案する。これにより、入力が生成画像であるか、あるいは特定の実画像クラス（特定の文字など）に属するかを判定する。

2.3 ネットワークアーキテクチャ

畳み込みニューラルネットワーク (CNN) は特徴表現および画像生成において大きな優位性を示しており、提案する SAAE ネットワークは CNN アーキテクチャに基づいている。図 2 に示す通りである。

実際、提案する生成ネットワークは 2 つの特徴抽出ネットワークパイプラインに続いて生成ネットワークが配置された構成である。コンテンツ特徴抽出器とスタイル特徴抽出器はいずれもダウンサンプリングなしの 3 つの畳み込み層で構成され、サンプル画像の詳細情報を可能な限り保持する。入力スタイル画像とコンテンツ画像は異なる次元を持つ場合がある。

たとえば、シーンテキスト文字画像を生成する場合、コンテンツ画像は 1 文字を含む画像であり、スタイル画像は 1 単語または複数の文字を含む画像である。3 つの畳み込み層を経た後、スタイル特徴マップは全結合層によってスタイル特徴ベクトルに再構成される。コンテンツ画像からデコードされたコンテンツ特徴マップと結合するため、スタイル特徴ベクトルをコンテンツ特徴マップと同じサイズの特徴マップに再スケーリングする必要がある。

コンテンツ特徴抽出ネットワークには全結合層がない。コンテンツ画像の 2 次元空間情報を保持する必要があるためである。コンテンツ特徴マップとスタイル特徴マップをチャネル次元で結合する。つまり、組み合わされた特徴マップのチャネルの半分がコンテンツ特徴から、もう半分がスタイル特徴から構成される。その後、生成ネットワークは 3 つの畳み込み層を使用して、組み合わされた特徴マップを目標文字画像にデコードする。

判別ネットワークは、3 つの畳み込み層で構成される一般的な CNN 分類器である。最初の畳み込み層の後に 2×2 マックスプーリング層が配置され、最後の畳み込み層の後に 2 つの全結合層が配置される。判別器の出力層は (k+1) 次元ベクトルであり、入力画像が各クラスに属する確率を表す（実画像が k クラス、偽画像が 1 クラス）。

各畳み込み層にバッチ正規化を適用しており、トレーニング段階の収束を加速する。最後の層以外のすべての層で Leaky ReLU を使用し、最後の層ではシグモイドを使用して各出力を [0,1] 区間に射影する（確率として）。

2.4 トレーニング戦略

文献 [4] で使用されている段階的トレーニングに触発され、モデルを最適化するための 3 段階トレーニング戦略を提案する。この 3 段階最適化戦略により、安定したトレーニング結果を得られる。

3：実験

4 つの異なる方法で提案手法を評価した。MNIST データセット上の対数尤度を計算して SAAE モデルのデータ分布フィッティング能力を測定する。顔生成タスクで視覚属性の転移を実証する。IIIT5K および PLATE データセットで SAAE モデルを評価する。教師あり認識タスクのためのトレーニングデータを生成する。

3.1 対数尤度分析

文献 [1, 3] の評価手順に倣い、生成画像の推定分布と MNIST テストセットの分布の対数尤度を計算することで、データ分布をフィッティングする生成モデルとしての SAAE の性能を評価する。

表 1 に SAAE と現在の最良の 6 手法の対数尤度結果を比較する。提案手法はこの基準において最先端の性能を示し、AAE を約 89 上回った。

表 1：MNIST データセットのテストデータの対数尤度。高い値ほど優れている。最後の 2 行は、それぞれ二値判別器と多クラス判別器を使用した提案手法の結果である。ここで報告する値は、テストセット上のサンプルの平均対数尤度と、複数の実験で計算された平均の標準誤差である。

従来の手法に従い、トレーニング済み SAAE 生成器からのサンプルを図 3 に示す。最後から 2 列目の生成画像に対し、最も近いトレーニング画像（ピクセルレベルのユークリッド距離で測定）を最後の列に示す。これは SAAE モデルがトレーニングセットを記憶していないことを実証するためである。

3.2 属性条件に基づく顔生成

Labeled Faces in the Wild (LFW) データセットにおける顔画像生成タスクでモデルの性能を評価する。

図 4 に示すように、生成サンプルは視覚的に属性転移と一致している。たとえば、「眼鏡」などの属性を変更すると、全体的な外観は維持されるが、目の領域が異なる。

3.3 モデルサンプル

IIIT 5k-word (IIIT5K) データセットと中国自動車ナンバープレート (PLATE) データセットで SAAE モデルを評価する。

図 5 に、提案モデルと DCGAN モデルが生成したランダムサンプルと、比較用のトレーニングデータを示す。SAAE が生成したサンプルはより文字らしく見え、エッジと背景がより鮮明である。

様式化敵対的オートエンコーダーの様式化特性を視覚化するため、IIIT5K データセットと PLATE データセットの両方で複数の生成サンプルセットを図 6 に示す。各データセットにおいて、サンプルスタイル画像を 1 つ選択し、すべてのコンテンツ画像とラベルを反復処理した。結果は、SAAE モデルがサンプルスタイル画像の文字スタイルをコンテンツ画像に転移できることを示している。

図 6：スタイル画像を与えた場合の生成サンプル。上段：IIIT5K データセット。下段：PLATE データセット。各生成サンプルセットにおいて、スタイル画像は左上に赤い枠で示されている。PLATE データセットについては、プライバシー上の理由から自動車ナンバープレートの最初の中国文字を非表示にしている。

3.4 教師あり学習のためのデータ生成

ディープニューラルネットワーク (DNN) は教師あり学習において顕著な優位性を示しているが、大規模な注釈付きトレーニングデータに依存している。小規模なトレーニングデータでは、深層モデルは過学習しやすい。SAAE モデルを使用して中国ナンバープレート認識タスクのトレーニングデータも生成した。

DR-PLATE データセットの認識精度を測定することで、データ生成の品質を評価した。図 7 は、より多くの生成データがトレーニングデータセットに追加されるにつれて、モデルの収束は遅くなるが、分類精度は継続的に向上することを示している。この結果は、SAAE モデルがデータ生成を通じて教師あり学習の性能を向上できることを示している。

4：結論
今後の研究では、ネットワーク構造の最適化により高い生成品質の達成に注力する。本フレームワークを半教師あり特徴学習などの他のアプリケーションドメインに拡張することも、興味深い研究の方向性である。