この記事は以下の論文を紹介したものです。
Diederik P Kingma, Max Welling,”Auto-Encoding Variational Bayes”
https://arxiv.org/abs/1312.6114
論文の概要:オートエンコーディング変分ベイズ
この論文では、連続潜在変数を持つ有向確率モデルにおいて、効率的な推論と学習を実現する新しいアルゴリズムを提案しています。従来の変分ベイズ（VB）手法、特に平均場近似は、事後分布が複雑な場合に計算が困難になることがあります。この問題に対して、本論文では確率的勾配変分ベイズ（Stochastic Gradient Variational Bayes: SGVB）を用いて、確率的勾配降下法で直接最適化可能な微分可能かつ不偏な推定量を提供します。
特に、データポイントごとに連続潜在変数を持つ独立同分布（i.i.d.）データセットに対して、オートエンコーディング変分ベイズ（Auto-Encoding Variational Bayes: AEVB）アルゴリズムを提案しています。AEVBは、SGVB推定量を用いて認識モデル（recognition model）を学習することで、効率的な近似事後分布推論を実現します。この認識モデルは、複雑な事後分布を近似するモデルであり、従来の平均場近似のように因子分解を仮定する必要がありません。認識モデルを用いることで、祖先サンプリングを用いた効率的な近似事後分布推論が可能となり、高コストな反復推論スキーム（MCMCなど）をデータポイントごとに実行する必要がなくなります。また、学習済みの認識モデルは、認識、ノイズ除去、表現学習、可視化などのタスクにも活用できます。さらに、認識モデルにニューラルネットワークを使用すると、変分オートエンコーダーが構成されます。
理論的な利点は実験結果にも反映されており、AEVBは従来手法に比べてより効率的な学習と推論を実現できることが示されています。
Introduction(導入)
この論文は、連続潜在変数とパラメータが扱いにくい事後分布を持つ有向確率モデルを用いた、効率的な近似推論と学習を実現する方法について述べています。従来の変分ベイズ（VB）手法では、扱いにくい事後分布の近似を最適化する必要がありますが、一般的な平均場近似では、近似事後分布に関する期待値の解析解が必要となり、これもまた扱いにくい問題となります。
この論文では、変分下界を再パラメータ化することで、微分可能で不偏な下界推定量を簡単に得られることを示します。この確率的勾配変分ベイズ（Stochastic Gradient Variational Bayes: SGVB）推定量は、連続潜在変数やパラメータを持つほとんどすべてのモデルにおいて、効率的な近似事後分布推論に使用することができ、標準的な確率的勾配降下法を用いて直接最適化することができます。
特に、この論文ではデータポイントごとに連続潜在変数を持つ独立同分布（i.i.d.）データセットを想定し、オートエンコーディング変分ベイズ（Auto-Encoding Variational Bayes: AEVB）アルゴリズムを提案しています。AEVBアルゴリズムでは、SGVB推定量を用いて認識モデル（recognition model）を最適化します。この認識モデルにより、単純な祖先サンプリングを用いて非常に効率的な近似事後分布推論を行うことができ、モデルパラメータを効率的に学習することができます。高コストな反復推論スキーム（MCMCなど）をデータポイントごとに実行する必要はありません。学習された近似事後分布推論モデルは、認識、ノイズ除去、表現学習、可視化などの多くのタスクにも使用することができます。
論文では、上記のシナリオにおいて、以下の3つの関連する問題とその解決策を提案しています。
- パラメータ θの効率的な近似最尤（ML）推定または最大事後確率（MAP）推定
- パラメータ θが与えられた場合の、観測値 xに対する潜在変数 zの効率的な近似事後分布推論
- 変数 xの効率的な近似周辺化推論
これらの問題を解決するために、扱いにくい真の事後分布 pθ(z∣x)の近似である認識モデル qϕ(z∣x)を導入します。平均場変分推論における近似事後分布とは対照的に、認識モデルは必ずしも因子分解されている必要はなく、そのパラメータは何らかの閉形式の期待値から計算されるわけではありません。その代わりに、認識モデルのパラメータ ϕを、生成モデルのパラメータ θと共同で学習するための方法を紹介します。
符号理論の観点から、未観測変数 zは潜在表現または符号として解釈できます。この論文では、認識モデル qϕ(z∣x)を確率的エンコーダとも呼びます。なぜなら、データ点 xが与えられると、データ点 xを生成する可能性のある符号 zの可能な値に対する分布（例えば、ガウス分布）を生成するからです。同様に、pθ(x∣zを確率的デコーダと呼びます。なぜなら、符号 zが与えられると、対応する xの可能な値に対する分布を生成するからです。
Method(手法)
問題設定
変分推論は、複雑な確率モデルの学習と推論を効率的に行うための手法です。特に、生成モデルにおける潜在変数の事後分布を近似する際に利用されます。問題の中心は、真の事後分布を近似する認識モデルを見つけることです。
変分下界
変分下界は、データポイントの周辺尤度を計算するための重要な概念です。真の事後分布と近似事後分布間の差を測るKLダイバージェンスと呼ばれる指標と、変分下界自体から成り立っています。変分下界を最大化することで、近似事後分布が真の事後分布に近づくように調整されます。
SGVB推定量とAEVBアルゴリズム
SGVB（確率的勾配変分ベイズ）推定量は、変分下界を効率的に推定する方法です。従来の変分推論では、期待値の解析解が必要でしたが、SGVBではモンテカルロ推定を用いて、この制約を克服します。これにより、期待値をサンプル平均で近似することが可能になります。AEVB（オートエンコーディング変分ベイズ）アルゴリズムは、このSGVB推定量を利用して、データポイントごとの高価な反復推論を避けつつ、効率的に認識モデルを最適化します。
再パラメータ化トリック
再パラメータ化トリックは、変分推論の効率と精度を向上させるための手法です。補助変数を用いて確率変数を表現し、これにより、期待値の微分可能な推定を可能にします。補助変数と決定論的な変換関数を適切に選択することで、複雑な確率モデルの変分下界を直接最適化することが可能になります。
Example: Variational Auto-Encode(例:変分オートエンコーダー)
このセクションでは、確率的エンコーダをニューラルネットワークを使って構築し、生成モデルの近似を行う方法について説明します。ここでは、エンコーダとデコーダの両方にニューラルネットワークを使用し、そのパラメータが共同で最適化される例を示します。
まず、潜在変数の事前分布として、中心が0で等方的な多変量ガウス分布を使用します。この分布には特別なパラメータはありません。生成モデルはデータ型に応じて、ガウス分布またはベルヌーイ分布を用います。具体的には、ガウス分布は実数値データの場合に、ベルヌーイ分布はバイナリデータの場合に適用されます。
次に、真の事後分布は追跡不可能であることに注意します。近似事後分布の形式には自由度がありますが、ここではほぼ対角的な共分散を持つガウス分布を仮定します。この場合、変分近似事後分布は対角共分散構造を持つ多変量ガウス分布となります。
近似事後分布の平均と標準偏差は、エンコーダニューラルネットワークの出力として得られます。エンコーダは、データポイントと変分パラメータを入力として、それらの非線形関数を出力します。
事後分布からサンプリングするために、再パラメータ化トリックを用います。これにより、ガウス分布からサンプリングされたノイズを使って、潜在変数の値を決定します。再パラメータ化により、サンプリング操作が微分可能となり、変分下限の推定量を効率的に計算できます。
このモデルでは、事前分布と近似事後分布の両方がガウス分布であるため、KLダイバージェンスの計算が容易です。また、データポイントに対する再構成誤差も計算し、これらを組み合わせて最終的な目的関数を構築します。この目的関数は、モデルのパラメータを最適化するために使用されます。
このようにして、変分オートエンコーダは、ニューラルネットワークを使用して効率的に学習し、複雑な確率モデルの推論と生成を行います。
Related work(関連研究)
このセクションでは、「Auto-Encoding Variational Bayes」論文で提案されている手法と関連する既存の研究について解説します。
Wake-Sleepアルゴリズム
Wake-Sleepアルゴリズムは、連続潜在変数モデルに適用可能なオンライン学習手法です。この手法も、真の事後分布を近似する認識モデルを使用します。しかし、Wake-Sleepアルゴリズムの欠点は、2つの目的関数を同時に最適化する必要がある点です。この2つの目的関数は、周辺尤度の最適化に対応していません。一方で、このアルゴリズムは離散潜在変数を持つモデルにも適用できる利点があります。計算量は、データ点ごとにAEVBと同じです。
確率的変分推論（Stochastic Variational Inference）
近年、確率的変分推論への関心が高まっています。この手法では、勾配推定量の分散を低減するために、制御変量法が導入され、事後分布の指数型分布族による近似に適用されました。また、再パラメータ化を使用することで、効率的な確率的変分推論アルゴリズムが開発されました。この再パラメータ化は、本論文で提案されている方法と同様のアプローチです。
オートエンコーダとの関連性
AEVBアルゴリズムは、有向確率モデルとオートエンコーダの間の関連性を明らかにします。過去には、線形オートエンコーダと生成線形ガウスモデルの関連が示されており、PCAが特定の条件下で最尤推定に対応することが知られています。
最近の研究では、正則化されていないオートエンコーダの学習基準が、入力Xと潜在表現Zの間の相互情報量の下限の最大化に対応することが示されています。しかし、この再構成基準だけでは有用な表現を学習するには不十分であり、ノイズ除去やスパース型オートエンコーダなどの正則化手法が提案されています。一方、SGVBの目的関数には、変分下限によって決まる正則化項が含まれており、通常必要な正則化ハイパーパラメータを必要としません。
関連する手法としては、予測スパース分解（PSD）や生成的確率的ネットワーク（Generative Stochastic Networks）が挙げられます。これらの手法もオートエンコーダの構造を利用してデータ分布を学習します。
その他の関連手法
最近提案されたDARN法も、オートエンコーディング構造を用いて有向確率モデルを学習しますが、バイナリ潜在変数に適用されます。また、最近の研究では、再パラメータ化トリックを用いて、オートエンコーダ、有向確率モデル、確率的変分推論の関連性を示しています。この研究は、本稿の研究とは独立して行われたものであり、AEVBに対する追加の見方を提供するものです。
以上、Wake-Sleepアルゴリズム、確率的変分推論、オートエンコーダとの関連性、その他の関連手法について解説しました。これらの研究は、本論文で提案されている手法の理解を深め、応用範囲を広げるための重要な背景となっています。
Experiments(実験)
このセクションでは、AEVBアルゴリズムの性能を評価するために行われた実験について説明します。
データセットとモデル
実験では、MNISTとFrey Faceの2つの画像データセットを使用しました。生成モデル（エンコーダ）と変分近似（デコーダ）には、論文のセクション3で説明されたモデルを用いました。エンコーダとデコーダは隠れユニット数が等しく、Frey Faceデータは連続値のため、デコーダにはシグモイド活性化関数によって出力が区間(0, 1)に制限されるガウス出力を採用しました。隠れユニット数は、オートエンコーダに関する先行研究に基づいて決定されました。
学習アルゴリズムの比較
AEVBの性能は、Wake-Sleepアルゴリズムと比較されました。エンコーダ（認識モデル）には、Wake-Sleepアルゴリズムと変分オートエンコーダで同一のものを使用しました。すべてのパラメータは、N(0, 0.01)からランダムに初期化され、MAP基準を用いて共同で確率的に最適化されました。ステップサイズはAdagradを用いて適応的に調整され、学習の初期の数回の反復での性能に基づいて、{0.01, 0.02, 0.1}から選択されました。ミニバッチサイズはM = 100、データ点あたりのサンプル数はL = 1を使用しました。
尤度下限
MNISTデータセットでは、隠れユニット数500個の生成モデル（デコーダ）と対応するエンコーダを学習しました。Frey Faceデータセットでは、データセットが小さいため過剰適合を防ぐために、隠れユニット数200個のモデルを学習しました。図2は、変分下限を比較した結果を示しており、変分下限の正則化効果により、潜在変数が多くても過剰適合は発生しないことが示されました。
周辺尤度
非常に低次元の潜在空間の場合、MCMC推定量を用いて学習した生成モデルの周辺尤度を推定することができます。MNISTデータセットを使用し、エンコーダとデコーダには隠れユニット数100個、潜在変数3個のニューラルネットワークを用いました。AEVBとWake-Sleepの手法を、Hybrid Monte Carlo（HMC）サンプラを用いたモンテカルロEM（MCEM）と比較しました。小さいトレーニングセットと大きいトレーニングセットで、3つのアルゴリズムの収束速度を比較しました。
高次元データの可視化
低次元（例えば2次元）の潜在空間を選択した場合、学習したエンコーダを用いて高次元データを低次元多様体に射影できます。MNISTとFrey Faceデータセットの2次元潜在多様体の可視化については、付録Aを参照してください。
これらの実験結果は、AEVBアルゴリズムが連続潜在変数を持つ確率モデルの学習と推論のための効果的かつ効率的なアプローチであることを示しています。
Conclusion(結論)
このセクションでは、論文内で提案された確率的勾配変分ベイズ（SGVB）推定器と自己符号化変分ベイズ（AEVB）アルゴリズムの貢献をまとめます。
SGVB推定器
連続潜在変数を用いた効率的な近似推論のために、変分下限の新しい推定器であるSGVBが導入されました。提案された推定器は、標準的な確率的勾配法を用いて、簡単に微分および最適化することができます。
AEVBアルゴリズム
データが独立同分布(i.i.d.) であり、データ点ごとに連続潜在変数を持つ場合に、効率的な推論と学習のためのアルゴリズムであるAEVBが導入されました。AEVBは、SGVB推定器を用いて近似推論モデルを学習します。
実験結果
理論的な利点は、実験結果に反映されています。AEVBは、従来のWake-Sleepアルゴリズムと比較して、より速く収束し、より良い解に到達することが示されました。また、低次元潜在空間への高次元データの可視化にも成功しました。
この論文は、連続潜在変数を持つ確率モデルの学習と推論のための効果的かつ効率的なアプローチとして、SGVB推定器とAEVBアルゴリズムを提案しました。
Future work(将来の研究)
確率的勾配変分ベイズ（SGVB）推定器と自己符号化変分ベイズ（AEVB）アルゴリズムが、連続潜在変数を含むほぼすべての推論および学習の問題に適用できるため、将来の研究の方向性について、以下の 4 つの項目を挙げています。
階層的生成アーキテクチャの学習
エンコーダとデコーダにディープニューラルネットワーク（例：畳み込みネットワーク）を使用し、AEVBと共同で学習する。
ディープラーニングの進歩により、複雑なデータの表現学習能力が向上しており、これをAEVBと組み合わせることで、より複雑な構造を持つ生成モデルの学習が可能になると期待されます。
時系列モデル
動的ベイズネットワークなどの時系列データを扱うモデルへの適用。
音声認識や自然言語処理など、時系列データは多くの分野で重要な役割を果たしており、AEVBを拡張することで、これらの分野における生成モデルの開発が期待されます。
グローバルパラメータへのSGVBの適用
本論文では、潜在変数に焦点を当てていましたが、モデルのパラメータ自体も変分推論の対象とすることで、より柔軟で表現力の高いモデルを学習できる可能性があります。
潜在変数を持つ教師ありモデル
複雑なノイズ分布を学習するのに役立ちます。
教師あり学習においても、潜在変数を導入することで、データの表現学習を促進できる可能性があります。AEVBを教師あり学習に適用することで、従来手法では困難であった複雑なノイズ分布の学習が可能になると期待されます。
これらの将来の研究は、SGVB推定器とAEVBアルゴリズムの潜在能力を示唆しており、様々な分野における生成モデルの進歩に貢献することが期待されます。
この論文のまとめ
この論文は、連続潜在変数を含む複雑な確率モデルにおいて、効率的な推論と学習を可能にする新しい方法である、Stochastic Gradient Variational Bayes (SGVB) 推定器と Auto-Encoding Variational Bayes (AEVB) アルゴリズムについて説明しています。
これは連続潜在変数を含む確率モデルの推論と学習において、効率性と柔軟性の両方を大きく向上させる、重要な貢献をしています。SGVB推定器とAEVBアルゴリズムは、画像認識、自然言語処理、時系列データ解析など、様々な分野で応用が期待されます。特に、深層学習との組み合わせは、今後の発展が期待される分野です。
画像生成AIへの発展について、連続潜在変数を含む確率モデルにおいて効率的な推論と学習を可能にするSGVB推定器とAEVBアルゴリズムについて説明しており、画像生成AIへの発展に寄与する可能性を秘めています。
AEVBアルゴリズムを用いることで、認識モデルを用いた効率的な近似事後推論が可能になると述べられています。この認識モデルは、データから潜在表現を学習し、その潜在表現から新たなデータを生成することができます。これは、画像生成AIの基本的な仕組みと同様です。
さらに、AEVBアルゴリズムとオートエンコーダの関連性について説明しています。オートエンコーダは、画像などの高次元データを低次元表現に圧縮し、その表現から元のデータを復元するように学習するニューラルネットワークです。AEVBアルゴリズムは、このオートエンコーダの学習過程に変分推論を導入することで、より効率的な学習と、より多様な画像生成を可能にする可能性があります。
具体的には画像データの生成モデルとして、多変量ガウス分布またはベルヌーイ分布を用い、その分布のパラメータをMLP（多層パーセプトロン）で計算する例が示されています。MLPは、画像の潜在表現を学習するエンコーダと、潜在表現から画像を生成するデコーダの両方で構成されます。
これらの技術を組み合わせることで、例えば、大量の画像データを学習し、そのデータの潜在表現を獲得することで、新たな画像を生成するAIの開発が可能になります。また、潜在表現を操作することで、特定の特徴を持つ画像を生成したり、既存の画像を編集したりすることも可能になる可能性があります。
参考文献
Diederik P Kingma, Max Welling,”Auto-Encoding Variational Bayes”