勘の背後に制約付きボルツマンマシン(RBM)

Question

私Intelェリーヒントンの神経ネットワークコースCourseraたものです。 導入までに限り、ボルツマン機械, 静かに勘後RBMs.

なぜ必要な計算するためのエネルギー機械?何に利用可能性のことですね。また、この ビデオ.の映像は、彼だけを書き確率とエネルギー方程式の前の計算手順はなかったが使用します。

に加え、上記までお問い合わせください、可能です。

Answer 1

RBMているのが興味深い獣.にお答えし、jogっているRBMs話の導出.ということであるが、い混乱の可能性を通じているわけですから、かなり導出するという観点から最大限の可能性.しましょう。

RBMsを含む二つの異なる神経細胞（ニューロン）の可視域および隠れんを示してい$v$と$h$した。特定の設定の$v$と$h$した地図での確率空間です。

$$p v,h)=\frac{e^{-E(v h)}}{Z}$$

あるカップルでものをもっと定義.代理機能を使用しています地図から特定の設定の確率空間と呼ばれるエネルギー関数$E(v h)$を満たすときを言います。の$Z$定数の正規化係数のため実際に地図の確率空間です。してないそういう見;の程度の確かさの見える神経細胞、すなわち、確率のデータです。$$Z=\sum_{v\V}\sum_{h\in H}e^{-E(v h)}$$ $$p(v)=\sum_{h\in H}p(v h=\frac{\sum_{h\in H}e^{-E(v h)}}{\sum_{v\V}\sum_{h\in H}e^{-E(v h}}$$

たくさんい条件にこの方程式では、単純にサイトを書き、正しい確率方程式れば、これまでのところ、このためではなぜ必要なエネルギー関数である確率を計算するために、またはロセスとは切り離されているため通常より色成分値が非標準化の確率$p(v)*Z$.色成分値が非標準化の確率を使用する理由は、パーティションの機能の$Z$は非常に高価を計算する.

してないそうで、実際の学習段階RBMs.最大限の可能性、データポイントのい勾配を持つサンドイッチのようにすることを$p(v)=1$である．の勾配を表現してから数曲芸.などいくつかの履歴$p(v)$.ますので営業の確率空間に、これからの数学が可能になる。

$$\log(p(v)=\log[\sum_{h\in H}e^{-E(v h)}]-\log[\sum_{v\V}\sum_{h\in H}e^{-E(v h)}]$$ のように勾配をつのparemetersにお$p(v)$

\begin{align} \frac{\partial\log(p(v))}{\partial heta}=& -\frac{1}{\sum_{h'\in H}e^{-E(v h')}}\sum_{h'\in H}e^{-E(v h')}\frac{\partial E(v h')}{\partial heta}\\&+\frac{1}{\sum_{v'\V}\sum_{h'\in H}e^{-E(v'h')}}\sum_{v'\V}\sum_{h'\in H}e^{-E(v'h')}\frac{\partial E(v h)}{\partial heta} \end{align}

またこの紙に書いてのセミファイナル方程式として無駄にしない多くのスペースでこのサイトです。をお勧めします。るこれらの方程式です。現在私は書き込む方程式の落として継続的に導出.受験をお考えの方はご注意$Zp(v h=e^{-E(v h')}$,$p(v)=\sum_{h\in H}p(v h)$と$p(h|v)=\frac{p(v h)}{p(h)}$

\begin{align} \frac{\partial log(p(v))}{\partial heta}&= -\frac{1}{p(v)}\sum_{h'\in H}p(v h')\frac{\partial E(v h')}{\partial heta}+\sum_{v'\V}\sum_{h'\in H}p(v'h')\frac{\partial E(v'h')}{\partial heta}\\ \frac{\partial log(p(v))}{\partial heta}&= -\sum_{h'\in H}p(h|v)\frac{\partial E(v h')}{\partial heta}+\sum_{v'\V}\sum_{h'\in H}p(v'h')\frac{\partial E(v'h')}{\partial heta} \end{align}

がありましたら最尤推定のためのRBM、したい場合に書き込みの条件により期待は、それぞれの条件（条件付き、共同での確率).

注エネルギー機能stochasticityの神経細胞となる。

ご覧のとおり、上記は私の導出、左の定義をエネルギー機能により漠然とした.管理にあたっては多くの異なるバージョンのRBM実施さまざまなエネルギー機能一ェリーヒントンを記述する講演をリンク上記に示するには以下のように不折-Meeusは:$$E(v h=−a^テレビ−b^Th−v^互.$$

もしやすい理由の傾斜面上に期待。

$$\frac{\partial\log(p(v))}{\partial heta}= -\mathop{\mathbb{E}}_{p(h|v)}\frac{\partial E(v h')}{\partial heta}+\mathop{\mathbb{E}}_{p(v'h')}\frac{\partial E(v'h')}{\partial heta}$$

の予想前期実際に本当に簡単に計算し、その天才の背後にRBMs.を制限することで、接続の条件付き期待だけでなみの伝播のRBMの見える台クランプ出来ます。これは、いわゆる後期ボルツマン機です。現在の計算第二期がやっと通常モンテカルロ-シミュレーションが随所に生かされています。書面の勾配によ平均のモンテカルロに走る:

$$\frac{\partial\log(p(v))}{\partial heta}\約 -\langle\frac{\partial E(v h')}{\partial heta} angle_{p(h|v)}+\langle\frac{\partial E(v'h')}{\partial heta} angle_{p(v'h')}$$

計算の初期は、前述の通り、このためモンテカルロには、ています。モンテカルロ-シミュレーション用ランダム連続サンプリングの分布を計算への期待(和や積分).このランダムサンプリングクラシック-RBMの定義として設定単位は0,1のどちらでもかに基づく確率stochasticly、すなわち、ランダム均一な数の場合は以下の神経細胞の確率で1まで以上に設定して0になります。

Answer 2

既存の回答に加えて、このエネルギー機能とその背後にある直観について少し話したいと思います。これが少し長くて物理的な場合は申し訳ありません。

エネルギー関数は、いわゆるものを表します ISINGモデル, 、これは、統計力学 /量子力学の観点からの強磁性のモデルです。統計力学では、いわゆるハミルトニアン演算子を使用して、量子力学システムのエネルギーを記述します。そして、システムは常にエネルギーが最も低い状態になろうとします。

現在、ISINGモデルは基本的に、外部磁場$ h $の存在下で、+1または-1のスピン$ sigma_k $との電子間の相互作用を説明しています。 2つの電子$ i $と$ j $の相互作用は、係数$ j_ {ij} $によって記述されます。このハミルトニアン（またはエネルギー関数）は$$ hat {h} = sum_ {i、j} j_ {ij} sigma_i sigma_j- mu sum_j h_j sigma_j $$ where $ hat {h} $ハミルトニアン。エネルギー関数から確率に到達するための標準的な手順、システムが特定の状態にあること（つまり、スピンの構成、例：$ sigma_1 = {+1}、 sigma_2 = {-1}、.. 。$）は、ボルツマン分布を使用することです。これは、温度$ t $で、エネルギー$ i $を備えた状態$ i $にある確率$ p_i $が$$ p_i = fracで与えられると言うことです。 { exp（-e_i/kt）} { sum_ {i} exp（-e_i/kt）} $$ Armen Aghajanyanによる回答. 。これは私たちを質問に導きます：

RBMは、この強磁性のこの量子力学モデルと何の関係がありますか？

最終的な物理量：エントロピーを使用する必要があります。熱力学からわかっているように、システムは最小限のエネルギーで状態に落ち着きます。これは、最大エントロピーとの状態にも対応します。

1946年にShanonによって導入されたように、情報理論では、エントロピー$ H $は、$ x $：$$ hのすべての可能な状態で次の合計で与えられる$ x $の情報コンテンツの尺度とも見なすことができます（$ x $） x）= - sum_i p（x_i） log p（x_i）$$今、情報コンテンツを$ x $でエンコードする最も効率的な方法は、エントロピー$ h $を最大化する方法を使用することです。

ついに, 、これがRBMSに戻る場所です。基本的に、このRBMに次のようにエンコードしたい 多くの できるだけ情報。だから、私たちがしなければならないように 最大化します RBMシステムにおける（情報理論的）エントロピー。 1982年にホップフィールドが提案したように、物理エントロピーとまったく同じように情報理論的エントロピーを最大化できます。上記のISINGモデルのようなRBMをモデル化し、同じ方法を使用してエネルギーを最小限に抑えることができます。そして、それが私たちがRBMでこの奇妙なエネルギー機能を必要とする理由です！

素敵な数学的派生 Armen Aghajanyanの答え エネルギーを最小限に抑えるために必要なことすべてを示し、エントロピーを最大化し、RBMでできるだけ多くの情報を保存 /保存します。

_{PS：お願いします、親愛なる物理学者、このエンジニアの派生の不正確さを許してください。不正確さ（または間違い）についてコメントまたは修正してください。}

Answer 3

@armenの答えは、自分自身に多くの洞察を与えました。ただし、1つの質問は答えられていません。

目標は、$ v $の確率（または尤度）を最大化することです。これは、$ v $と$ h $に関連するエネルギー関数を最小化することと相関しています。

$$ e（v、h）= -a^{ mathrm {t}} v -b^{ mathrm {t}} h -v^{ mathrm {t}} w h $$

私たちの変数は、$ a $、$ b $、$ w $で、トレーニングする必要があります。このトレーニングはRBMの究極の目標になると確信しています。