重量の隠されたニューロン表現

Question

RBMでは、隠されたユニットによって学んだ重みを表す場合、ニューラルネットが基本的な形状を学習していることを示しています。たとえば、MNISTデータセットでは、分類しようとしている数値の機能を学習します。

1つの隠れレイヤーを備えた通常のフィードフォワードネットでは、ネットワークをトレーニングして数字を認識できますが、機能しますが、隠されたレイヤーの重みを視覚化しようとすると、ノイズ、識別可能な機能はありません。何故ですか？ネットワークは数字を認識することを学んだことがありませんか？

Answer 1

数字を認識することを学びましたが、単一のピクセルに重量が多すぎた場合があります。さまざまな量のL2の正規化またはドロップアウトを追加し、重量の視覚化を比較してください。ある種の正規化を追加すると、ネットがシングル /インディペンデントピクセルの依存度が低くなり、数字の固有の構造が増加し、滑らかな重み /視覚化が得られます。