Versteckte Neuron Darstellung von Gewichten

Question

Wenn wir in einem RBM die Gewichte der verborgenen Einheiten darstellen, zeigen sie, dass das neuronale Netz grundlegende Formen lernt. Zum Beispiel lernen sie für den MNIST -Datensatz Funktionen der Zahlen, die sie klassifizieren möchten.

In einem regelmäßigen Feed-Forward-Netz mit einer versteckten Ebene kann ich das Netzwerk so trainieren, dass ich Ziffern erkennen kann, und es funktioniert. Wenn ich jedoch versuche, die versteckten Schichtgewichte zu visualisieren, sehe ich nur Rauschen, keine unterscheidbare Merkmale. Warum ist das so? Hat das Netzwerk nicht gelernt, die Ziffern zu erkennen?

Answer 1

Es hat gelernt, die Ziffern zu erkennen, aber es könnte zu viel Gewicht auf einzelne Pixel gelegt haben. Versuchen Sie, unterschiedliche Mengen an L2 -Regularisierung oder Abbrecher hinzuzufügen, und vergleichen Sie die Visualisierungen der Gewichte. Das Hinzufügen einer Regularisierung sollte dazu führen, dass das Netz weniger auf einzelnen / unabhängigen Pixeln und mehr auf die inhärente Struktur der Ziffern beruht, wodurch Sie reibungslosere Gewichte / Visualisierung erhalten.