Die Berechnung der Nähe Spiel zu Mittelwert / STDDEV Pair Mit LibSVM

Question

Ich bin neu in SVMs, und ich versuche, die Python-Schnittstelle auf

War es hilfreich?

einreichen

Lösung

Das Problem scheint sich aus der Kombination mehrklassige Vorhersage mit Wahrscheinlichkeitsschätzungen zu kommen.

Wenn Sie Ihren Code konfigurieren nicht Wahrscheinlichkeitsschätzungen zu machen, es tatsächlich funktioniert , z.

<snip>
# Test classifiers.
kernels = [LINEAR, POLY, RBF]
kname = ['linear','polynomial','rbf']
correct = defaultdict(int)
for kn,kt in zip(kname,kernels):
  print kt
  param = svm_parameter(kernel_type = kt, C=10) # Here -> rm probability = 1
  model = svm_model(problem, param)
  for test_sample,correct_label in test:
      # Here -> change predict_probability to just predict
      pred_label = model.predict(test_sample)
      correct[kn] += pred_label == correct_label
</snip>

Mit dieser Änderung erhalte ich:

--------------------------------------------------------------------------------
Accuracy:
        polynomial 1.000000 (4 of 4)
        rbf 1.000000 (4 of 4)
        linear 1.000000 (4 of 4)

Prediction mit Wahrscheinlichkeitsschätzungen funktioniert, wenn Sie die Daten in dem Trainingssatz verdoppeln (das heißt, umfasst jeder Datenpunkt zweimal). Allerdings konnte ich nicht sowieso parametrisieren das Modell finden, so dass mehrklassige Vorhersage mit Wahrscheinlichkeiten nur mit den ursprünglichen vier Trainingspunkten funktionieren würde.

Answer 1

Das Problem scheint sich aus der Kombination mehrklassige Vorhersage mit Wahrscheinlichkeitsschätzungen zu kommen.

Wenn Sie Ihren Code konfigurieren nicht Wahrscheinlichkeitsschätzungen zu machen, es tatsächlich funktioniert , z.

<snip>
# Test classifiers.
kernels = [LINEAR, POLY, RBF]
kname = ['linear','polynomial','rbf']
correct = defaultdict(int)
for kn,kt in zip(kname,kernels):
  print kt
  param = svm_parameter(kernel_type = kt, C=10) # Here -> rm probability = 1
  model = svm_model(problem, param)
  for test_sample,correct_label in test:
      # Here -> change predict_probability to just predict
      pred_label = model.predict(test_sample)
      correct[kn] += pred_label == correct_label
</snip>

Mit dieser Änderung erhalte ich:

--------------------------------------------------------------------------------
Accuracy:
        polynomial 1.000000 (4 of 4)
        rbf 1.000000 (4 of 4)
        linear 1.000000 (4 of 4)

Prediction mit Wahrscheinlichkeitsschätzungen funktioniert, wenn Sie die Daten in dem Trainingssatz verdoppeln (das heißt, umfasst jeder Datenpunkt zweimal). Allerdings konnte ich nicht sowieso parametrisieren das Modell finden, so dass mehrklassige Vorhersage mit Wahrscheinlichkeiten nur mit den ursprünglichen vier Trainingspunkten funktionieren würde.

Answer 2

Wenn Sie in einer anderen Art und Weise, dies zu tun interessiert sind, können Sie folgendes tun. Auf diese Weise ist theoretisch mehr Sound, aber nicht so einfach.

Durch die Erwähnung Mittelwert und std, so scheint es, als ob Sie auf Daten beziehen, dass Sie davon ausgehen, in irgendeiner Weise verteilt werden. Zum Beispiel die Daten, die Sie Beobachter gaußverteiltes. Sie können dann mit der symmetrisierter Kullback-Leibler_divergence als Abstandsmaß zwischen diesen Verteilungen . Sie können dann so etwas wie verwenden k-nearest-neighbor zu klassifizieren.

Für zwei Wahrscheinlichkeitsdichten p und q haben Sie KL (p, q) = 0, wenn p und q gleich sind. Allerdings KL nicht symmetrisch ist - so, um eine richtige Abstandsmaß zu haben, können Sie

Abstand (p1, p2) = KL (P1, P2) + KL (p1, p2)

Für Gaussians, KL (p1, p2) = {(μ1 - μ2) ^ 2 + σ1 ^ 2 - σ2 ^ 2} / (2.σ2 ^ 2) + ln (σ2 / σ1). (Ich habe das von hier , wo Sie auch eine Abweichung finden: )

Lange Rede kurzer Sinn:

Bei einem Trainingssatz D von (Mittelwert, Standard, Klasse) Tupel und ein neuen p = (Mittelwert, Standard) Paare finden, dass q in D, für die Entfernung (d, p) minimal ist und die Klasse zurück.

Für mich fühlt sich besser als der SVM-Ansatz mit mehreren Kernel, da die Art und Weise der Klassifizierungs nicht so willkürlich ist.