Wie kann ich verhindern, mp3-Crawler von meiner Website unter Apache?
Frage
Gibt es eine Möglichkeit, den Zugriff von einem Referrer zu blockieren eine .htaccess-Datei oder ähnliches verwenden? Meine Bandbreite wird von Menschen verzehrt bezeichnet von http://www.dizzler.com das ist ein Flash-basiert Website, die Sie eine Bibliothek von gekrochen öffentlich zugänglichen mp3s durchsuchen können.
Edit: Dizzler war noch immer in (wahrscheinlich nicht in allen Fällen anzeigt, Referrer wurde), so stattdessen zog ich alle meine mp3s in einen neuen Ordner, deaktiviert das Durchsuchen von Verzeichnissen, und erstellt eine robots.txt Datei zu (hoffentlich) halten sie von wieder indiziert werden. Akzeptierte Antwort geändert Sinnlosigkeit meines früheren Versuch zu reflektieren: P
Lösung
Das ist wie wenn man sagt man Spam-Bots von der Ernte E-Mail auf die öffentlich sichtbare Seite stoppen will -. Es ist sehr schwierig, den Unterschied zwischen den Nutzern und Bots zu erzählen, ohne Ihre Zuschauer zu zwingen, ihre Identität zu melden Sie sich an, um zu bestätigen
Sie könnten robots.txt verwenden, um die Spinnen nicht zulassen, dass diese Regeln tatsächlich folgen, aber das ist auf ihrer Seite, nicht den Server. Es gibt eine Seite, die erklärt, wie die, die zu fangen, die die Regeln brechen und sie explizit verbieten: Mit Apache schlechten Roboter zu stoppen [evolt.org]
Wenn Sie eine einfache Möglichkeit wollen Dizzler insbesondere mit der .htaccess zu stoppen, sollten Sie in der Lage sein, es Pop öffnen und fügen Sie:
<Directory /directoryName/subDirectory>
Order Allow,Deny
Allow from all
Deny from 66.232.150.219
</Directory>
Andere Tipps
dieser Seite : (fügen Sie dies in Ihrer .htaccess-Datei)
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://((www\.)?dizzler\.com [NC]
RewriteRule .* - [F]
Sie könnte so etwas wie
verwendenSetEnvIfNoCase Referer dizzler.com spammer=yes
Order allow,deny
allow from all
deny from env=spammer
Quelle: http://codex.wordpress.org/Combating_Comment_Spam/Denying_Access
Es ist nicht eine sehr elegante Lösung, aber man konnte die Website des Crawler bietet blockieren, dann Ihre MP3-Dateien umbenennen die Links bereits auf der Website zu brechen.