HEAD-Anforderung empfängt „403 verboten“, während GET „200 ok“?

Question

nach mehreren Monaten der Seite aus den Suchergebnissen in allen wichtigen Suchmaschinen verschwinden haben, habe ich endlich einen möglichen Grund herausgefunden hat.

Ich benutzte webbug Server-Header zu untersuchen. Sehen Sie den Unterschied, wenn die Anforderung HEAD oder GET.

HEAD Gesendete Daten:

HEAD / HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0

HEAD Empfangene Daten:

HTTP/1.1 403 Forbidden
Date: Tue, 10 Aug 2010 23:01:00 GMT
Server: Apache/2.2
Connection: close
Content-Type: text/html; charset=iso-8859-1

Gesendete Daten GET:

GET / HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0

Die empfangenen Daten GET:

HTTP/1.1 200 OK
Date: Tue, 10 Aug 2010 23:06:15 GMT
Server: Apache/2.2
Last-Modified: Fri, 08 Jan 2010 08:58:01 GMT
ETag: "671f91b-2d2-47ca362815840"
Accept-Ranges: bytes
Content-Length: 722
Connection: close
Content-Type: text/html

// HTML code here

Nun, Browser standardmäßig senden GET-Anforderung (zumindest das ist, was Firebug sagt). Ist es möglich, dass Crawler stattdessen eine HEAD-Anfrage schicken? Wenn ja, warum nur dieser Server antwortet mit einer 403, während andere Server von anderen Websites Ich bin mantaining nicht?

Falls es wichtig ist, die einzige Linie, die in .htaccess ist (es sei denn, mein Mandant es geändert, da sie nicht wollen, geben Sie mir auf ihre Server zugreifen)

AddType text/x-component .htc

UPDATE
Dank @Ryk. FireBug und Fiddler beide Sende GET-Anfragen, die 200 (oder 300) Antworten. Wie erwartet. Also ich denke, es ist entweder ein Server schlechte Einstellung (auch wenn es seltsam, wie das Hosting von einem großen Unternehmen mit Millionen von Kunden ist) oder etwas, das sie in der .htaccess setzen. Sie müssen mir Konto schauen in ihr lassen.

Der zweite Teil meiner Frage war, ob das die Ursache für die Website in einer Suchmaschine nicht angezeigt werden ( Website: www.attu.it gibt keine Ergebnisse). Jeder Gedanke?

UPDATE 2
Nach einigen Hantieren stellt sich heraus, da die phpMyAdmin Roboter-blocking .htaccess im Stammverzeichnis war, die jede Anforderung von Roboter verursacht zurück mit einem 403 Forbidden

gesendet werden soll

Answer 1

würde ich vorschlagen, Fiddler Installation und sorgfältig auf Antrag suchen. Ich habe manchmal zu sehen, dass ein Symbol auf der Seite, die in einem Ordner ist, der eine Authentifizierung erfordert bewirkt, dass ein 403 zurückgegeben werden.

Fiddler wird Ihnen eine gute Idee, und Sie können auch Firefox versuchen und Firebug-Add-on und Prüfen der Seite auf Fehler installieren.

an der Stelle der Suche ich ein Bündel von 404 ist für die favicon.ico, aber abgesehen davon, dass, wenn ich eine einfache GET-Anfrage bekomme ich eine 200 OK, aber wenn ich einen HEAD tun, bekomme ich auch eine 403. Suche in es jetzt.

UPDATE: Ich denke, es könnte eine Konfiguration auf dem Apache-Server, aber nicht 100% sicher. http://hc.apache.org/httpclient-3.x/ Methoden / head.html

UPDATE2: Das Lesen http : //www.pubbs.net/200811/httpd/17210-usershttpd-how-to-reject-head-request.html macht mich glauben könnte, dass Ihr Apache-Server abzulehnen HEAD-Anforderungen eingestellt werden. In diesem Fall wird es ein 403 zurück.

Answer 2

schreibt Einige Administrator in der httpd.conf

                        Bestellen Sie leugnen, erlauben
                        Verweigern von allen
                        Erlauben von 10,0

                      Bestellen Sie leugnen, erlauben
                      Verweigern von allen

Diese Produkte „verboten“ auf eine HEAD-Anfrage. Sie sollten dies überprüfen.

Answer 3

Ich hatte genau dieses Problem, weil ich signierte URLs wurde mit.

Jede signierte URLs ist gut für nur eine Methode (zum Beispiel GET oder HEAD). Wenn Sie mehrere Methoden verwenden möchten, müssen Sie mehrere URLs haben.