Web-Sites, die Schaben JavaScript erfordern [Duplikat]

Question

  

Mögliche Duplizieren:
  Scraping Bildschirm von einer Webseite mit vielen Javascript

Ich will nur Aufgaben tun wie Formulareingabe und Web-Scraping, sondern auf Websites, die Javascript-Unterstützung erfordern. Und ich muss auch Formulare eingeben, kratzen, und so weiter in der gleichen Sitzung. Im Idealfall würde ich einen Weg, wie ein Web-Browser über die Befehlszeile zu steuern. Und ich will auch nur Linux verwenden, für all dies, so kann ich nicht .NET verwenden.

Ich fand die Web-Browser-Bibliothek für Python, aber seine Fähigkeiten aussehen sehr begrenzt. Wenn das mit mechanize und BeautifulSoup Schnittstelle könnte, würde erstaunlich sein. Irgendwelche Vorschläge? Dank!

Answer 1

Sie könnten sicherlich eine XUL-Anwendung mit Mozilla schreiben (führen Sie es mit Firefox, Xulrunner usw.), die Skripte einen Web-Browser. Javascript ist in der Regel für solche Aufgaben verwendet wird.

Was ich gefunden habe, ist heikel ist, alle Arten von Dialogboxen unterdrücken, die der Browser sonst schaffen würde - man muss effektiv das Verhalten der XPCOM Serverklassen außer Kraft setzen, die für jede Art von Dialog aufgerufen werden, und es gibt eine viele unterschiedlichen (zum Beispiel, wenn Ihre Website entscheidet, auf eine hTTPS-Site mit einem abgelaufenen Zertifikat umgeleitet werden).

Natürlich sollten Sie nicht einen solchen Mechanismus verwenden, indem Roboter jeder Website-Politik auf den Einsatz zu verletzen. Normalerweise sollten Sie nie ein Formular mit einem Roboter vor.

Answer 2

Dies wurde schon gefragt.

• Screen Scraping von einer Webseite mit eine Menge von Javascript
• Screen Scraping durch AJAX und Javascript
• Wie kann ich einen Bildschirm Schaber in PHP implementieren?
• Was ein gutes Werkzeug, um den Bildschirm-kratzen mit Javascript-Unterstützung?
• Gibt es Befehl Linie oder Bibliothek Tools für Web-Seiten, die JavaScript verwenden?
Rendering
• Befehlszeile URL mit JavaScript capabliity holen