サイトクローラーに特定のページにアクセスするように指示できますか？

Question

ドキュメントデータベースを中心に展開するこのdrupalWebサイトがあります。設計上、これらのドキュメントはサイトを検索することによってのみ見つけることができます。しかし、すべての結果をGooglebotや他のクローラーでインデックスに登録したいので、すべてのドキュメントを一覧表示するページを作成し、ロボットにそのページにアクセスしてすべてのドキュメントにインデックスを付けるように指示するとどうなるか考えていました。

これは可能ですか、それとももっと良い方法がありますか？

Answer 1

おそらくサイトマップ

GoogleはGoogleサイトマップを導入したため、ウェブ開発者はサイト全体からリンクのリストを公開できます。基本的な前提は、一部のサイトには、フォームとユーザーエントリを使用することによってのみ利用できる動的ページが多数あることです。次に、サイトマップファイルを使用して、そのようなページを見つける方法をWebクローラーに示すことができます。Google、Bing、Yahoo、Askが共同でサイトマッププロトコルをサポートするようになりました。

Answer 2

XMLサイトマップを作成し、Googleに送信します。他の検索エンジンもこれをサポートしています。

Answer 3

XMLサイトマップを作成する必要があります。Drupalには、 XMLサイトマップというモジュールがあります（42.000を超えるDrupalサイトで使用されています）。：

モジュールから：

XMLサイトマップモジュールは、sitemaps.org仕様に準拠するサイトマップを作成します。これにより、検索エンジンはWebサイトをよりインテリジェントにクロールし、結果を最新の状態に保つことができます。モジュールによって作成されたサイトマップは、Ask、Google、Bing（以前のWindows Live Search）、およびYahoo!に自動的に送信できます。サーチエンジン。このモジュールには、コンテンツ、メニューアイテム、分類用語、ユーザープロファイルのサイトマップリンクを追加できるいくつかのサブモジュールも付属しています。

Answer 4

実際、このための drupalサイトマップビルダープラグインに興味があるかもしれません。