Могу ли я сказать SiteCrawlers посетить определенную страницу?

Question

У меня есть этот веб-сайт Drupal, который вращается вокруг базы данных документов. По дизайну вы можете найти только эти документы, поиск на сайте. Но я хочу, чтобы все результаты были проиндексированы GoogleBot и другими сотрясениями, поэтому я думал, что если я сделаю страницу, которая перечисляет все документы, а затем скажи роботам посетить страницу, чтобы индексировать все мои документы ..?

Это возможно, или есть ли лучший способ сделать это?

Answer 1

Возможно А. Карта сайта

Google представил Google Sitemaps, поэтому веб-разработчики могут публиковать списки ссылок на их сайтах. Основная предпосылка заключается в том, что некоторые сайты имеют большое количество динамических страниц, которые доступны только благодаря использованию форм и записей пользователей. Файлы Citemap могут затем использоваться для обозначения веб-сканера, как можно найти такие страницы. Google, Bing, Yahoo и спросите сейчас совместно поддерживать протокол SiteMaps.

Answer 2

Создайте XML Sitemap и отправьте его в Google. Отказ Другие поисковые системы также поддерживают это.

Answer 3

Вы должны сделать XML Citemap. Есть модуль для него в Друпале под названием XML Citemap (Используется более чем 42 000 сайтов Drupal):

Из модуля:

Модуль XML Sitemap создает карту сайта, который соответствует спецификации Sitemaps.org. Это помогает поисковым системам более разумно ползать веб-сайт и сохранить свои результаты в актуальном состоянии. Карта сайта, создаваемого модулем, может быть автоматически отправлен, чтобы спросить, Google, Bing (ранее Windows Live Search), а Yahoo! поисковые системы. Модуль также поставляется с несколькими подмодулями, которые могут добавлять ссылки на кардацию для содержимого, пунктов меню, терминов таксономии и профили пользователей.

Answer 4

На самом деле, вы можете быть заинтересованы в Плагин Builder Building Drupal Citemap за это..