如何告诉搜索引擎不要通过次要域名索引内容？

Question

我在A.Com上有一个网站（例如）。我还有其他几个域名，我没有使用任何东西：b.com和c.com。他们目前转向A.Com。我已经注意到Google使用b.com/stuff and c.com/stuff，不仅是A.Com/Stuff。告诉Google仅通过A.COM而不是B.com和C.com索引内容的正确方法是什么？

似乎通过HTACCESS重定向是最好的解决方案，但我不确定该怎么做。只有一个htaccess文件（每个域都没有自己的htaccess文件）。

b.com和c.com并不是A.com的别名，它们只是我预定未来项目的其他域名。

Answer 1

您可以简单地创建一个重定向 .htaccess 这样的文件：

RewriteEngine on
RewriteCond %{HTTP_HOST} \.b\.com$ [OR]
RewriteCond %{HTTP_HOST} \.c\.com$
RewriteRule ^(.*)$ http://a.com/$1 [R=301,L]

Answer 2

robots.txt 是告诉蜘蛛爬行和不爬行的方法。如果将以下内容放在 /robots.txt的网站根部：

User-agent: *
Disallow: /

举止良好的蜘蛛不会搜索您网站的任何部分。大多数大型网站都有一个机器人.txt，例如 谷歌

User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /news
#and so on ...

Answer 3

这几乎取决于您想要实现的目标。 301会说内容是永久移动的（这是转移PR的正确方法），这是您要实现的目标吗？

您希望Google表现出来吗？比您可能使用robots.txt，但请记住一个缺点：此文件是可以从外部和每次位于同一位置读取的，因此您基本上可以放弃您可能需要保护的目录和文件的位置。因此，仅当没有任何值得保护的情况下，才能使用Robots.txt。

如果有什么值得保护的东西，您应该密码保护目录，这将是正确的方法。 Google不会索引密码保护目录。

http://support.google.com/webmasters/bin/answer.py?hl = en&answer=93708

对于最后的方法，它取决于您是否要使用httpd.conf文件或.htaccess。最好的方法是使用httpd.conf，即使.htaccess似乎更容易。

http://httpd.apache.org/docs/2.0/howto/auth.html

Answer 4

让您的服务器端代码生成一个规范引用，该参考指向要视为“源”的页面。示例=

参考：http://googlewebmastercentral.blogspot.com/2009/02/specify-your-canonical.html- 更新：此链接标签目前也得到Ask.com，Microsoft Live Search和Yahoo！的支持。