¿Cómo prevenir robots.txt pasar de puesta en escena env para la producción?

Question

Me había sucedido en el pasado que uno de nuestros especialistas se moverá el robots.txt de puesta en escena de la producción de forma accidental. El bloqueo de Google y otros indexe el sitio de nuestros clientes en la producción. ¿Hay una buena manera de manejar esta situación?

Gracias de antemano.

Answer 1

Pregunte a sus chicos de TI para cambiar los permisos de archivo en el archivo robots.txt para "sólo lectura" para todos los usuarios, de modo que tome las medidas adicionales de:

1. convertirse en administrador / root
2. cambiar los permisos para permitir que las escrituras
3. sobrescribir robots.txt con el nuevo archivo

Answer 2

Como un SEO, siento su dolor.

Perdóname si estoy equivocado, pero estoy suponiendo que el problema se produce porque hay un robots.txt en su servidor de ensayo porque es necesario para bloquear todo el entorno de ensayo de la constatación de los motores de búsqueda, y rastree.

Si este es el caso, sugeriría colocar el entorno de ensayo internamente cuando esto no es un problema. (De tipo Intranet o una red de configuración para la estadificación). Esto puede ahorrar una gran cantidad de problemas de motor de búsqueda con ese contenido conseguir arrastrado decir, por ejemplo, que eliminan el archivo robots.txt de su puesta en escena de accidente y obtener un duplicado del sitio rastreado e indexado.

Si eso no es una opción, recomendar puesta en escena para ser colocado en una carpeta en el servidor como domain.com/staging/ y utilizar un solo archivo robots.txt en la carpeta raíz de bloquear que / puesta en escena / carpeta en su totalidad . De esta manera, no es necesario estar usando dos archivos y se puede dormir por la noche sabiendo otra robots.txt no reemplazará a la suya.

Si eso no es una opción, tal vez pedirles que añadirlo a su lista de comprobación para NO mueva ese archivo? Usted sólo tendrá que comprobar esto -. Un poco menos horas de sueño, pero un poco más de precaución

Answer 3

Crear un script de implementación para mover los diversos artefactos (páginas web, imágenes, archivos de apoyo, etc.) y tiene el tipo que haga el movimiento mediante la ejecución de su script. Asegúrese de no incluir robots.txt en ese guión.

Answer 4

Había código de configuración en el servidor de producción que llevó a cabo la producción de robots.txt en otra ubicación y haga que sea monitorear el que está en uso.

Si son diferentes, entonces yo sobreescribo de inmediato el uso en-uno con la versión de producción. Entonces no importaría si se sobreescribe ya no lo hará existe la versión mal por mucho tiempo. En un entorno UNIX, lo haría esto periódicamente con cron.

Answer 5

¿Por qué es el entorno de ensayo no detrás de un cortafuegos y no expuesto públicamente?

El problema no es Robots.txt ... El problema es que su infraestructura de red.