كيفية منع Robots.txt من التدريج ENV للإنتاج؟

Question

كنت أحدثت في الماضي أن أحد أخصائي تكنولوجيا المعلومات الخاص بنا سيحرك الروبوتس. من التدريج من الإنتاج بطريق الخطأ. حظر Google وغيرها من فهرسة موقع عملائنا في الإنتاج. هل هناك طريقة جيدة لإدارة هذا الموقف؟

شكرا مقدما.

Answer 1

اسأل رغبتك في تغيير أذونات الملف على Robots.txt إلى "للقراءة فقط" لجميع المستخدمين، بحيث يستغرق الأمر خطوات إضافية من:

1. تصبح المسؤول / الجذر
2. تغيير الأذونات للسماح بكتابة
3. الكتابة فوق Robots.txt مع الملف الجديد

Answer 2

كحل كبار المسئولين الاقتصاديين، أشعر بألمك.

سامحني إذا كنت مخطئا، لكنني أفترض أن المشكلة ناتجة عن وجود Robots.txt على خادم التدريج الخاص بك لأنك تحتاج إلى حظر بيئة التدريج بأكملها من محركات البحث التي تجدها والزحف عليها.

إذا كانت هذه هي الحالة، فسوف أقترح وضع بيئة التدريج داخليا حيث لا تكون هذه مشكلة. (إنترانت نوع أو تكوين الشبكة للتدريج). يمكن أن يوفر هذا الكثير من مشكلات محرك البحث مع هذا المحتوى، على سبيل المثال، على سبيل المثال، حذفوا ملف Robots.txt من التدريج الخاص بك عن طريق الصدفة والحصول على موقع مكرر ومفهرش عليه.

إذا لم يكن هذا خيارا، يوصي بالتدريج الذي يجب وضعه في مجلد على الخادم مثل Domain.com/staging/ واستخدم ملف واحد فقط Robots.txt في مجلد الجذر لمنع ذلك / التدريج / المجلد بالكامل. بهذه الطريقة، لا تحتاج إلى استخدام ملفين ويمكنك النوم في الليل مع العلم أن Robots.txt لن يستبدلك.

إذا لم يكن هذا خيارا، فربما تطلب منهم إضافتها إلى قائمة التحقق الخاصة بهم لعدم تحريك هذا الملف؟ سيكون لديك فقط للتحقق من ذلك - نوم أقل قليلا، ولكن أكثر من الاحتياطات قليلا.

Answer 3

قم بإنشاء برنامج نصي للنشر لنقل مختلف القطع الأثرية (صفحات الويب والصور ودعم الملفات، إلخ) ولديه الرجل الذي يقوم به الخطوة عن طريق تشغيل البرنامج النصي الخاص بك. تأكد من عدم تضمين Robots.txt في هذا البرنامج النصي.

Answer 4

قمت بإعداد رمز على خادم الإنتاج الذي أقيم Robots.txt في موقع آخر ولديه مراقبة الواحدة المستخدمة.

إذا كانت مختلفة، فسأكتبها على الفور في الاستخدام المستخدمة مع إصدار الإنتاج. بعد ذلك، لا يهم إذا تم الكتابة فوقه لأن النسخة السيئة لن توجد لفترة طويلة. في بيئة UNIX، سأفعل هذا بشكل دوري مع كرون.

Answer 5

لماذا هي بيئة التدريج الخاصة بك لا تقف وراء جدار الحماية وغير مكشوف علنا؟

المشكلة ليست Robots.txt ... المشكلة هي البنية التحتية للشبكة الخاصة بك.