«تم حظر عنوان URL باستخدام ملف robots.txt»: حظر مقصود أم صفحة مهمة محجوبة؟
ملف robots.txt يتحكم في الزحف، لا في الفهرسة. هذه النقطة وحدها تحل نصف الالتباس: الحظر يمنع Google من قراءة الصفحة، لكنه لا يضمن عدم ظهورها، ولا يصلح لإخفاء صفحة من النتائج.
ما معنى «تم حظر عنوان URL باستخدام ملف robots.txt»؟
بحسب مركز المساعدة: حُظرت الصفحة بملف robots.txt في موقعك. وهذا لا يمنع فهرستها بوسائل أخرى؛ إذا وجد Google معلومات عنها دون تحميلها، فهناك احتمال ضئيل جدًا أن تُفهرس. ولضمان عدم الفهرسة، أزل الحظر واستخدم noindex.
ملاحظة: أداة «اختبار ملف robots.txt» القديمة لم تعد متاحة، وحل محلها تقرير ملفات robots.txt في الإعدادات، الذي يعرض الملفات التي وجدها Google وآخر جلب وأي أخطاء.
هل هي مشكلة فعلًا؟
طبيعية ولا تحتاج إجراء عندما تخص:
- صفحات السلة والدفع والحساب وتسجيل الدخول.
- نتائج البحث الداخلي.
- روابط الفلاتر والترتيب في المتاجر.
- لوحة التحكم مثل
/wp-admin/.
تحتاج تدخلًا عندما تشمل:
- صفحات خدمات أو منتجات أو تصنيفات أو مقالات.
- ملفات CSS وJavaScript ضرورية لعرض الصفحة.
- الموقع كله، بسبب
Disallow: /بقي من نسخة التطوير.
الأسباب الشائعة
- قاعدة واسعة أكثر من اللازم، مثل
Disallow: /*?التي تمنع كل الروابط بمعاملات. - نقل ملف robots.txt من موقع التطوير إلى الموقع الحقيقي.
- قاعدة تحظر مجلدًا يحتوي صفحات مهمة.
- خلط بين الحظر وnoindex لإخفاء صفحات.
كيف تشخّصها خطوة بخطوة
- افحص الرابط: في حقل «هل الزحف مسموح به؟» سترى أن robots.txt يمنع الزحف.
- افتح
/robots.txtفي موقعك وحدد القاعدة التي تطابق مسار الرابط. - راجع الإعدادات ← robots.txt لمعرفة النسخة التي جلبها Google وتاريخها.
- إذا كانت مسارات الروابط عربية، فاختبر الرابط المرمّز كما يظهر في التقرير.
طريقة الإصلاح
- للصفحات المهمة: احذف القاعدة أو ضيّقها، أو أضف
Allowأكثر تحديدًا. - للصفحات التي تريد إخراجها من الفهرس: اسمح بالزحف واستخدم
noindex، لأن Google يجب أن يزحف إلى الصفحة ليرى noindex. - لا تحظر ملفات CSS وJS اللازمة للعرض.
- بعد تعديل الملف، يمكنك طلب إعادة الزحف إليه من تقرير robots.txt، ثم اضغط «التحقق من الإصلاح».
ملاحظات حسب المنصة
ووردبريس وRank Math
إن لم يوجد ملف حقيقي على الخادم، ينشئ ووردبريس ملفًا افتراضيًا، ويمكن تعديله من Rank Math: الإعدادات العامة ← تعديل robots.txt. ولاحظ أن خيار «منع محركات البحث من فهرسة هذا الموقع» في ووردبريس يضيف noindex في الإصدارات الحديثة، ولا يعتمد على robots.txt.
سلة
يمكن تعديل robots.txt من: التسويق ← تحسين محركات البحث. لا تعدّل إلا لسبب واضح، وراجع دليل تحسين متجر سلة.
شوبيفاي
الملف الافتراضي يحظر السلة والدفع والبحث وكثيرًا من روابط الترتيب، وهو جيد غالبًا. يمكن تخصيصه عبر قالب robots.txt.liquid، وأي خطأ فيه قد يخفي المتجر.
أخطاء شائعة في التعامل معها
- حظر صفحة في robots.txt لإخراجها من Google.
- إضافة noindex لصفحة محظورة في robots.txt؛ Google لن يرى noindex لأنه لا يزحف إليها.
- نسخ ملف robots.txt جاهز من الإنترنت دون فهم قواعده.
بعد الإصلاح: التحقق ومتابعة النتيجة
بعد التعديل، تأكد من أن تقرير robots.txt جلب النسخة الجديدة، ثم اضغط «التحقق من الإصلاح» للصفحات التي أصبحت مسموحة.
أسئلة شائعة
هل robots.txt يمنع ظهور الصفحة في Google؟
لا يضمن ذلك. هو يمنع الزحف فقط. إذا وجد Google روابط إلى الصفحة، فقد يفهرس الرابط دون محتواه، فتظهر حالة «تمت فهرسة الصفحة علمًا أنها محظورة باستخدام ملف robots.txt».
هل أحظر صفحات الفلاتر في المتجر؟
إذا كانت لا تحتاج إلى فهرسة أبدًا ولها أعداد ضخمة، فحظرها في robots.txt يقلل هدر الزحف. أما الفلاتر التي لها طلب بحث حقيقي، فالأفضل تحويلها إلى تصنيفات فعلية قابلة للفهرسة.
أين أختبر ملف robots.txt بعد إيقاف أداة الاختبار؟
استخدم تقرير robots.txt في Search Console لمعرفة ما جلبه Google، وأداة فحص عنوان URL لمعرفة هل الرابط محظور. للاختبار قبل النشر، توجد أدوات مفتوحة المصدر مبنية على محلل Google.
حالات قد تظهر معها في التقرير نفسه
أو الصق جدول التقرير كاملًا في مفسّر أخطاء Search Console لترتيب كل الحالات حسب الأولوية.
تظهر هذه الحالة في صفحات مهمة ولم تعرف السبب؟
أراجع تقرير فهرسة الصفحات وإحصاءات الزحف وسجلات الخادم معًا، وأحدد السبب الحقيقي وترتيب الإصلاح، بدل تجربة الحلول واحدًا بعد الآخر.