«تمت فهرسة الصفحة علمًا أنّها محظورة باستخدام ملف robots.txt»: كيف تقرر الحل الصحيح؟
هذه الحالة تثبت عمليًا أن robots.txt لا يمنع الفهرسة. Google لم يزر الصفحة، لكنه رأى روابط تشير إليها من صفحات أخرى، ففهرس الرابط اعتمادًا على هذه الروابط فقط.
ما معنى «تمت فهرسة الصفحة علمًا أنّها محظورة باستخدام ملف robots.txt»؟
بحسب مركز المساعدة: فُهرست الصفحة رغم حظرها بملف robots.txt. Google يحترم robots.txt دائمًا، لكن ذلك لا يمنع الفهرسة إذا وُجد رابط إلى صفحتك في موقع آخر. لن يطلب Google الصفحة أو يزحف إليها، لكنه قد يفهرسها باستخدام معلومات من الصفحة التي تربط بها، وسيكون أي مقتطف لها في النتائج محدودًا جدًا على الأرجح.
وهي من «التحذيرات» في التقرير: لا تمنع الفهرسة، لكنها تحد من قدرة Google على فهم الصفحة.
هل هي مشكلة فعلًا؟
تحتاج تدخلًا عندما تشمل:
- صفحات خاصة أو خدمية تظهر في النتائج بلا وصف.
- صفحات مهمة محظورة بالخطأ، فتظهر بعنوان دون وصف وتخسر النقرات.
الأسباب الشائعة
- صفحة محظورة في robots.txt وتصلها روابط داخلية أو خارجية.
- روابط فلاتر أو بحث محظورة ويشاركها الناس.
- استخدام robots.txt لإخفاء صفحات بدل noindex.
كيف تشخّصها خطوة بخطوة
- افحص الرابط بأداة فحص عنوان URL وتأكد من الحظر.
- حدد القاعدة المسؤولة في robots.txt.
- ابحث عن مصدر الروابط إلى الصفحة: داخلية أم خارجية؟
طريقة الإصلاح
- إذا أردت الصفحة في Google: أزل قاعدة الحظر أو ضيّقها.
- إذا لم تردها: أزل الحظر مؤقتًا وأضف
noindex، وانتظر حتى يزحف Google إليها ويخرجها من الفهرس. - للإخفاء العاجل من النتائج: استخدم أداة الإزالة في Search Console، فهي تخفي الرابط مؤقتًا لنحو ستة أشهر، ويجب أن يرافقها حل دائم.
- أزل الروابط الداخلية إلى الصفحات التي لا تريدها في النتائج.
ملاحظات حسب المنصة
المتاجر
روابط البحث والفلاتر المحظورة التي يشاركها العملاء تظهر هنا أحيانًا. إن كانت قليلة فلا تقلق؛ وإن كانت كثيرة، فراجع مصدر الروابط.
ووردبريس
إذا حظرت مجلدًا كاملًا في robots.txt لإخفائه، فاستبدل ذلك بـnoindex من Rank Math للصفحات المقصودة.
أخطاء شائعة في التعامل معها
- إضافة noindex مع إبقاء الحظر في robots.txt؛ Google لن يرى noindex أبدًا.
- الاعتماد على أداة الإزالة وحدها كحل دائم.
بعد الإصلاح: التحقق ومتابعة النتيجة
بعد تطبيق الحل، اضغط «التحقق من الإصلاح». إذا اخترت noindex، فستنتقل الروابط إلى حالة «تم تمييز عنوان URL بعلامة noindex» بعد الزحف، وهذا هو المطلوب.
أسئلة شائعة
لماذا فهرس Google صفحة منعته من زيارتها؟
لأن robots.txt يمنع الزحف لا الفهرسة. عندما يجد Google روابط كثيرة إلى صفحة، قد يفهرس الرابط نفسه اعتمادًا على هذه الروابط، دون أن يعرف محتواه.
هل أترك هذا التحذير؟
إذا كانت الصفحات قليلة وغير مهمة ولا تظهر في البحث فعليًا، فتأثيرها محدود. لكن الحل الصحيح دائمًا: إما السماح بالزحف، أو noindex مع السماح بالزحف.
حالات قد تظهر معها في التقرير نفسه
أو الصق جدول التقرير كاملًا في مفسّر أخطاء Search Console لترتيب كل الحالات حسب الأولوية.
تظهر هذه الحالة في صفحات مهمة ولم تعرف السبب؟
أراجع تقرير فهرسة الصفحات وإحصاءات الزحف وسجلات الخادم معًا، وأحدد السبب الحقيقي وترتيب الإصلاح، بدل تجربة الحلول واحدًا بعد الآخر.