«تم حظر الوصول إلى الصفحة لأنّ الوصول ممنوع (403)»: لماذا يمنع موقعك Googlebot؟
403 لـGooglebot يعني غالبًا أن جدار حماية قرر أنه «زائر مشبوه». في السوق الخليجي يحدث هذا كثيرًا مع مواقع تحظر الزيارات من خارج المنطقة: يزحف Googlebot غالبًا من عناوين في الولايات المتحدة، فيُحظر معها.
ما معنى «تم حظر الوصول إلى الصفحة لأنّ الوصول ممنوع (403)»؟
بحسب مركز المساعدة: رمز 403 يعني أن وكيل المستخدم قدم بيانات اعتماد لكنه لم يُمنح الإذن. وبما أن Googlebot لا يقدّم بيانات اعتماد مطلقًا، فخادمك يعرض هذا الخطأ بشكل غير صحيح، ولن تُفهرس الصفحة.
والحل الرسمي: قبول الزوار غير المسجلين، أو السماح صراحة بطلبات Googlebot دون مصادقة بعد التحقق من هويته. ويحذر توثيق Google من استخدام 401 و403 للحد من معدل الزحف، فهما لا يؤثران فيه.
هل هي مشكلة فعلًا؟
طبيعية ولا تحتاج إجراء عندما تخص:
- مجلدات لا يُفترض الوصول إليها، مثل مجلدات النظام، إذا وجدها Google من رابط ما.
تحتاج تدخلًا عندما تشمل:
- أي صفحة عامة مهمة.
- ظهور مفاجئ لعدد كبير من الروابط بعد تفعيل إعداد أمان.
الأسباب الشائعة
- حظر الدول في جدار الحماية أو إضافة الأمان، بما يشمل الولايات المتحدة التي يزحف منها Googlebot غالبًا.
- قواعد Cloudflare أو WAF تحظر الزواحف أو تعرض تحديًا يفشل فيه Googlebot.
- ModSecurity أو قواعد الاستضافة تحظر طلبات معينة.
- صلاحيات ملفات أو مجلدات خاطئة على الخادم.
- حماية من الربط الساخن للصور تحظر Googlebot-Image.
كيف تشخّصها خطوة بخطوة
- اختبر الرابط مباشرة. إذا نجح الاختبار، فالحظر متقطع أو يعتمد على عنوان IP أو معدل الطلبات.
- راجع سجلات جدار الحماية وإضافة الأمان بحثًا عن طلبات تحمل اسم Googlebot، وتحقق هل هي من عناوين Google الحقيقية.
- راجع قواعد حظر الدول وقواعد الزواحف في Cloudflare أو الاستضافة.
- تذكر أن تجربة
curlباسم Googlebot من جهازك لا تساوي طلبًا حقيقيًا من عناوين Google.
طريقة الإصلاح
- اسمح للزواحف الموثّقة: في Cloudflare توجد فئة «الزواحف الموثّقة»، وفي إضافات الأمان خيارات للتعامل مع زواحف Google.
- استثنِ زواحف Google الموثّقة من حظر الدول، أو أوقف حظر الدول إن لم يكن ضروريًا.
- صحّح صلاحيات الملفات والمجلدات على الخادم.
- تحقق من هوية Googlebot بـDNS العكسي أو نطاقات IP المنشورة من Google، بدل الاعتماد على اسم الزاحف.
- بعد الإصلاح، اختبر الرابط مباشرة ثم اضغط «التحقق من الإصلاح».
ملاحظات حسب المنصة
ووردبريس (Wordfence وغيره)
راجع حظر الدول وقواعد تحديد المعدل في إضافة الأمان، وتأكد أن زواحف Google الموثّقة غير محظورة.
Cloudflare أمام أي منصة
قواعد WAF وحظر الدول ووضع «مكافحة الروبوتات» قد تمنع الزواحف إذا ضُبطت بشكل خاطئ. راجع سجل الأحداث لطلبات Googlebot.
أخطاء شائعة في التعامل معها
- إرجاع 403 لتخفيف ضغط الزحف؛ لا يؤثر في معدل الزحف ويمنع الفهرسة.
- السماح لأي زائر يكتب «Googlebot» في اسمه؛ كثير من الزواحف الضارة تنتحل هذا الاسم.
بعد الإصلاح: التحقق ومتابعة النتيجة
بعد التأكد بالاختبار المباشر أن الصفحات تعيد 200، اضغط «التحقق من الإصلاح».
أسئلة شائعة
هل حظر الزيارات من خارج السعودية يضر فهرسة موقعي؟
قد يضر كثيرًا. توثيق Google يذكر أن عناوين Googlebot الافتراضية تبدو في الولايات المتحدة، وإن كان يزحف أحيانًا من دول أخرى. إذا حظرت هذه العناوين، فقد لا يرى Google موقعك. استثنِ الزواحف الموثّقة من أي حظر جغرافي.
ما الفرق بين 401 و403؟
401 يعني أن الصفحة تحتاج تسجيل دخول. 403 يعني أن الخادم يرفض الطلب مهما كانت الهوية. ولأن Googlebot لا يرسل بيانات دخول، فرؤية 403 له تعني غالبًا قاعدة حظر خاطئة.
حالات قد تظهر معها في التقرير نفسه
أو الصق جدول التقرير كاملًا في مفسّر أخطاء Search Console لترتيب كل الحالات حسب الأولوية.
تظهر هذه الحالة في صفحات مهمة ولم تعرف السبب؟
أراجع تقرير فهرسة الصفحات وإحصاءات الزحف وسجلات الخادم معًا، وأحدد السبب الحقيقي وترتيب الإصلاح، بدل تجربة الحلول واحدًا بعد الآخر.