ضبط ملف robots.txt لمدونة بلوجر
ضبط ملف robots.txt لمدونة بلوجر: كيفية إضافة الأوامر الصحيحة للتحكم في زحف محركات البحث
 |
| ضبط ملف robots.txt لمدونة بلوجر |
يُعدّ ملف robots.txt أداةً أساسيةً في تحسين محركات البحث (SEO)، حيث يُمكّنك من توجيه عناكب البحث إلى الصفحات التي ترغب في فهرستها وتجنب الصفحات التي لا ترغب في ظهورها في نتائج البحث.
ما هو ملف robots.txt؟
ملف robots.txt هو ملف نصي يُوضع في جذر الموقع، يحتوي على تعليمات تُوجّه عناكب محركات البحث (مثل Googlebot) حول الصفحات أو الأقسام التي يجب أو لا يجب الزحف إليها.
لاتفوت هذه المقالات:
شرح شامل لبروتوكول IndexNow وطريقة استخدامه مع مدونة بلوجر
كيفية إنشاء وإرسال Sitemap لمدونة بلوجر لتحسين السيو
🚀 7 طرق مجربة لتسريع أرشفة مواضيعك في جوجل (دليل عملي 2025)
شرح بروتوكول IndexNow وطريقة استخدامه مع مدونة بلوجر
الملف الافتراضي في بلوجر
بشكل افتراضي، يُنشئ بلوجر ملف robots.txt يحتوي على الإعدادات التالية:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml
هذه الإعدادات تسمح لمحركات البحث بفهرسة جميع الصفحات باستثناء صفحات البحث والتصنيفات.
كيفية تخصيص ملف robots.txt في بلوجر
لتخصيص ملف robots.txt في مدونة بلوجر، اتبع الخطوات التالية:
- سجّل الدخول إلى لوحة تحكم بلوجر.
- انتقل إلى الإعدادات > الزحف والفهرسة.
- فعّل خيار ملف robots.txt مخصص.
- انقر على ملف robots.txt مخصص وأدخل الكود التالي:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search*
Disallow: /feeds*
Disallow: /20*
Allow: /*.html
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml
ملاحظة: استبدل www.example.com بعنوان نطاق مدونتك.
شرح الكود:
User-agent: *: يستهدف جميع عناكب البحث.Disallow: /search*: يمنع الزحف إلى صفحات البحث والتصنيفات.Disallow: /feeds*: يمنع الزحف إلى خلاصات RSS.Disallow: /20*: يمنع الزحف إلى أرشيف المدونة (مثل /2023/).Allow: /*.html: يسمح بفهرسة جميع الصفحات والمشاركات.Sitemap:: يُحدّد موقع خريطة الموقع لتسهيل الزحف.
فوائد تخصيص ملف robots.txt:
- تحسين SEO: من خلال توجيه عناكب البحث إلى المحتوى المهم فقط.
- توفير ميزانية الزحف: عن طريق منع الزحف إلى الصفحات غير الضرورية.
- تجنب المحتوى المكرر: من خلال منع فهرسة الصفحات ذات المحتوى المكرر مثل التصنيفات والأرشيف.
نصائح إضافية:
- تأكد من اختبار ملف robots.txt باستخدام أدوات مثل Google Search Console.
- تحديث خريطة الموقع بانتظام لضمان فهرسة المحتوى الجديد.
- مراقبة تقارير الزحف في Search Console للتأكد من عدم حظر الصفحات المهمة.
تعليقات