شرح ملف robots.txt وكيفية إعداده

يمكن أن يحتوي الملف على عدة أسطر أخرى إضافية من الأوامر البرمجية الأكثر استخدامًا مثل:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: https://Your_Domin/sitemap.xml

هذه المحتويات عبارة عن:

• السماح لعناكب البحث برؤية الملفات المرفوعة مثل وسائط الصور والفيديو من خلال الأمر سماح Allow لمجلد uploads أسفل المجلد الأب wp-content.
• منعها من رؤية الإضافات ومجلداتها وملفاتها من خلال الأمر منع Disallow للمجلد plugins أسفل المجلد الأب wp-content.
• منعها من رؤية المجلد المسؤول عن الدخول للموقع wp-admin، ومنع رؤية ملف readme وروابط الأفيليت بكل أنواعها.

طرق إنشاء ملف Robots txt

يمكنك الحصول علي ملف Robots يدويا أو عن طريق العديد من اضافات تحسين محرك البحث مثل Yoast SEO أو All In One SEO.

إنشاء ملف robots.txt عن طريق notepad

يمكنك إنساء ملف Robots txt عن طريق notepad بسيط جدًا. فقط اكتب الأمر في ملف notepad مع تسميته بالاسم “robots” وبامتداد “txt.” مع مراعاة أن يكون الملف بنظام الترميز UTF-8 وليس بنظام الـ ASCII العادي

إنشاء ملف robots txt عن طريق اضافات تحسين محرك البحث

تساعدك إضافات تحسين محركات البحث المشهورة مثل Yoast SEO أو All In One SEO في منع معظم الروبوتات السيئة الشائعة من الزحف إلى بياناتك عبر أكواد تكتب داخل ملف Robots.txt.

عبر إضافة Yoast SEO

• بعد تنصيب وتفعيل إضافة Yoast SEO، اذهب إلى القائمة الفرعية من SEO واختار أدوات:
• اضغط على رابط محرر الملف ثم انقر زر إنشاء ملف robots.txt.
• يمكنك الآن كتابة الأكواد التي تريد من خلال المحرر ثم حفظ التغيرات لملف robots.txt.

عبر إضافة RankMath

• بعد تنصيب وتفعيل إضافة RankMath، اذهب إلى القائمة الفرعية واختيار Tools.
• من خلال اختيار التبويب Robots.txt Editor.

اختبار ملف robots txt

كيفية اختبار ملف robots من خلال أدوات جوجل Google Search Console Robots Testing Tool. ويفضل التحقق من صحة التغييرات باستخدام أدوات مثل Google Search Console ومتابعة سلوك محركات البحث على موقعك.