robots.txt هو ملف نصي يتبع معيار استبعاد برامج الروبوت يتم وضعة في جذر موقع الويب ويتيح للمطورين توجيه محركات البحث حول كيفية فهرسة صفحات الموقع.
يستخدم هذا الملف في التحكم في إمكانية وصول برنامج زحف معين أو كل برامج الزحف إلى مسار ملف محدّد على النطاق أو النطاق الفرعي حيث تتم استضافة ملف robots.txt.
ماهو ملف robots.txt ؟
ملف Robots txt عبارة عن ملف نصي يتم وضع بعض الأكواد البسيطة به لمنع الزحف لصفحات معينة لا نريد ظهورها في محركات البحث، ويتم انشائه على المجلد الرئيسي لموقعك والذي يقوم بدوره بتوجيه روبوتات وعناكب البحث للصفحات المهمة علي موقعك او الصفحات التي سيتم ارشفتها
وملف Robots يساعد في الحصول علي نتائج من خلال زيادة سرعة الفهرسة عن طريق منع ملفات ومجلدات لا أهمية لها من الفهرسة.
حيث عناكب البحث لها حصة معينة من صفحات الموقع الواحد لا يجب أن تزيد عنها أثناء عملية الزحف الواحدة. لذا فكلما قلت عدد الصفحات، تمت فهرستها بسرعة أكبر. من الصفحات غير المهمة في عملية الفهرسة؛ صفحات المسؤول، ومجلدات الإضافات Plugins والقوالب Themes، وكذلك الصفحات الأساسية الخاصة بنواة ووردبريس نفسه، وغيرها من الصفحات.
كيفية إعداد ملف Robots.txt والبدأ في كتابة أوامر
يتكون ملف robots txt من مجموعة من الأسطر البرمجية البسيطة، توضح الصورة الآتية إحدى أبسط شكل ممكن للملف:
لنفرض وجود موقع رابطه الرئيسي هو Technomasr.com وهنالك صفحة تسمى blog، للدخول لهذه الصفحة تحتاج الانتقال الى هذا الرابط technomasr.com/blog اليس كذلك؟
الأن نريد حظر محركات البحث من الدخول الى هذه الصفحة وأرشفة محتوياته، سنقوم بكتابة التالي داخل ملف Robots.txt:
User-agent: Googlebot
Disallow: /blog
يمكن أن يحتوي الملف على عدة أسطر أخرى إضافية من الأوامر البرمجية الأكثر استخدامًا مثل:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://Your_Domin/sitemap.xml
هذه المحتويات عبارة عن:
- السماح لعناكب البحث برؤية الملفات المرفوعة مثل وسائط الصور والفيديو من خلال الأمر سماح Allow لمجلد uploads أسفل المجلد الأب wp-content.
- منعها من رؤية الإضافات ومجلداتها وملفاتها من خلال الأمر منع Disallow للمجلد plugins أسفل المجلد الأب wp-content.
- منعها من رؤية المجلد المسؤول عن الدخول للموقع wp-admin، ومنع رؤية ملف readme وروابط الأفيليت بكل أنواعها.
تعرف أيضا علي كيف يمكن تصدر نتائج البحث؟
طرق إنشاء ملف Robots txt
يمكنك الحصول علي ملف Robots يدويا أو عن طريق العديد من اضافات تحسين محرك البحث مثل Yoast SEO أو All In One SEO.
إنشاء ملف robots.txt عن طريق notepad
يمكنك إنساء ملف Robots txt عن طريق notepad بسيط جدًا. فقط اكتب الأمر في ملف notepad مع تسميته بالاسم “robots” وبامتداد “txt.” مع مراعاة أن يكون الملف بنظام الترميز UTF-8 وليس بنظام الـ ASCII العادي
إنشاء ملف robots txt عن طريق اضافات تحسين محرك البحث
تساعدك إضافات تحسين محركات البحث المشهورة مثل Yoast SEO أو All In One SEO في منع معظم الروبوتات السيئة الشائعة من الزحف إلى بياناتك عبر أكواد تكتب داخل ملف Robots.txt.
عبر إضافة Yoast SEO
- بعد تنصيب وتفعيل إضافة Yoast SEO، اذهب إلى القائمة الفرعية من SEO واختار أدوات:
- اضغط على رابط محرر الملف ثم انقر زر إنشاء ملف robots.txt.
- يمكنك الآن كتابة الأكواد التي تريد من خلال المحرر ثم حفظ التغيرات لملف robots.txt.
عبر إضافة RankMath
- بعد تنصيب وتفعيل إضافة RankMath، اذهب إلى القائمة الفرعية واختيار Tools.
- من خلال اختيار التبويب Robots.txt Editor.
اختبار ملف robots txt
كيفية اختبار ملف robots من خلال أدوات جوجل Google Search Console Robots Testing Tool. ويفضل التحقق من صحة التغييرات باستخدام أدوات مثل Google Search Console ومتابعة سلوك محركات البحث على موقعك.