مولد ملف Robots.txt
قم بإنشاء ملف robots.txt صحيح دون حفظ بناء الجملة. قم بإضافة قواعد السماح وعدم السماح لكل مستخدم، وقم بإدراج ملفات Sitemap الخاصة بك، وقم بتعيين تأخير الزحف الاختياري. يتم تحديث التحديثات مباشرة ويمكن نسخها أو تنزيلها بتنسيق ملف robots.txt.
100% من جانب العميل · لا توجد بيانات تترك متصفحك
User-agent: *
كيفية إنشاء ملف robots.txt
قم بإنشاء ملف robots.txt لمحرك البحث لموقعك على الويب.
- 1
أضف القواعد
قم بتعيين وكيل المستخدم والمسارات المسموح بها أو غير المسموح بها.
- 2
إضافة خرائط الموقع
قم بإدراج عناوين URL لخريطة الموقع الخاصة بك وتأخير الزحف الاختياري.
- 3
تحميل
انسخ ملف robots.txt أو قم بتنزيله وضعه في جذر موقعك.