منشئ Robots.txt
باني robots.txt مرئي مع إعدادات مسبقة لـ WordPress وNext.js وShopify — تأخير الزحف وخريطة الموقع والتحميل
حول منشئ Robots.txt
أنشئ ملف robots.txt بصرياً مع إعدادات مسبقة للمنصات الشائعة — اضبط قواعد الزحف بدون كتابة أي سطر يدوياً.
كيفية استخدام منشئ Robots.txt
- 1اختر إعداداً مسبقاً (WordPress أو Next.js أو Shopify أو مخصص) للبدء بإعدادات افتراضية معقولة.
- 2اضبط مجموعات وكيل المستخدم للتحكم في أي الروبوتات يمكنها الوصول إلى أي أجزاء من موقعك.
- 3أضف قواعد السماح والمنع للسماح أو حظر مسارات محددة لكل مجموعة روبوتات.
- 4حدد تأخير زحف اختياري لمنع الروبوتات المكثفة من إثقال خادمك.
- 5أضف رابط خريطة موقعك ليتمكن محركات البحث من اكتشافها تلقائياً.
- 6انسخ محتوى robots.txt المُنشأ وارفعه إلى الدليل الجذري لموقعك.
نصائح
- لا تحظر ملفات CSS أو JavaScript في robots.txt أبداً — يحتاجها Google لعرض صفحاتك وفهرستها بشكل صحيح.
- استخدم قواعد منع محددة لمسارات الإدارة والتجريب والمحتوى المكرر لتركيز ميزانية الزحف على الصفحات المهمة.
- اختبر robots.txt في أداة اختبار robots.txt في Google Search Console قبل النشر لتجنب الحظر العرضي.
فريق OneKitToolsتم التحديث 2.21.4