Robots.txt أم sitemap: أيهما يخبر الزواحف بماذا؟
اختر الضابط الصحيح لحجب المسارات، أو الإعلان عن الروابط، أو تحويل العناوين القديمة إلى جديدة.
sitemap دعوة وrobots.txt قيد، بينما إعادة التوجيه تعليمات تمرير. تحل مشكلات مختلفة، واستخدام sitemap لإخفاء صفحة أو robots.txt لإزالتها من الفهرس ينتج عادة عكس المقصود.
استخدم robots.txt لتقييد الزحف لا لإخفاء الصفحات
يصوغ مولد robots قواعد الزاحف وينبّه إلى تعارض المجموعات. تذكّر أن robots.txt يتحكم في الزحف لا الفهرسة: قد يبقى رابط محجوب مفهرسًا إذا ربطت به صفحات أخرى، فالإزالة تحتاج استجابة noindex أو حذفًا فعليًا.
استخدم sitemap لسرد الروابط القياسية
يتحقق مدقق sitemap من البنية والمواقع وحدود الحجم دون جلب مواقع خارجية. يجب أن تحوي الخريطة عناوين نهائية قابلة للفهرسة وقياسية فقط؛ تضمين إعادة توجيه أو noindex يرسل إشارات مختلطة.
استخدم إعادة التوجيه عندما ينتقل عنوان
يكتب مولد إعادة التوجيه مقتطفات Apache وNginx وNetlify وVercel للنقل الدائم أو المؤقت. فضّل إعادة توجيه دائم بقفزة واحدة للمحتوى المنتقل، وأخرج المسار القديم من sitemap بعد أن يعيد التوجيه.
الأدوات المشمولة في هذا الدليل
- مولد ملف Robots.txt
صغ قواعد robots.txt من صفوف منظمة داخل المتصفح، مع تحذير من التعارض.
- مدقق خريطة الموقع XML
تحقق من بنية sitemap والروابط والحدود دون جلب.
- مولد قواعد إعادة التوجيه
أنشئ مقتطفات إعادة توجيه لـApache وNginx وNetlify وVercel.
أسئلة شائعة حول توجيهات الزواحف
هل حجب رابط في robots.txt يزيله من البحث؟
لا. الحجب يوقف الزحف، فقد تبقي محركات البحث الرابط مفهرسًا دون قراءة الصفحة. استخدم noindex أو احذف الصفحة لإخراجها من النتائج.
هل يجب أن تظهر إعادات التوجيه في sitemap؟
لا. اسرد الروابط النهائية فقط؛ خريطة مليئة بإعادات التوجيه تهدر انتباه الزحف وتضعف إشارة العنوان القياسي.
هل يمكن أن يتناقض robots.txt وsitemap؟
نعم، وهذا خطأ شائع: خريطة تسرد مسارًا يحجبه robots.txt. ينبّه المولد إلى تعارض القواعد، لكن قارن دائمًا بالخريطة يدويًا.