← كل الأدوات
/ منشئ ملف Robots.txt
منشئ ملف Robots.txt
إنشاء ملف robots.txt لتوجيه محركات البحث حول كيفية الزحف إلى موقعك.
محتوى ملف robots.txt المولد
التحكم في زواحف محركات البحث
يخبر ملف robots.txt زواحف محركات البحث بعناوين URL التي يمكن للزاحف الوصول إليها على موقعك. يُستخدم هذا بشكل أساسي لتجنب التحميل الزائد على موقعك بالطلبات أو لإبقاء بعض المجلدات الخاصة خارج نتائج البحث العامة.
تساعدك هذه الأداة في كتابة القواعد بصياغة صحيحة دون الحاجة إلى حفظ التوجيهات. ما عليك سوى إدخال المجلدات المحظورة ورابط خريطة الموقع لتوليد ملف يمكنك وضعه في الجذر (Root) الخاص بموقعك.
الأسئلة الشائعة
يجب وضع الملف في دليل الجذر (Root directory) ذي المستوى الأعلى لموقع الويب الخاص بك (مثال: https://example.com/robots.txt).
إنها تمنع الزحف فقط، ولكن إذا تم ربط صفحتك من مكان آخر، فقد تظل تظهر في نتائج البحث بدون وصف. لضمان بقائها خارج البحث، استخدم علامة (noindex) الوصفية بدلاً من ذلك.