إنشاء ملف robots.txt بالتفصيل للمبتدئين

شرح عمل ملف robots.txt بالتفصيل للمبتدئين

 

سنشرح كل شيء متعلق بملف robots.txt وأهميته وفهل كل كلمة فيه, حتى نستطيع إنشاء ملف robots.txt بأنفسنا وبسهولة كبيرة.

 

كل موقع لديه ملف robots.txt ولكن ما الفائدة منه؟ وكيف أقوم بعمله لموقعي؟ ورفعه للموقع؟

ستجد أجابة لكل أسألتك في هذه التدوينة بأذن الله.

ماهو ملف robots.txt ؟

 

هو ملف لأعطاء تعليمات وأوامر لتنظيم أرشفة موقعك في محركات البحث, ويسمى بـRobots Exclusion Protocol.

ووظيفته الأساسية هي أبعاد عناكب البحث عن الملفات الحساسة في موقعك والتي لا تريد أن تقوم محركات البحث بأرشفتها, مثل صفحات الادارة و الأرشيف, وتوجيه العناكب إلى صفحات مهمة وضرورية لأرشفتها مثل المقالات والمواضيع والصفحات.

ملف robots.txt يكون عام ويمكن لأي شخص مشاهدته, ويكون على المسار www.example.com/robots.txt, ويمكنك مشاهدة ملف robots.txt للموقع الناجح على الرابط, http://sitesuccessful.com/robots.txt

 

كيف أقوم بأنشاء ملف robots.txt ؟

 

أمر سهل جداً وليس صعب, فقط أفتح مفكرة أو Notepad جديدة.

ملف robots.txt

 

 

قم في بداية الصفحة بكتابة  وأشارة النجمة تعني بمنع جميع عناكب البحث من أرشفة الصفحات التي تلي هذا الأمر, ونلاحظ في ملف robots.txt للموقع الناجح أني قمت بحجب العناكب عن صفحات الادارة والتعليقات وهي:

 

User-agent: *
Disallow: /wp-admin/
Disallow: /author
Disallow: /comments/feed/

 

 

ستقوم أنت بتعيين جميع الصفحات التي لا تريد أن تتأرشف وتضعها بعد Disallow, حيث تختلف روابط الادارة في حال كنت تستخدم بلوغر أو منتدى.

العناكب الآن تدخل إلى موقعك بشكل سليم ولكن لا تقوم بأرشفة الصفحات التي قمت بمنعها, لنفهم أن ملف robots.txt وظيفته الأولى هي منع العناكب من الدخول للصفحات الحساسة.

لنقوم الآن باستدعاء عناكب الصور والجوال لأرشفة الموقع, وذلك عن طريق نفس الأوامر, حيث Googlebot-Image هي عناكب الصور وGooglebot-mobile هي عناكب الجوال, وستستمح لهم بأرشفة كل موقعك وذلك عبر Allow كما في الصورة:

 

بعد ذلك ستقوم بأدخال رابط خريطة موقعك في نهاية الملف sitemap: www.example.com/sitemap.xml

 

هل ما زلت تجد صعوبة في إنشاء ملف robots.txt ؟

لا مشكلة, سأقوم بطرح مثال لتوضيح الأمور, لنفترض أن موقعك لديه لوحة تحكم على الرابط: www.example.com/admin , ويمكنك التحكم بالصور والفيديوهات والملفات من خلال الروابط التالية:

www.example.com/admin/images

www.example.com/admin/videos

www.example.com/admin/files

لن تقوم أنت بكتابة أمر المنع لجميع هذه الصفحات, ولكن ستوضح لعناكب البحث أن كل صفحة لها علاقة بالادمن أو الأدارة لا تنظر لها والابتعاد عنها, عن طريق أبعادهم عن كلمة admin ليصبح شكل الملف :

الآن أي رابط يحوي على admin لن تدخله عناكب البحث.

 

ملاحظة: لا تقم بحجب أي ملفات جافا سكربت أو ملفات CSS لأن عناكب البحث لن تستطيع مشاهدة موقعك بشكل جيد كما يراه الانسان, اسمح لعناكب البحث بالوصول للملفات للحصول على ارشفة افضل.

 

كيف أقوم برفعه لموقعي؟

من خلال السي بانل قم برفعه على المجلد الرئيسي لموقعك, حيث تكون قد حفظت الملف على سطح المكتب بأسم robots.txt, ليصبح هناك صفحة خاصة بموقعك فيها هذه الملف, www.yoursite.com/robots.txt

ثم أذهب إلى أدوات مشرفي المواقع google webmasters tools, وأدخل إلى أداة فحص ملف الروبوت, قم بأدخال المسار “الرابط”, ثم أضغط على Test أو فحص, ثم شاهد النتائج.

 

 

أعتقد الآن أصبح لديك معرفة كاملة 100% عن ملف robots.txt ووظيفته وطريقه إنشاءه ورفعه لموقعك.

حول وليد حمود

اعمل في مجال تهيئة المواقع وتطويرها منذ اكثر من 14 سنة, عملت بشكل مجاني لمدة سنتين حتى اكتسبت الخبرة الكافية, استخدم السيو و برمجيات بسيطة لتهيئة المواقع وجعلها مُنافسة, هدفي اعطاء العنان لكل شاب والبدء بالخطوة الاولى لتحقيق حلمه.

38 فكرة عن “إنشاء ملف robots.txt بالتفصيل للمبتدئين”

    1. ملف الروبوتس ليس له علاقة بووردبريس او أو واجهة أخرى, فقط قم بتطبيق المكتوب في التدوينة.

      أهلاً بك.

  1. صديقى لماذا لا ترفق ملف روبو تكست يكون بالصورة الصحية ومناسب لمعظم مواقع الوردبريس او البلوجر حتى نستطيع التعامل معه وتقديمة لجوجل

    1. لانه لا يوجد ملف روبروتس موحد, ويجب ان تكتب ملف الروربوتس بنفسك, لكي تقرر اي الصفحات تدخل الى فهرس جوجل وأيها لا.

  2. شرح رائع وموفق والحقيقة استفدت منه كثيراً … بارك الله فيك وجعله في ميزان حسناتك… تقبل تقديري واحترامي

  3. السلام عليكم
    حضرتك دلوقتى الموقع اول ما اتعمل ملفات روبتس لية الموقع برمجة خاصة مش واخد اى نتائج فى محركات البحث مع العلم انى متاكدة جدا ان مفيش اى حاجة فوتها من ناجية seo وللاسف كلمت المبرمج قالى مفيش اى خطا فى البرمجة وملفات الروبتس مفيهاش مشاكل

  4. جزاك الله خيرا أخ وليد على ما تقدم من معلومات مفيدة.

    عندي مدونة على بلوجر برابط مجاني وقد قمت بتفعيل بروتوكول HTTPS ولكن المشكلة ظهرت في الارشفة اصبحت المواضيع تظهر مرتين في ارشفة جوجل مرة مع ال HTTP ومرة مع ال HTTPS كيف يمكن حل هذه المشكلة وحذف الروابط البادئة HTTP

    تحياتي لك.

  5. مشكور علي موضوعك لكن لو أضفت تفصيل أكثر يكون الموضوع اهم
    كمثلا
    1 – كيف يتم معرفه الروابط والمسارات لان معظم المبتدئين لا يعرفون من اين يجلبون مسارات موقعهم ..

    2 – ملف جاهز لاحدي المواقع والمنتديات والمتاجر الالكترونيه .
    ليكون مثال عملي امامهم امثال

    https://www.google.com/robots.txt
    https://www.facebook.com/robots.txt
    https://twitter.com/robots.txt
    http://traidnt.net/robots.txt

    تقبل مروري اخوكم شباب مؤمن

  6. السلام عليكم الموضوع مفيد جدا شكرا لك
    لو سمحت اخي لدي في موقعي مشكل يشير اليه googlewebmasters بالرسالة التالية”تعذر على Googlebot الدخول إلى عنوان ” لكن لا أعرف كيف اتصرف معا هذا الخطأء بماذا تنصحني في هذه الحالة ارجو الاجابة هذا نص الرسالة Googlebot couldn’t access the contents of” this URL because the server had an internal error when trying to process the request. These errors tend to be with the server itself, not with the request” وجميع الروابط التي فيها خطأ تبدأ بالشكل التالي: URL:
    nobxxxxxxs,com/wp-includes/xxxxxxx.php فما الحل

  7. مقالة جيدة ولكن كنت أتمنى تكون المقالة بتفاصيل أكبر
    لدى سؤال
    ألاحظ فى بعض ملفات robots هناك أشخاص يضعون النجمة * بعد Disallow or Allow
    مثل : Disallow: */wp-admin/
    ففى هذه الحالة ماذا تعنى اشارة (*)
    وشكرا

  8. شرح جميل لكل مبتدأ ومفيد صحيح ينقصه بعض المعلومات البسيطه مثل كيف يحدد صاحب الموقع الصفحات التي يريد منع الدخول الها من عناكب جوجل لكن بشكل عام وفقك الله

  9. شكرا اخي كثيرا انا مبتدئه في بلوجر وتواجه مشاكل كثيرا برمجه وأكواد وملف روبوت وقمت بتطبيقه من بعض الفيديوهات ولكنه منع ظهور المدونه تماما ولكن انت صراحه أفضل شرح صادق ومبسط وانشالله بحاول انفذه مثلك ولكن سوالي كي أنجح ك مدونه لابد أن أكون علي علم بالبرمجة وشكرا لك واتمني ان تعلمنا أشياء كثيره نحن بحاجه للمساعدة وجزاك الله خيرا

    1. لو اردتي النجاح بالفعل, فنصيحتي لك لاختصار الوقت والجهد هو استخدام ووردبريس والابتعاد عن بلوجر.
      ليس من الضروري ان تتعلمي البرمجة حتى تصبحي مدونة, ليس شرط.

  10. السلام عليكم يعطيك العافية مهندس
    عندي استفسار عن كيفيه عمل فهرسة لموقعي في محرك البحث
    كل الفيديوها تتقريبا تشرح على المدونات
    انا موقعي على استضافة لم اجد فيديو يشرح طريقة الفهرسة للمواقع التي فيها استضافة
    مشكور

  11. مرحبا , هل ملف robots يجب ان يكون في ملف الجذر فقط ؟ حيث اني استخدم التحويل ٣٠١ الي ملف المدونة وهو على مسار com/nwes…… فموقعي على ٧ مجلدات ما بين منتدى ومركز رفع وخلافة ……وكل مجلد له ملف robots خاص به ……….. هل هذا جيد ام لا ؟

  12. ملف الروبوتس ليس له علاقة بالتحويل, قم بوضع ملف واحد تسمح فيه لعناكب البحث بارشفة كل شيء بالموقع, وان يكون هذا الملف بجذر الموقع.

  13. اخي انا لدي موقع رفع ملفات وعملت له خريطة sitemap.xml
    تحتوي علي مجموعه من روابط صفحات الموقع تعمل بشكل جيد
    ولاكن لا تحتوي علي روابط الملفات التي قمت برفعها علي الموقع
    فقمت باضافة تلك الروابط يدويا للملف واصبح الوضع ممتاز وظهرت في نتائج البحث
    السوءال هو هل توجد طريقة لا ضافة تلك الروابط للملف اتوماتك دون ان اقوم انا باضافة كل رابط للملف من حين لاخر

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

الفهرس
Scroll to Top
×