إنشاء ملف robots.txt بالتفصيل للمبتدئين

شرح عمل ملف robots.txt بالتفصيل للمبتدئين

 

سنشرح كل شيء متعلق بملف robots.txt وأهميته وفهل كل كلمة فيه, حتى نستطيع إنشاء ملف robots.txt بأنفسنا وبسهولة كبيرة.

 

كل موقع لديه ملف robots.txt ولكن ما الفائدة منه؟ وكيف أقوم بعمله لموقعي؟ ورفعه للموقع؟

ستجد أجابة لكل أسألتك في هذه التدوينة بأذن الله.

ماهو ملف robots.txt ؟

 

هو ملف لأعطاء تعليمات وأوامر لتنظيم أرشفة موقعك في محركات البحث, ويسمى بـRobots Exclusion Protocol.

ووظيفته الأساسية هي أبعاد عناكب البحث عن الملفات الحساسة في موقعك والتي لا تريد أن تقوم محركات البحث بأرشفتها, مثل صفحات الادارة و الأرشيف, وتوجيه العناكب إلى صفحات مهمة وضرورية لأرشفتها مثل المقالات والمواضيع والصفحات.

ملف robots.txt يكون عام ويمكن لأي شخص مشاهدته, ويكون على المسار www.example.com/robots.txt, ويمكنك مشاهدة ملف robots.txt للموقع الناجح على الرابط, http://sitesuccessful.com/robots.txt

 

كيف أقوم بأنشاء ملف robots.txt ؟

 

أمر سهل جداً وليس صعب, فقط أفتح مفكرة أو Notepad جديدة.

ملف robots.txt

 

 

قم في بداية الصفحة بكتابة ملف robots.txt وأشارة النجمة تعني بمنع جميع عناكب البحث من أرشفة الصفحات التي تلي هذا الأمر, ونلاحظ في ملف robots.txt للموقع الناجح أني قمت بحجب العناكب عن صفحات الادارة والتعليقات وهي:

 

 

 

ستقوم أنت بتعيين جميع الصفحات التي لا تريد أن تتأرشف وتضعها بعد Disallow, حيث تختلف روابط الادارة في حال كنت تستخدم بلوغر أو منتدى.

العناكب الآن تدخل إلى موقعك بشكل سليم ولكن لا تقوم بأرشفة الصفحات التي قمت بمنعها, لنفهم أن ملف robots.txt وظيفته الأولى هي منع العناكب من الدخول للصفحات الحساسة.

لنقوم الآن باستدعاء عناكب الصور والجوال لأرشفة الموقع, وذلك عن طريق نفس الأوامر, حيث Googlebot-Image هي عناكب الصور وGooglebot-mobile هي عناكب الجوال, وستستمح لهم بأرشفة كل موقعك وذلك عبر Allow كما في الصورة:

ملف robots.txt

 

بعد ذلك ستقوم بأدخال رابط خريطة موقعك في نهاية الملف sitemap: www.example.com/sitemap.xml

 

هل ما زلت تجد صعوبة في إنشاء ملف robots.txt ؟

لا مشكلة, سأقوم بطرح مثال لتوضيح الأمور, لنفترض أن موقعك لديه لوحة تحكم على الرابط: www.example.com/admin , ويمكنك التحكم بالصور والفيديوهات والملفات من خلال الروابط التالية:

www.example.com/admin/images

www.example.com/admin/videos

www.example.com/admin/files

لن تقوم أنت بكتابة أمر المنع لجميع هذه الصفحات, ولكن ستوضح لعناكب البحث أن كل صفحة لها علاقة بالادمن أو الأدارة لا تنظر لها والابتعاد عنها, عن طريق أبعادهم عن كلمة admin ليصبح شكل الملف :

ملف robots.txt

الآن أي رابط يحوي على admin لن تدخله عناكب البحث.

 

ملاحظة: لا تقم بحجب أي ملفات جافا سكربت أو ملفات CSS لأن عناكب البحث لن تستطيع مشاهدة موقعك بشكل جيد كما يراه الانسان, اسمح لعناكب البحث بالوصول للملفات للحصول على ارشفة افضل.

 

كيف أقوم برفعه لموقعي؟

من خلال السي بانل قم برفعه على المجلد الرئيسي لموقعك, حيث تكون قد حفظت الملف على سطح المكتب بأسم robots.txt, ليصبح هناك صفحة خاصة بموقعك فيها هذه الملف, www.yoursite.com/robots.txt

ثم أذهب إلى أدوات مشرفي المواقع google webmasters tools, وأدخل إلى أداة فحص ملف الروبوت, قم بأدخال المسار “الرابط”, ثم أضغط على Test أو فحص, ثم شاهد النتائج.

 

ملف robots.txt

 

أعتقد الآن أصبح لديك معرفة كاملة 100% عن ملف robots.txt ووظيفته وطريقه إنشاءه ورفعه لموقعك.

لا تذهب دون ترك تقييمك للموضوع

نجمة واحدةنجمتانثلات نجماتأربع نجماتخمس نجمات (3 votes, average: 3.67 out of 5)

اشترك في قائمتنا البريدية وانضم لمشتركينا ليصلك كل جديد.

15 تعليق في “إنشاء ملف robots.txt بالتفصيل للمبتدئين

    1. ملف الروبوتس ليس له علاقة بووردبريس او أو واجهة أخرى, فقط قم بتطبيق المكتوب في التدوينة.

      أهلاً بك.

  1. صديقى لماذا لا ترفق ملف روبو تكست يكون بالصورة الصحية ومناسب لمعظم مواقع الوردبريس او البلوجر حتى نستطيع التعامل معه وتقديمة لجوجل

    1. لانه لا يوجد ملف روبروتس موحد, ويجب ان تكتب ملف الروربوتس بنفسك, لكي تقرر اي الصفحات تدخل الى فهرس جوجل وأيها لا.

  2. السلام عليكم
    حضرتك دلوقتى الموقع اول ما اتعمل ملفات روبتس لية الموقع برمجة خاصة مش واخد اى نتائج فى محركات البحث مع العلم انى متاكدة جدا ان مفيش اى حاجة فوتها من ناجية seo وللاسف كلمت المبرمج قالى مفيش اى خطا فى البرمجة وملفات الروبتس مفيهاش مشاكل

  3. جزاك الله خيرا أخ وليد على ما تقدم من معلومات مفيدة.

    عندي مدونة على بلوجر برابط مجاني وقد قمت بتفعيل بروتوكول HTTPS ولكن المشكلة ظهرت في الارشفة اصبحت المواضيع تظهر مرتين في ارشفة جوجل مرة مع ال HTTP ومرة مع ال HTTPS كيف يمكن حل هذه المشكلة وحذف الروابط البادئة HTTP

    تحياتي لك.

  4. مشكور علي موضوعك لكن لو أضفت تفصيل أكثر يكون الموضوع اهم
    كمثلا
    1 – كيف يتم معرفه الروابط والمسارات لان معظم المبتدئين لا يعرفون من اين يجلبون مسارات موقعهم ..

    2 – ملف جاهز لاحدي المواقع والمنتديات والمتاجر الالكترونيه .
    ليكون مثال عملي امامهم امثال

    https://www.google.com/robots.txt
    https://www.facebook.com/robots.txt
    https://twitter.com/robots.txt
    http://traidnt.net/robots.txt

    تقبل مروري اخوكم شباب مؤمن

  5. السلام عليكم الموضوع مفيد جدا شكرا لك
    لو سمحت اخي لدي في موقعي مشكل يشير اليه googlewebmasters بالرسالة التالية”تعذر على Googlebot الدخول إلى عنوان ” لكن لا أعرف كيف اتصرف معا هذا الخطأء بماذا تنصحني في هذه الحالة ارجو الاجابة هذا نص الرسالة Googlebot couldn’t access the contents of” this URL because the server had an internal error when trying to process the request. These errors tend to be with the server itself, not with the request” وجميع الروابط التي فيها خطأ تبدأ بالشكل التالي: URL:
    nobxxxxxxs,com/wp-includes/xxxxxxx.php فما الحل

أضف تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *