جدول المحتويات
شرح عمل ملف robots.txt بالتفصيل للمبتدئين
سنشرح كل شيء متعلق بملف robots.txt وأهميته وفهل كل كلمة فيه, حتى نستطيع إنشاء ملف robots.txt بأنفسنا وبسهولة كبيرة.
كل موقع لديه ملف robots.txt ولكن ما الفائدة منه؟ وكيف أقوم بعمله لموقعي؟ ورفعه للموقع؟
ستجد أجابة لكل أسألتك في هذه التدوينة بأذن الله.
ماهو ملف robots.txt ؟
هو ملف لأعطاء تعليمات وأوامر لتنظيم أرشفة موقعك في محركات البحث, ويسمى بـRobots Exclusion Protocol.
ووظيفته الأساسية هي أبعاد عناكب البحث عن الملفات الحساسة في موقعك والتي لا تريد أن تقوم محركات البحث بأرشفتها, مثل صفحات الادارة و الأرشيف, وتوجيه العناكب إلى صفحات مهمة وضرورية لأرشفتها مثل المقالات والمواضيع والصفحات.
ملف robots.txt يكون عام ويمكن لأي شخص مشاهدته, ويكون على المسار www.example.com/robots.txt, ويمكنك مشاهدة ملف robots.txt للموقع الناجح على الرابط, http://sitesuccessful.com/robots.txt
كيف أقوم بأنشاء ملف robots.txt ؟
أمر سهل جداً وليس صعب, فقط أفتح مفكرة أو Notepad جديدة.
قم في بداية الصفحة بكتابة وأشارة النجمة تعني بمنع جميع عناكب البحث من أرشفة الصفحات التي تلي هذا الأمر, ونلاحظ في ملف robots.txt للموقع الناجح أني قمت بحجب العناكب عن صفحات الادارة والتعليقات وهي:
User-agent: * Disallow: /wp-admin/ Disallow: /author Disallow: /comments/feed/
ستقوم أنت بتعيين جميع الصفحات التي لا تريد أن تتأرشف وتضعها بعد Disallow, حيث تختلف روابط الادارة في حال كنت تستخدم بلوغر أو منتدى.
العناكب الآن تدخل إلى موقعك بشكل سليم ولكن لا تقوم بأرشفة الصفحات التي قمت بمنعها, لنفهم أن ملف robots.txt وظيفته الأولى هي منع العناكب من الدخول للصفحات الحساسة.
لنقوم الآن باستدعاء عناكب الصور والجوال لأرشفة الموقع, وذلك عن طريق نفس الأوامر, حيث Googlebot-Image هي عناكب الصور وGooglebot-mobile هي عناكب الجوال, وستستمح لهم بأرشفة كل موقعك وذلك عبر Allow كما في الصورة:
بعد ذلك ستقوم بأدخال رابط خريطة موقعك في نهاية الملف sitemap: www.example.com/sitemap.xml
هل ما زلت تجد صعوبة في إنشاء ملف robots.txt ؟
لا مشكلة, سأقوم بطرح مثال لتوضيح الأمور, لنفترض أن موقعك لديه لوحة تحكم على الرابط: www.example.com/admin , ويمكنك التحكم بالصور والفيديوهات والملفات من خلال الروابط التالية:
www.example.com/admin/images
www.example.com/admin/videos
www.example.com/admin/files
لن تقوم أنت بكتابة أمر المنع لجميع هذه الصفحات, ولكن ستوضح لعناكب البحث أن كل صفحة لها علاقة بالادمن أو الأدارة لا تنظر لها والابتعاد عنها, عن طريق أبعادهم عن كلمة admin ليصبح شكل الملف :
الآن أي رابط يحوي على admin لن تدخله عناكب البحث.
ملاحظة: لا تقم بحجب أي ملفات جافا سكربت أو ملفات CSS لأن عناكب البحث لن تستطيع مشاهدة موقعك بشكل جيد كما يراه الانسان, اسمح لعناكب البحث بالوصول للملفات للحصول على ارشفة افضل.
كيف أقوم برفعه لموقعي؟
من خلال السي بانل قم برفعه على المجلد الرئيسي لموقعك, حيث تكون قد حفظت الملف على سطح المكتب بأسم robots.txt, ليصبح هناك صفحة خاصة بموقعك فيها هذه الملف, www.yoursite.com/robots.txt
ثم أذهب إلى أدوات مشرفي المواقع google webmasters tools, وأدخل إلى أداة فحص ملف الروبوت, قم بأدخال المسار “الرابط”, ثم أضغط على Test أو فحص, ثم شاهد النتائج.
أعتقد الآن أصبح لديك معرفة كاملة 100% عن ملف robots.txt ووظيفته وطريقه إنشاءه ورفعه لموقعك.
شكرا لك
اخي موقعي ليس وورد بريس كيف اعمل ملف ربورت تكست ارجو مساعدتي.
ملف الروبوتس ليس له علاقة بووردبريس او أو واجهة أخرى, فقط قم بتطبيق المكتوب في التدوينة.
أهلاً بك.
صديقى لماذا لا ترفق ملف روبو تكست يكون بالصورة الصحية ومناسب لمعظم مواقع الوردبريس او البلوجر حتى نستطيع التعامل معه وتقديمة لجوجل
لانه لا يوجد ملف روبروتس موحد, ويجب ان تكتب ملف الروربوتس بنفسك, لكي تقرر اي الصفحات تدخل الى فهرس جوجل وأيها لا.
شرح رائع وموفق والحقيقة استفدت منه كثيراً … بارك الله فيك وجعله في ميزان حسناتك… تقبل تقديري واحترامي
مشكور صديقي, تشرفت بمرورك
السلام عليكم
حضرتك دلوقتى الموقع اول ما اتعمل ملفات روبتس لية الموقع برمجة خاصة مش واخد اى نتائج فى محركات البحث مع العلم انى متاكدة جدا ان مفيش اى حاجة فوتها من ناجية seo وللاسف كلمت المبرمج قالى مفيش اى خطا فى البرمجة وملفات الروبتس مفيهاش مشاكل
هل الدومين جديد ام قديم؟ انتبهي في حال كان معاقب
جزاك الله خيرا أخ وليد على ما تقدم من معلومات مفيدة.
عندي مدونة على بلوجر برابط مجاني وقد قمت بتفعيل بروتوكول HTTPS ولكن المشكلة ظهرت في الارشفة اصبحت المواضيع تظهر مرتين في ارشفة جوجل مرة مع ال HTTP ومرة مع ال HTTPS كيف يمكن حل هذه المشكلة وحذف الروابط البادئة HTTP
تحياتي لك.
مشكور علي موضوعك لكن لو أضفت تفصيل أكثر يكون الموضوع اهم
كمثلا
1 – كيف يتم معرفه الروابط والمسارات لان معظم المبتدئين لا يعرفون من اين يجلبون مسارات موقعهم ..
2 – ملف جاهز لاحدي المواقع والمنتديات والمتاجر الالكترونيه .
ليكون مثال عملي امامهم امثال
https://www.google.com/robots.txt
https://www.facebook.com/robots.txt
https://twitter.com/robots.txt
http://traidnt.net/robots.txt
تقبل مروري اخوكم شباب مؤمن
هذا روتكس تكست وضعتو عندي في مدونة هذا رابط هل هذا صالح لي عمل او لا وشكرا اخي شابا مؤمن
راااااائع لقد استفدت فعلا ، شرح مبسط وميسر .
اتمني المزيد …
شكرا لك
استفد كثيرا اتمنى ان تنزل دروس اكثر عن السيو لاني صاحب موقع جديد
وشكرا
السلام عليكم الموضوع مفيد جدا شكرا لك
لو سمحت اخي لدي في موقعي مشكل يشير اليه googlewebmasters بالرسالة التالية”تعذر على Googlebot الدخول إلى عنوان ” لكن لا أعرف كيف اتصرف معا هذا الخطأء بماذا تنصحني في هذه الحالة ارجو الاجابة هذا نص الرسالة Googlebot couldn’t access the contents of” this URL because the server had an internal error when trying to process the request. These errors tend to be with the server itself, not with the request” وجميع الروابط التي فيها خطأ تبدأ بالشكل التالي: URL:
nobxxxxxxs,com/wp-includes/xxxxxxx.php فما الحل
انتبه الى اي امر قمت بأعطائه في ملف robots على حجب العناكب عن نوع معين من الملفات.
شكرا ليك مميز كالعادة
مقالة جيدة ولكن كنت أتمنى تكون المقالة بتفاصيل أكبر
لدى سؤال
ألاحظ فى بعض ملفات robots هناك أشخاص يضعون النجمة * بعد Disallow or Allow
مثل : Disallow: */wp-admin/
ففى هذه الحالة ماذا تعنى اشارة (*)
وشكرا
تعني حجب هذه العبارة عن عناكب جوجل.
شكرا لك .. لكني قمت بالخصطوات بشكل صحيح ولم يعدل
شرح جميل لكل مبتدأ ومفيد صحيح ينقصه بعض المعلومات البسيطه مثل كيف يحدد صاحب الموقع الصفحات التي يريد منع الدخول الها من عناكب جوجل لكن بشكل عام وفقك الله
شكرا يا ملك شرح لا باس به استمر يا مبدع
شكرا اخي كثيرا انا مبتدئه في بلوجر وتواجه مشاكل كثيرا برمجه وأكواد وملف روبوت وقمت بتطبيقه من بعض الفيديوهات ولكنه منع ظهور المدونه تماما ولكن انت صراحه أفضل شرح صادق ومبسط وانشالله بحاول انفذه مثلك ولكن سوالي كي أنجح ك مدونه لابد أن أكون علي علم بالبرمجة وشكرا لك واتمني ان تعلمنا أشياء كثيره نحن بحاجه للمساعدة وجزاك الله خيرا
لو اردتي النجاح بالفعل, فنصيحتي لك لاختصار الوقت والجهد هو استخدام ووردبريس والابتعاد عن بلوجر.
ليس من الضروري ان تتعلمي البرمجة حتى تصبحي مدونة, ليس شرط.
موفق اخي مقالة شاملة
كيف امنع فهرسة روابط الاعلانات بموقعي بواسطة الربوت و شكرا
اخي سؤالك غير مفهوم, الرجاء التوضيح.
اخوي عملت تحويل للدومين من http الي https عند التحميل صار فشل في التحميل
يطلع لي err- too many- redirects
على الاغلب هناك خطأ في التركيب او عمل الخطوات, راجع الطريقة من هنا
https://sitesuccessful.com/from-http-to-https/
شكراً لكم انا عندي مشكله دائماً مع هذا الملف
السلام عليكم يعطيك العافية مهندس
عندي استفسار عن كيفيه عمل فهرسة لموقعي في محرك البحث
كل الفيديوها تتقريبا تشرح على المدونات
انا موقعي على استضافة لم اجد فيديو يشرح طريقة الفهرسة للمواقع التي فيها استضافة
مشكور
مرحبا , هل ملف robots يجب ان يكون في ملف الجذر فقط ؟ حيث اني استخدم التحويل ٣٠١ الي ملف المدونة وهو على مسار com/nwes…… فموقعي على ٧ مجلدات ما بين منتدى ومركز رفع وخلافة ……وكل مجلد له ملف robots خاص به ……….. هل هذا جيد ام لا ؟
ملف الروبوتس ليس له علاقة بالتحويل, قم بوضع ملف واحد تسمح فيه لعناكب البحث بارشفة كل شيء بالموقع, وان يكون هذا الملف بجذر الموقع.
مشكور … علما اني لم اتوصل لحل المشكله … مافهمت شي من الشرح للأسف .
شكرا لك
بارك الله فيك وجعله في ميزان حسناتك… تقبل تقديري واحترامي
اخي انا لدي موقع رفع ملفات وعملت له خريطة sitemap.xml
تحتوي علي مجموعه من روابط صفحات الموقع تعمل بشكل جيد
ولاكن لا تحتوي علي روابط الملفات التي قمت برفعها علي الموقع
فقمت باضافة تلك الروابط يدويا للملف واصبح الوضع ممتاز وظهرت في نتائج البحث
السوءال هو هل توجد طريقة لا ضافة تلك الروابط للملف اتوماتك دون ان اقوم انا باضافة كل رابط للملف من حين لاخر
وهذا الملف robots.txt للموقع
User-agent: *
Disallow:
allow:/
sitemap: http://www.sports-1.me/sitemap.xml
مع العلم اني اريد ارشفه جميع شي داخل الموقع الموقع – فهل توجد به اخطاء