في أحد مشاركاتي السابقة أقرأ هنا ، ناقشت إعدادات علامات Custom Robot Header الخاصة بالمدون.
إذا كنت قد قرأت هذا المنشور ، آمل أن تدرك يا رفاق أهميته في تصنيفات البحث.
لقد عدت اليوم من خلال مصطلح تدوين مفيد للغاية ويجب أن أعرفه وهو Robots.txt.
في Blogger ، يُعرف باسم Custom Robots.txt مما يعني أنه يمكنك الآن تخصيص هذا الملف وفقًا لاختيارك.
في البرنامج التعليمي اليوم ، سنناقش هذا المصطلح بعمق ونتعرف على استخدامه وفوائده. سأخبرك أيضًا بكيفية إضافة ملف robots.txt مخصص في Blogger.
لذلك دعونا نبدأ الدليل.
ما هو Robots.txt؟
Robots.txt هو ملف نصي يحتوي على بضعة أسطر من التعليمات البرمجية البسيطة.
يتم حفظه على موقع الويب أو خادم المدونة الذي يوجه برامج زحف الويب إلى كيفية فهرسة مدونتك والزحف إليها في نتائج البحث.
هذا يعني أنه يمكنك تقييد أي صفحة ويب على مدونتك من برامج زحف الويب بحيث لا يمكن فهرستها في محركات البحث مثل صفحة علامات المدونة الخاصة بك أو صفحتك التجريبية أو أي صفحات أخرى ليست مهمة لفهرستها.
تذكر دائمًا أن برامج زحف البحث تفحص ملف robots.txt قبل الزحف إلى أي صفحة ويب.
تحتوي كل مدونة مستضافة على blogger على ملف robots.txt الافتراضي الذي يشبه هذا الشكل:
وكيل المستخدم: Mediapartners-Google
عدم السماح:
وكيل المستخدم: *
عدم السماح: / البحث
السماح: /
ملف Sitemap: http://example.blogspot.com/feeds/posts/default؟orderby=UPDATED
تفسير
ينقسم هذا الرمز إلى ثلاثة أقسام. دعنا أولاً ندرس كل منهم بعد ذلك سنتعلم كيفية إضافة ملف robots.txt مخصص في مدونات blogspot.
وكيل المستخدم: Mediapartners-Google
هذا الرمز مخصص لروبوتات Google Adsense التي تساعدهم على تقديم إعلانات أفضل على مدونتك. إما أن تستخدم Google Adsense على مدونتك أو لا تتركها ببساطة كما هي.
وكيل المستخدم: *
هذا لجميع الروبوتات التي تحمل علامة النجمة (*). في الإعدادات الافتراضية ، يتم تقييد ارتباطات تسميات المدونة الخاصة بنا بالفهرسة بواسطة برامج زحف البحث ، مما يعني أن برامج زحف الويب لن تقوم بفهرسة روابط صفحات التسميات الخاصة بنا بسبب الكود أدناه.
عدم السماح: / البحث
هذا يعني أنه سيتم تجاهل الروابط التي تحتوي على البحث عن الكلمات الرئيسية بعد اسم النطاق مباشرة. انظر أدناه مثال وهو رابط لصفحة التسمية المسمى SEO.
http://www.bloggertipstricks.com/ search / label / SEO
وإذا أزلنا Disallow: / search من الكود أعلاه ، فستقوم برامج الزحف بالوصول إلى مدونتنا بأكملها لفهرسة وتصفح جميع محتوياتها وصفحات الويب الخاصة بها.
اسمح هنا : / يشير إلى الصفحة الرئيسية مما يعني أن برامج زحف الويب يمكنها الزحف إلى صفحة مدونتنا الرئيسية وفهرستها.
عدم السماح بنشر خاص
لنفترض الآن إذا كنا نريد استبعاد منشور معين من الفهرسة ، فيمكننا حينئذٍ إضافة سطور أدناه في الكود.
عدم السماح: / yyyy/mm/post-url.html
يشير yyyy و mm هنا إلى سنة النشر وشهر النشر على التوالي. على سبيل المثال ، إذا قمنا بنشر منشور في عام 2013 في شهر مارس ، فعلينا استخدام التنسيق أدناه.
Disallow: /2013/03/post-url.html
لتسهيل هذه المهمة ، يمكنك ببساطة نسخ عنوان URL المنشور وإزالة اسم المدونة من البداية.
عدم السماح صفحة خاصة
إذا احتجنا إلى عدم السماح بصفحة معينة ، فيمكننا استخدام نفس الطريقة المذكورة أعلاه. ما عليك سوى نسخ عنوان URL للصفحة وإزالة عنوان المدونة منه والذي سيبدو كما يلي:
عدم السماح: /p/page-url.html
ملف Sitemap: http://example.blogspot.com/feeds/posts/default؟orderby=UPDATED
يشير هذا الرمز إلى خريطة موقع مدونتنا. عن طريق إضافة رابط ملف Sitemap هنا ، نقوم ببساطة بتحسين معدل الزحف إلى مدونتنا.
يعني عندما تقوم برامج الزحف على الإنترنت بفحص ملف robots.txt الخاص بنا ، فإنها ستجد طريقًا إلى خريطة الموقع الخاصة بنا حيث توجد جميع روابط منشوراتنا المنشورة.
سوف تجد برامج زحف الويب سهولة الزحف إلى جميع منشوراتنا.
وبالتالي ، هناك فرص أفضل في أن تقوم برامج زحف الويب بالزحف إلى جميع منشورات المدونة الخاصة بنا دون تجاهل واحدة.
ملاحظة : لن يخبر ملف Sitemap هذا برامج زحف الويب إلا عن آخر 25 مشاركة. إذا كنت ترغب في زيادة عدد الوصلات في ملف Sitemap الخاص بك ، فاستبدل خريطة الموقع الافتراضية أدناه. وسوف تعمل لأول 500 وظيفة الأخيرة.
ملف Sitemap: http://example.blogspot.com/atom.xml؟redirect=false&start-index=1&max-results=500
إذا كان لديك أكثر من 500 منشور منشور في مدونتك ، فيمكنك استخدام ملفي خريطة موقع كما يلي:
ملف Sitemap: http://example.blogspot.com/atom.xml؟redirect=false&start-index=1&max-results=500
ملف Sitemap: http://example.blogspot.com/atom.xml؟redirect=false&start-index=500&max-results=1000
ملف Sitemap: http://example.blogspot.com/atom.xml؟redirect=false&start-index=500&max-results=1000
مضيفا Robots.Txt مخصص إلى Blogger
الآن الجزء الرئيسي من هذا البرنامج التعليمي هو كيفية إضافة ملف robots.txt مخصص في Blogger. حتى أدناه هي خطوات لإضافته.
- انتقل إلى مدونتك الإلكترونية.
- انتقل إلى الإعدادات >> تفضيلات البحث ›› برامج الزحف والفهرسة ›› Custom robots.txt ›› تحرير ›› نعم
- الآن قم بلصق رمز ملف robots.txt في المربع.
- انقر على زر حفظ التغييرات.
- انتهيت!
كيفية التحقق من ملف Robots.txt الخاص بك؟
يمكنك التحقق من هذا الملف في مدونتك عن طريق إضافة /robots.txt في نهاية عنوان URL لمدونتك في متصفح الويب. فمثلا:
http://www.yourblogurl.blogspot.com/ robots.txt
بمجرد زيارة عنوان URL الخاص بملف robots.txt ، سترى الرمز بالكامل الذي تستخدمه في ملف robots.txt المخصص الخاص بك.
انظر أدناه الصورة.
الكلمات الأخيرة!
كان هذا هو البرنامج التعليمي الكامل اليوم حول كيفية إضافة ملف robots.txt مخصص في Blogger .
حاولت قصارى جهدي لجعل هذا البرنامج التعليمي بسيطًا ومفيدًا قدر الإمكان. ولكن لا يزال إذا كان لديك أي شك أو استفسار ، فلا تتردد في أن تسألني في قسم التعليقات أدناه.
تأكد من عدم وضع أي رمز في إعدادات ملف robots.txt المخصصة لديك دون معرفة ذلك. ببساطة اطلب مني حل استفساراتك. سأخبرك بكل شيء بالتفصيل.
شكرا يا شباب لقراءة هذا البرنامج التعليمي. إذا كنت ترغب في ذلك ، فالرجاء تقديم الدعم لي لنشر كلماتي من خلال مشاركة هذا المنشور على ملفات التعريف الخاصة بالوسائط الاجتماعية المشاكس للمعلوميات
