مقدمة عن ملف robots.txt
يحدد ملف robots.txt عناوين URL التي يمكن لبرامج زحف محركات البحث الوصول إليها على موقع الويب الخاص بك. غالبًا ما تُستخدم هذه المعلومات لتجنب إثقال موقع الويب الخاص بك بطلبات الزحف ، وهي ليست آلية لإخفاء صفحة ويب من نتائج بحث Google. إذا كنت تريد إخفاء صفحة ويب من نتائج بحث Google ، فيجب عليك حظر الفهرسة بعلامة noindex أو حماية الصفحة بكلمة مرور.
ماهو الغرض من إستخدام robots.txt
يُستخدم ملف robots.txt بشكل أساسي لإدارة حركة مرور الزاحف إلى موقع الويب الخاص بك ، وعادةً ما يُستخدم لإخفاء ملف من نتائج بحث Google ، بناءً على نوع الملف:
تأثير Robots.txt على أنواع الملفات المختلفة
صفحة ويب
يمكنك استخدام ملف robots.txt لصفحات الويب (بتنسيق HTML أو PDF أو أي تنسيق آخر ليس تنسيق وسائط ويمكن لـ Google قراءته) لإدارة حركة مرور الزحف إذا كنت تعتقد أن الخادم سيكون مثقلًا بطلبات من زاحف Google ، أو لتجنب الزحف إلى صفحات غير مهمة أو مشابهة على موقع الويب الخاص بك.
ملف وسائط
ملف الموارد
يمكنك استخدام ملف robots.txt لحظر ملفات الموارد ، مثل الصور غير المرغوب فيها أو البرامج النصية أو ملفات الأنماط ، إذا كنت تعتقد أن الصفحات التي تم تحميلها بدون هذه الموارد ستكون أقل تأثراً بعدم ظهورها عليها. لا تحظر هذه الموارد إذا كان عدم توفرها يجعل من الصعب على زاحف Google فهم محتوى الصفحة ، وإلا فلن تتمكن Google من تحليل صفحاتك التي تعتمد على هذه الموارد بشكل صحيح.
ما هي وظائف ملف robots.txt؟
في ملف robots.txt ، نعلن وظائف وكيل المستخدم والسماح وعدم السماح وخريطة الموقع لمحركات البحث مثل Google و Bing و Yandex وما إلى ذلك. دعنا نفهم معنى كل هذه المصطلحات.
عادةً ما نستخدم علامات bot الوصفية لجميع محركات البحث التي تزحف إلى برامج الروبوت لفهرسة منشورات المدونة والصفحات عبر الويب. ولكن إذا كنت ترغب في حفظ ميزانية الزحف ، فقم بحظر روبوتات محرك البحث في بعض أقسام موقع الويب ، ثم يتعين عليك فهم ملف robots.txt الخاص بالمدون.
قم بإنشاء ملف robots.txt مثالي لمدونة Blogger
لقد فهمنا كيف يؤدي ملف robots.txt وظيفته افتراضيًا في مدونة Blogger. لنقم بتحسينه من أجل تحسين محركات البحث.
يقوم ملف robots.txt الافتراضي للقيام بالأرشفة و الفهرسة التي تسبب مشكلة المحتوى المنسوخ. يمكننا منع مشكلة المحتوى المكرر عن طريق منع برامج الروبوت من الزحف إلى قسم الأرشيف. لهذا ، يجب علينا تطبيق قاعدة Disallow / 20 * في ملف robots.txt. لكن هذه القاعدة ستوقف الزحف إلى الصفحات. لتجنب ذلك ، يتعين علينا تنفيذ قاعدة سماح جديدة لقسم /*.html تسمح للبوتات بالزحف إلى المنشورات والصفحات.
تتضمن خريطة الموقع الافتراضية منشورات وليست صفحات. لذلك عليك إضافة خريطة موقع للصفحات الموجودة أسفل.
https://example.blogspot.com/sitemap-pages.xml
أو
https://www.example.com/sitemap-pages.xml للمجال المخصص ، لذلك سيبدو ملف robots.txt المثالي الجديد لمدونة blogger بهذا الشكل.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search*
Disallow: /20*
Allow: /*.html
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xmlلتحميل الملفات اعلاه من ميديا فاير إنقر هنا
يجب عليك استبدال المثال بنطاق blogger أو اسم المجال المخصص.
الملف أعلاه هو أفضل ممارسة لملف robots.txt وكذلك لتحسين محركات البحث. سيؤدي هذا إلى حفظ ميزانية الزحف لموقعك على الويب ومساعدة مدونتك على Blogger في الظهور في نتائج البحث. إلى جانب كتابة محتوى صديق لمحركات البحث في نتائج البحث.
كيفية تحرير ملف robots.txt في مدونة بلوجر؟
يوجد ملف Robots.txt دائمًا في المستوى الجذر لأي موقع ويب. ولكن في Blogger ، لا يوجد وصول إلى الجذر ، فكيف يتم تعديل ملف robots.txt هذا؟
يوفر Blogger جميع إعدادات ملف الجذر في إعداداته مثل ملفات robots.txt و ads.txt. يجب عليك تسجيل الدخول إلى حساب المدون الخاص بك وتحرير ملف robots.txt.
1. انتقل إلى Blogger Dashboard وانقر على خيار الإعدادات.
2. قم بالنزول لأسفل إلى قسم برامج والفهرسة الزحف .
3. قم بتمكين ملف robots.txt المخصص عبر زر التبديل.
4. انقر فوق ملف robots.txt المخصص ، وستفتح نافذة لصق ملف robots.txt أعلاه وحفظ الملف.
بعد تحديث ملف robots.txt المخصص ، تحقق من ذلك من خلال زيارة www.example.com/robots.txt
لا تنس استبدال www.example.com بعنوان المجال الخاص بك.
