كيفية إضافة ملف Robots.txt مخصص لمدونات بلوجر، شرح طريقة عمل ملف robots.txt مخصص لمدونات بلوجر ،إنشاء ملف robots.txt لمدونات بلوجر ،شرح كيفية إضافة ملف Robots.txt مخصص لمدونات بلوجر ،ملف robot.txt جاهز لمدونات بلوجر بدون اخطاء ،أفضل ملف روبوتس جاهز لمدونات بلوجر 2019 ،ملف robots.txt بلوجر 2019.
Robots.txt هو ملف نصي الغرض منه التحكم فى حركة روبوتات البحث والتى ترد لمدونتك من خلال محركات البحث والتى تقوم بفهرسة مواضيع مدونتك مثل جوجل أو بينج أو خلافه ، حيث يمكنك من خلال بعض الأوامر البسيطه التى تقوم بكتابتها بملف الروبوتس التحكم فى كل شىء بمدونتك بخصوص الروابط التي لا يجب تضمينها في نتائج البحث. يعني ذلك أنه يمكنك تقييد برامج روبوت محرك البحث للزحف إلى بعض الصفحات أو المواضيع بمدونتك.والان تعالوا سويا لنفهم ملف robots.txt من البدايه وشرح أوامره وكيفية كتابته وفهم أوامره:-
اولا : ملف robots.txt الافتراضى فى مدونات بلوجر هو على الشكل التالى :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://yyyyyyyyy/sitemap.xmlولكن ماهى تلك الأوامر ومافائدتها ؟أولا: User-agent: Mediapartners-Google
وهذا هو البوت الخاص بجوجل ادسنس وهو قيمه ثابته فى كل المدونات أو المواقع التى تستخدم اعلانات جوجل ادسنس.
ثانيا : Disallow:
وهي تعنى السماح لروبوت جوجل ادسنس بإستكشاف الصفحات والاطلاع عليها لعرض اعلانات متوافقه مع محتوى موقعك أو مدونتك.
ثالثا : User-agent: *
وهو أمر كل روبوتات البحث جوجل ،بينج ، ......الخ طالما ينتهى بعلامة " * " النجمه ، اما لو حذفت النجمه فأنت مضطر بأن تذكر كل روبوت لوحده ،مثل روبوت جوجل User-agent: googlebot أو روبوت تويتر مثلا User-agent: Twitterbot وكل روبوت حينها مضطر أن تضع تحته مجموعة الأوامر بالسماح والرفض لمحتويات موقعك للإطلاع عليه وفهرسته.
رابعا : Allow: /
وهي تعني السماح بالفهرسة ويتم استخدام هذا الأمر فى حالة استخدامك المنع لأجزاء من صفحات او مواضيع مدونتك ثم بعدها تعطى الأمر بالسماح بالباقى .
خامسا : Disallow: /search
وهى تعنى منع روابط البحث search
سادسا : Sitemap: https://www.----- .com/sitemap.xml
وهي الخريطة التي تحتوي على روابط المواضيع لموقعك حيث https://www.----- .com/ هو رابط موقعك .
والان لنتفهم أكثر لتلك الأوامر لكى تستطيع بنقسك كتابة ملف الروبوتس الخاص بمدونتك اذا كنت تريد ارشقة مواضيع دون غيرها او منع صفحات الارشيف والبحث وكذلك صفحات الأقسام من الارشفه وذلك لتفادى المحتوى المكرر من الويب ماستر فى جوجل .
فمثلا شاهد تلك الأوامر وحاول أن تفهمها لأننى سأبسطها لك :
وهذا الأمر معناه عدم أرشقة موقعى تماما من كل محركات البحث.
User-agent: *
Disallow: /
وهذا الأمر معناه السماح لكل محركات البحث بأرشفة موقعى دون أى قيود
User-agent: *
Disallow:
وهذا الأمر معناه عدم السماح لروبوت جوجل بفهرسة موقعى
User-agent: Googlebot
Disallow: /
وهذا الأمر معناه السماح لروبوت جوجل بفهرسة موقعى دون أى قيود
User-agent: Googlebot
Disallow:
وهذا الأمر معناه السماح لروبوت جوجل بفهرسة موقعى ماعدا مجلد admin أو أى رابط يبدأ بكلمة admin.
User-agent: Googlebot
Disallow: /admin
وهذا الأمر معناه السماح لروبوت جوجل بفهرسة موقعى ماعدا مجلد admin و photos أو أى رابط يبدأ بكلمة admin أو photos.
User-agent: Googlebot
Disallow: /admin
Disallow: /photos
والان لابد أن نتعرف على كتابة أوامر القيد أى المنع وأوامر السماح واضافة ملف الروبوتس المعدل او المخصص لجوجل ويب ماستر ( أدوات مشرفى المواقع ).
عند كتابة تلك الأوامر لابدان تعرف أين تضع أمر القيد أو المنع Disallow: / وأمر السماح او الاستثناء Allow: / ... شاهد الصوره التاليه لتعرف أين توضع تلك الأوامر :
شرح عمل ملف robots مخصص لمدونات بلوجر 2019
1- اذا اردت أن تمنع أقسام المدونه من الظهور فى نتائج البحث فعليك بكتابة الامر هكذاDisallow: /search/label/ أو هكذا Disallow: /search
وقم بإختبار الرابط عبر جوجل ويب ماستر لموقعك كما بالصوره التاليه :
2- اذا اردت ان تمنع الصفحات من الارشفه مثل سياسة الخصوصيه أو اتصل بنا ...الخ ،فيتم كتابة الأمر هكذا
Disallow: /p/ وأختبر أى صفحه وطالما يعطى محظور فأنت تسير بطريقه صحيحه .3-اذا اردت ان تمنع روابط الموضوعات والتى تنتهى هكذا .html?m=1 وهى روابط الموضوعات والتى تظهر عبر الجوال أو الموبايل فهى تعتبر محتوى مكرر لايجوز أرشفة الموضوع برابطين وهنا يجب عليك حظر الرابط عبر ملف الروبوتس ويتم عبر الأمر التالى :
Disallow: /2019/*.html?m=1
كمثال على تلك الروابط شاهد الأتى :-
https://www.seo-blogger.info/2019/03/how-to-add-anti-adblock-script-for-blogger-2019.html?m=1
https://www.seo-blogger.info/2019/03/how-to-add-anti-adblock-script-for-blogger-2019.html
لو وضعت هذين الرابطين فى متصفحك فسيعطيك نفس النتيجه ،وبالتالى انت مطالب برابط واحد تسمح بأرشفته لكى تمنع المحتوى المكرر لديك.
ولكن هذا الأمر وحده يوقف كافة روابط المدونه التى تنتهى بــ .html ،وهنا يجب عليك السماح بكافة الروابط التى تنتهى بــ .html عبر الأمر التالى :
Allow: /2019/*.html
أى انك سمحت لكافة الروابط للموضوعات والتى تنتهى بــ .html وبالطبع كرر هذا الأمر بملف الروبوتس لكافة سنوات مدونتك كما تلاحظه فى ملف الروبوتس الخاص بمدونتى ،أى تمنع سنوات للجوال وتمنح نفس السنوات وذلك لروابط الموضوعات بمدونتك.
Disallow: /2019/*.html?m=1
3- صفحات الجوال تنتهى ايضا بــ ?m=0 وهنا يجب عليك منع الصفحه الرئيسيه لموقعك من الظهور بهذا الرابط وذلك عبر الأمر التالى
Disallow: /?m=0والسماح للرئسيه بالظهور فى بحث الجوال عبر اضافة الأمر التالى
Allow: /?m=1
وأنا أخترت لكم ملف robots.txt والخاص بمدونتى ويمكنك الحصول عليه من خلال رابط مدونتى التالى وتغيير مايلزم من الروابط واستبدال رابط مدونتى بمدونتك :-
https://www.seo-blogger.info/robots.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/privacy-policy.html
Disallow: /p/terms-and-conditions.html
Disallow: /p/contact-us.html
Disallow: /p/about-us.html
Disallow: /search
Disallow: /2019/*.html?m=1
Disallow: /2018/*.html?m=1
Disallow: /2017/*.html?m=1
Disallow: /2019/*.html?m=0
Disallow: /2018/*.html?m=0
Disallow: /2017/*.html?m=0
Disallow: /?m=0
Disallow: /*archive.html
Disallow: /2019
Disallow: /2018
Disallow: /2017
Allow: /
Allow: /2019/*.html
Allow: /2018/*.html
Allow: /2017/*.html
Allow: /?m=1
Sitemap:https://www.seo-blogger.info/atom.xml?redirect=false&start-index=1&max-results=500
كيف يمكن تخصيص ملف robots.txt ووضعه بمدونتك من خلال لوحة تحكم بلوجر بدلا من ملف الروبوتس الافتراضى؟
يتم ذلك عبر الخطوات التاليه :من لوحة تحكم مدونتك إضغط على إعدادات --- تفضيلات البحث --- من خلال ملف robots.txt مخصص اضغط على خانة تعديل ... شاهد الصوره التاليه
ثم ضع ملف الروبوتس المخصص الذى وضعته لكم بالأعلى وغير مايلزم بخصوص رابط مدونتك أو مسميات الأقسام والصفحات .
اتمنى أن أكون وفقت فى الشرح وسأوالى هذا الموضوع بكل اضافه جديده اراها مكمله له .
مودتى لكم