WordPress or Blogger blog me Robots.txt file ko add kaise kare

Site owner अपने कुछ Pages और post को छिपाने के लिए Robots.txt file का युस करते हे और हम इन्हें Robots Exclusion Protocol कहते हे आमतोर पर ये एक plain text की फाइल हे जिनका युस करके हम अपनी private चीज़े को search engine से छुपा सकते हे और आपने इसे कई बार try भी किया होगा  blog पे add करने के लिए लेकिन error show होने के वजह से आप इन्हें add नहीं कर पा रहे होगे और आप सही तरीके से blog पर robot.txt फाइल को add करना चाहते हे तो हम आज के इस article में आपको बताने  हे की WordPress or Blogger blog me Robots.txt file ko add kaise kare.

Wordpress or Blogger blog me Robots.txt file ko add kaise kare

इनका युस हमे blog में करना ही चाहिए और Google भी हमे blog में robot.txt फाइल को add करने के लिए suggest करता हे search engine के spider जिन्हें हम “Web robot” कहते हे ये spider हमारे robot text फाइल को read करके command follow करते हे जो भी pages को हमने robot.txt फाइल को index करने के लिए कहा हे वो directly google के web robots को बताता हे की इस blog पर आप सिर्फ यही Pages और post को index कर सकते हे तो इनसे google के web robots सिर्फ वोही Pages और post को index करेगा जो आपने robots.txt को बताया हे।

How does it robot.txt file work

Robots.txt file जो command को follow करता हे वो  “allow” and “disallow” हे अगर आपने एक भी pages में disallow का कमांड add कर दिया तो google के web robot उस पेज को index नहीं करेगा और अगर आप चाहे तो इन्हें अपनी website का  bodyguard भी कह सकते है क्यों की ये हमारी blog या website के privacy की security करता हे और कुछ एसे command हे जो आपको निचे बताये गए है।

सबसे पहले आप इस कोड को copy कर लीजिये बाद में आपको अपने blog के robot.txt file में इस कोड को add करने होगे और इन मेसे आपको www.cancrash.com की जगह अपनी website का url add करना हे।

User-agent: Mediapartners-Google
Disallow:
User-agent:
Disallow: /search
Allow: /
Sitemap:https://www.cancrash.com/sitemap.xml’

1. Allow

इनका का युस करके आप जो भी pages और post को search engine में index करना चाहते हे उन्हें आसानी से show कर सकते हे।

2. Disallow

इनका युस करके आप search engine में जो post और  page को hide करना चाहते हे उन्हें आप easily search engine से hide कर सकते हे।

3. User- agent: Media partners – Google

ये एक Google adsense robot के कोड हे अगर आप अपने blog पर Adsense के कोड युस करते हे तो आप इन्हें युस करके Google adsense के कोड search engine से छुपा सकते हे।

4. User- agent

इनका युस आपके user के लिए हे आपके user आपके blog पर क्या-क्या देख सकता हे और क्या नहीं और इन्हें आप Disallow ही रहने दीजिये।

5. Disallow: /search

इस option को आप not allow ही रहने दीजिये ताकि google bots इस देख ना सके और future में आप इसमें अपने Page और post के url add करना चाहते हे तो आप कर सकते है।

6. Sitemap

Sitemap बहुत ही important हे इन्हें आप Robots.txt file में ज़रूर add करे इनकी मदद से google आपके post and pages को आसानी से समज के index कर पायेगा और आपको पता ही होगा की sitemap में वो हर एक post and pages की link होती हे जो आप google को show करना चाहते हे।

और आपने  blog के लिए sitemap नहीं बनाया हे तो आप इस article को read कीजिये Blog ke liye sitemap kaise banaye – Full Guide in Hindi इसमें आपको sitemap बनाने की पूरी detail हिंदी में दी गई हे।

WordPress or Blogger blog me Robots.txt file ko kaise add kare

अब आपको ये तो पता चल ही गया होगा की robot.txt वर्क कैसे करता हे और उनके कोड को कैसे युस करे लेकीन अब जो हमारा main point हे की इन्हें हम अपने blog में add कैसे करे तो चलिए जानते हे, सबसे पहले हम blogger में robot.txt file को add करेगे और बाद में wordpress पर इन्हें add करेगे।

Step 1: Go to Blogger & Login

Go to Blogger & Login

  1. Blogger login होने के बाद आप Setting>>Search preferences पर click करे।
  2. Now click right side on “Edit”

Step 2: Copy the code and put it into the box

Copy the code and put it into the box

  1. सबसे पहले आप Yes पर click कर दीजिये।
  2. फिर आपको जो ऊपर कोड दिए गए हे उन्हें copy कर के इस box में past कर दीजिये।
  3. और last में Save changes पर click कर दीजिये।

अब आपके blogger blog में robot.txt file add हो गई हे और अभी आप चैक कर सकते हे तो अब हम wordpress पर चले जाते हे और उसमे robot.txt file को add करते हे।

WordPress me robot.txt file ko add kaise kare

wordpress में robot.txt file को add करना बहुत ही simple हे add करने के लिए आपको wordpress पर Yoast SEO plugin को install करना पड़ेगा और साथ में निचे दिए गए स्टेप को step by step follow करना हे।

Step 1: Go to WordPress dashboard

Wordpress me robot.txt file ko add kaise kare

  1. सबसे पहले आप yoast seo plugin में Tools के option पर click करे।
  2. Tools पर click करने के बाद right side में File editor पर click करे।

Step 3: Copy the code and put it into the box

Copy the code and put it into the box

  1. wordpress के लिए आपको निचे कोड दिए गए हे उन्हें copy कर लीजिये।
  2. कोड copy करने के बाद इस box के अन्दर past करे।
  3. और last में “Save changes to robots.txt” पर click कर दीजिये।
User-agent: *
Disallow: /wp-admin/
Disallow: /cgi-bin/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /xmlrpc.php
Allow: /wp-admin/admin-ajax.php
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://www.cancrash.com/sitemap.xml

Upar diye gaye code ka matlab kya hai

अगर आप जानना चाहते हे की ये सब कोड का  मतलब क्या हे तो आपको निचे इन सब कोड के बारे में जानकारी दी गई हे और इनमे से कुछ कोड ऐसे भी हे जिनकी जानकारी में पहले से ऊपर के कुछ points में बता चूका हु।

cgi-bin ,trackback और xmlrpc.php यह कोड को आप disallow ही रहने दीजिये क्यों की हम अपने blog की वो सब चीज़े को index करना चाहते हे जो user के लिए हो तो आप इन्हें disallow ही रहने दीजिये और साथ में आप comments feed को भी Disallow कर दीजिये क्यों की ये दोनों user के लिए नहीं है।

1. Disallow: /wp-admin/

इनका युस हम करते हे सिर्फ wordpress के dashboard में login होने के लिए तो जाहिर सा हे के ये user के लिए कुछ भी काम का नहीं हे तो इन्हें आप disallow ही रहने दीजिये।

2. /wp-admin/admin-ajax.php

यह कोड को आप allow ही रहने दीजिये और इन्हें disallow करने से Web robots को आपके blog को index करने में problem होगी तो आप इन्हें allow ही रहने दीजिये।

3. User-agent: Googlebot-Image
Allow: /wp-content/uploads/ – यह code को आप  allow ही रहने दीजिये इन्हें disallow करने से आपके blog post के image google के search engine में show नहो होगे।
4. User-agent: Adsbot-Google
ये command का युस ज्यादातर Google adword के लिए होता हे तो इन्हें allow ही रहने दीजिये।

5.User-agent: Googlebot-Mobile

कोई भी content हो या blog हो इन सभी के search ज्यादातर Mobile device में होते हे अगर आपके blog पर mobile user ज्यादा हे तो आप इन्हें allow ही रहने दीजिये इनसे आपकी Website को Google bots mobile devises  में आसानी से crawling कर पायेगा।

So friends अब robot.txt file को हम अपने Google search console में add करेगे तो चलिए जानते हे।

Robot.txt file ko Google search console me kaise add kare

WordPress और blogger के robot.txt file को search engine में add करने के लिए दोनों के same ही step हे सिर्फ आप इन्हें step by step follow कीजिये।

Step 1: Go to Webmaster tools

Go to webmaster tools

  1. Webmaster tools जाने के बाद आप Crawl  पर click करे।
  2. अब आप robots.txt Tester पर click करे।
  3. Right side में एक box होगा वहा robots.txt file को add कीजिये।
  4. Test पर click करके chack कर लीजिये अगर कोई error होगी तो show हो जाएगी।
  5. File को test करने के बाद Submit पर click करे।

जेसे ही आप Submit के button पर click करेगे तो आपके सामने फिर से एक New windo open हो जायेगा जिसमे आपको फिर से एक बार Submit पर click करना पड़ेगा।

Click on submit

अब finally आपके blog के  robots.txt file Google के search console में add हो गई हे अगर आप चाहे तो अपने blog के पीछे /robot.txt करके search कर के chack कर सकते हे।

आसा करता हु की इन सब कोड को आप आसनी से समज गए होगे अगर भीर भी आपको इस coding के related और कोई issue आ रहा हे तो आप हमे comment में ज़रूर बताये और आप चाहे तो इस article को आप अपने social media पर share कर सकते हे।

 

About Me

Hey Guys Wellcome to the Can Crash I’ m Mayur Blogger from Dwarka It started this blog in 2018 and the only purpose of this blog is that it will be available only by reading a new article in Can Crash, which will help you with the need people including SEO, affiliate marketing, blogs, technology. Subject, you will find a new article daily, technical tips, WordPress.

Recent Posts

Author by : Mayur Chanpa

Author by : Mayur Chanpa

Hey Guys Wellcome to the Can Crash I’ m Mayur Blogger from Dwarka It started this blog in 2018 and the only purpose of this blog is that it will be available only by reading a new article in Can Crash, which will help you with the need people including SEO, affiliate marketing, blogs, technology. Subject, you will find a new article daily, technical tips, WordPress.

Leave A Comment

Your email address will not be published. Required fields are marked *