जब हम अपने ब्लॉग में regular posts डालते रहते हैं तो धीरे धीरे search engine में भी index होने लगता है. अगर हम अपने site को search console में submit कर देते हैं तो इससे search engine को crawl करने में आसानी होती है. आपको पता होगा कि हमारे site में कुछ ऐसे URLs होते हैं, जिसे search engine में index नही करने देना चाहिए. By default, हमारे ब्लॉग के Category and Tags तो search engine में index होते हैं और यह index होना better नही होता है. इसीलिए हम इस post में बताने वाले हैं कि Category और Tag को search engine में index होने से कैसे रोके।

जब हम search console में अपने ब्लॉग की sitemap को submit करते हैं तो search engine इसे crawl करना start करता है और यह हमारे ब्लॉग के सभी URLs को crawl करता है और उसे index करता है. अगर हमें ब्लॉग के किसी page या URL को index नही करना है तो इसके लिए हमें robot.txt द्वारा उसे block करना होगा. इसके बाद Google इसे अपने search results में index नही करेगा।

हमें अपने ब्लॉग के Category, Tags, Archives को search engine में index नही कराना चाहिए. search engine में only content और कुछ important page index करना ही better होता है. क्योंकि जब हमारे site की सभी URLs search engine में index होने लगता है. जब user search करता है तो result में category, tag और unless post आने लगता है और इससे वो user हमारे ब्लॉग को ignore करना start कर देता है. इससे हमारे ब्लॉग की search engine से value कम हो जाती है।

आपको पता ही होगा कि पिछले year गूगल ने बहुत सारी sites को penalize किया है और recently, Google Panda update भी हुआ है और इससे बहुत सारी sites की traffic में गिरावट आयी. अभी Google अपने आप को ज्यादा बेहतर बनाने के लिए लगातार changes कर रहे हैं. अब spammers और fraud की खैर नही होगी. Penalization का मतलब होता है कि low quality content को search engine से हटाना। हमारे ब्लॉग में आप सोच सकते हो कि low quality तो Remove Category and tags , author and monthly archives ही होता है. इसीलिए इसको search engine में index होने से रोकना चाहिए।

आप किसी भी popular site के बारे में search करेंगे तो वहाँ आपको उस site की category या tag नही index होगा. क्योंकि उस ब्लॉग के owner को पता होता है कि search engine में इन्हें index करके कोई फायदा नही है और इससे हमें नुकसान ही होता है. इसीलिए हम आपको इस post में जो बताने वाले हैं वो आपके लिए बहुत important है।

Indexed Category और Tags को Search engine से remove क्यो करें?

मेने आपको ऊपर ही सभी main point बात दिया है और आशा करता हूँ कि आप थोड़ा बहुत समझ भी गए होंगे। In my case, जब मैने अपना ब्लॉग बनाया था तो में भी इसके बारे में ज्यादा ध्यान नही देता था. में ये सोचता था कि इससे कोई भी impact नही पड़ेगा और ध्यान नही दिया लेकिन जब 1 month बाद मेने Google में Indexed URLs check किया। [site:www.blogginghindi.com] उसके बाद वहाँ result में 200+ URLs बता रहा था और मेरे ब्लॉग में only 60 posts था. उसमें मेरे ब्लॉग की category और tag भी index हो रहा था. उसके बाद मेने इसके बारे में search करके इसके बारे में पता किया. इससे हमारे ब्लॉग की page rank कम होती है, इससे duplicate content issue होता है और भी बहुत से SEO problem होती है।

Category, Tags को Search Engine से Remove कैसे करे?

अब हम आपको नीचे में बता रहे हैं कि अपने site की category, tag को search engine में index होने से कैसे रोके। अगर आप जानना चाहते हो तो आपके site की category, tag search engine में index हो रही है या नही तो इसके लिए Google में जाइये और ये search करे।

Example:

• www.yourdomain.com/tag/
• www.yourdomain.com/category/

यहाँ yourdomain.com के जगह में अपने site का domain add करें और search करें. यहाँ पर आपके site की category और tag index होगी। अगर index नही हो तो इसका मतलब आपके site की category, tag index नही हो रही है तो आपको नीचे steps को follow करने की जरूरत नही है।

Method 1:― Yoast SEO Plugin

अगर आप अपने WordPress ब्लॉग में Yoast SEO plugin को use करते हो तो आप इसको सही से setting करके अपने ब्लॉग की taxonomies को search engine में index होने से रोक सकते हो.
लगभग wordpress user अपने ब्लॉग की SEO के लिए Yoast SEO को ही use करते हैं और अगर आप भी इसको use करते हैं तो आप आसानी से इसको setup करके useless URLs को index होने से बचा सकते हो।

अगर आपने अभी तक अपने ब्लॉग में Yoast SEO plugin install नही किया है तो इसे install कर लीजिए और Dashboard » SEO » Titles & Metas में जाएँ. अब उसके बाद Taxonomies की टैब पर Click करें. उसके बाद Categories के नीचे Meta Robot में noindex select करें और Tags के नीचे Meta Robot में noindex को select करें। Save कर दीजिए।

Method 2:― With Robot.txt

अगर आप plugin से नही तो manually भी अपने site के category , tags को noindenx कर सकते हो. इसके लिए आपको अपने wordpress ब्लॉग के Robot.txt file में एक simple code add करना होगा। उसके बाद search engine आपके site की category और tags को index नही करेंगे।

आपको ये पता होगा कि Google crawler किसी site को index करते समय सबसे पहले उसके robot.txt file check करता है और उसके according ही content को index करता है. Blog/Website के किस content को index करना है और किसे नही करना है, यह robot.txt में होता है. अगर site के किसी content को search engine से hide करना है तो इसके लिए robot.txt द्वारा block करना पड़ता है।

अब हम बात करते हैं कि wordpress site के category, tags को noindex कैसे करें. इसके लिए आपको नीचे दिए गए code को copy करना है।

User-agent:*
Disallow: /category/
Disallow: /tag/

अब इस code को अपने ब्लॉग के robot.txt file में add करना होगा. इसके लिए आप cPanel में login करके cPanel » File Manager » public_html » robot.txt को select करके edit करें और उसमें copy किये हुए code add करके save कर दीजिए।

जब आप इन दोनों में से किसी एक process को follow करेंगे तो उसके बाद धीरे धीरे search engine से आपके site की category, tag index करना बंद हो जाएगा. एक बात बता देना चाहता हूं कि आपके ब्लॉग की सभी categories और tags remove होने में 1 महीना भी लग सकता है, इसीलिए घबराये नही। इस post से सम्बंधित किसी भी सवाल के लिए comment करें. अगर आप हमारे ब्लॉग की latest update अपने email में प्राप्त करना चाहते हैं तो हमारे ब्लॉग से अभी join करें।

Share this post with your friends on Social media.