Robots.txt File In Hindi जानिए क्या होती है और कैसे बनाते हैं

Robots.txt File In Hindi आज के इस आर्टिकल में हम जानेंगे कि Robots.txt फाइल क्या होती हैऔर इस फाइल के अंदर क्या-क्या चीज आती है यह फाइल हम कैसे बनाते हैंऔर इस फाइल को बनाने के लिए क्या हमें किसी tool की मदद चाहिए होती है या फिर इस फाइल को हम खुद ही बना लेते हैंऔर इस फाइल को बनाने से हमें क्या-क्या फायदे होते हैं इन सभी बातों को हम जानेंगे वह भी बहुत अच्छे से

अगर आपने कोई वेबसाइट बनाई है या फिर आप कोई वेबसाइट बनाने की सोच रही हो तो आपको एक बात ध्यान में रखनी है यह फाइल आपको बनानी ही पड़ेगी क्योंकि यह फाइल हर एक वेबसाइट के लिए बहुत ज्यादा जरूरी होती है क्योंकि इस फाइल को बनाने से ही गूगल को ये समझ में आता है कि आपकी वेबसाइट पर कौन-कौन से पेज गूगल को crawl करने हैं मतलब गूगल के Crawler को crawl करने हैं

Robots.txt In Hindi फाइल क्या है

Robots.txt File In Hindi जैसा आपको इस फाइल के नाम से ही पता चल रहा है यह फाइल हम गूगल के crawler के लिए बनाते हैं गूगल का crawler हमारी वेबसाइट पर जब आता है तो वह यह चीज चेक करता है कि आपकी वेबसाइट पर किन-किन पेज को crawl करना है इस फाइल के अंदर आप वह सारी इनफार्मेशन देते हो जिन पेज को आपको गूगल के अंदर इंडेक्स करवाना है और crawl करवाना हैऔर इसी फाइल के अंदरआप वह इनफॉरमेशन भी देते हो जिन pages को आपको crawl नहीं करवाना है या फिर इंडेक्स नहीं करवाना है तो यह एक बहुत जरूरी फाइल होती है हर एक वेबसाइट के लिए

Robots.txt के फायदे क्या है

अगर आप यह सोच रहे हो कि हम यह फाइल क्यों बनाते हैं इस फाइल को बनाने से क्या होता है क्या इससे हमें कुछ फायदा मिलता भी है या नहीं तो मैं आपको कुछ फायदे बताता हूं इस फाइल को बनाने के

Crawling Control

जब आप Robots.txt इस फाइल को बनाते हो तो आप इस फाइल के अंदर वह सारे Rules लिखते हो जो आपकोअपनी वेबसाइट पर करवाने हैं तो इस फाइल के अंदर आप कुछ ऐसे Rules भी लगा सकते हो जिससे आपके कुछ इंपॉर्टेंट पेज है जिनको आप Crawl नहीं करवाना चाहते तो वह पेज Crawl नहीं होते हैं इसका मतलब यह है कि सर्च इंजन में वह पेज आपके नहीं देखेंगे अगर आप उन पेजों को दिखाना नहीं चाहते सर्च रिजल्ट में तो उसकी सेटिंग आपको इसी फाइल के अंदर करनी होती है

SEO benefit

अगर आप इस फाइल को अपलोड करते हो तो आपको सर्च इंजन ऑप्टिमाइजेशन में भी बहुत ज्यादा हेल्प मिलती है क्योंकि जब आप इस फाइल को अपलोड कर देते हो तो गूगल के जो बोर्ड्स होते हैं वह इस फाइल को रीड करते हैं और इस फाइल के रूल के हिसाब से ही आपकी वेबसाइट पर क्राउलिंग होती हैऔर जब तक गूगल के bots आपके पेज की Crawling नहीं करते तब तक आपकी वेबसाइट गूगल में इंडेक्स नहीं होती है जिन पेज की क्राउलिंग हो जाती है उसी पेज को इंडेक्स किया जाता है

Crawl Budget

गूगल हर एक वेबसाइट को एक क्राउलिंग बजट देकर रखता है जिसके अंदर गूगल का bots हर वेबसाइट के ऊपर जाता है तो गूगल का bots यह ध्यान रखना है कि वह कितने पेज को crawl करेगा और कितना टाइम वह एक वेबसाइट के ऊपर

लगाएगाअगरआपके कुछ पेज ऐसे हैं जिनको आप सर्च इंजन में नहीं दिखाना चाहते तो उनको आप इस फाइल के अंदर Disallow कर सकते हो जिससे यह जो आपका क्राउलिंग टाइम है वह उन पेज के ऊपर लगेगा जो पेज आपके इंपॉर्टेंट पेज है फालतू के पेज को crawl करने का टाइम बच जाएगा

Crawling क्या है

Crawlling का मतलब होता है कि जब गूगल का कोई bots आपकी वेबसाइट पर आता है तो वह आपकी वेबसाइट पर जो भी पेज है उनको स्कैन कर सके उन पेज को समझ सके वह पेज किस बारे में है क्योंकि जब तक गूगल के bots को आपका पेज समझ में नहीं आएगा तो वह उसको अपने डेटाबेस में इंडेक्स नहीं कर पाएगा अच्छे से इसलिए जितने अच्छे से आपके पेज की Crawlling होगी उतना ही

अच्छे से आपका पेज इंडेक्स होगाऔर इसके बाद गूगल के बोर्ड्स को आपका पेज अच्छे से समझ में आ जाएगा वह पेज किस बारे में हैऔर जब भी उस पेज से रिलेटेड कोई भी व्यक्ति कहीं से भी search करेगा तो गूगल का बोर्ड्स आपके पेज को गूगल के रिजल्ट में दिखाएगा

Crawling के फायदे क्या है

आपके लिए क्रॉलिंग के फायदे जानना बहुत जरूरी है। अगर गूगल बॉट्स आपकी साइट को अच्छे से क्रॉल कर पाते हैं तो आपकी साइट गूगल में अच्छे से इंडेक्स होगी और गूगल आपकी साइट के स्ट्रक्चर को समझ पाएगा कि आपकी साइट में क्या-क्या जानकारी उपलब्ध है, जिसकी वजह से आपकी साइट की रैंकिंग भी अच्छी होती है क्योंकि जिस साइट को गूगल अच्छे से समझ लेता है, उस साइट को गूगल भी अच्छे से रैंक करता है।

Note: जब तक आपके पेज क्रॉल नहीं किए जाएंगे, तब तक वे पेज गूगल में इंडेक्स नहीं किए जाएंगे, इसलिए यदि आपका कोई पेज इंडेक्स नहीं हो रहा है, तो सबसे पहले यह जानना जरूरी है कि उन पेजों को क्रॉल किया गया है या नहीं।Robots.txt File In Hindi

Robots.txt file कैसे बनाते हैं (How to create robots.txt file)

Robots.txt File In Hindi मुझे पता है आप लोग यह जानने के लिए बहुत उत्साहित हैं कि robots.txt फ़ाइल कैसे बनाई जाती है, तो चलिए समझते हैं कि इस फ़ाइल को कैसे बनाया जाता है। इस फ़ाइल को बनाना बहुत ही आसान काम है, आपको बस यह काम करना है।

Open Notepad in your computer

इस फाइल को बनाने के लिए आपको अपने कंप्यूटर में नोटपैड खोलना होगा क्योंकि यह फाइल आपको खुद ही बनानी है, कोई और नहीं बनाता है। अगर आप इस फाइल को किसी टूल से बनाते हैं तो वह टूल इस फाइल में बहुत गड़बड़ कर सकता है, इसलिए इसे खुद ही बनाना बेहतर है।

Set Rules

नोटपैड ओपन करने के बाद यह नियम लगाने हैं कि कोनसे पेज आपकी साइट के इंडेक्स करने हैं या फिर क्रॉल करने हैं ये नियम आपको लगाना होता है अपने Robots.txt फाइल में कुछ पेज ऐसे होते हैं जिनको आप क्रॉल या फिर इंडेक्स नहीं करना चाहते हैं वह सभी नियम आपको इस फाइल में लगाने हैं

Save File name (robots.txt)

जब फ़ाइल पूरी हो जाए तो एक बात हमेशा याद रखें कि फ़ाइल को हमेशा robots.txt नाम से सेव करना चाहिए। अगर आप इसे किसी और नाम से सेव करके फ़ाइल अपलोड करते हैं तो हो सकता है कि आपकी फ़ाइल काम न करे क्योंकि अगर आप इसे robots.txt नाम से सेव करेंगे तभी गूगल bots आपकी साइट के पेजों को क्रॉल कर पाएंगे क्योंकि गूगल क्रॉलर सिर्फ़ robots.txt नाम वाली फ़ाइल को ही समझता है किसी और नाम को नहीं।

Robots.txt File Example

चलिए robots.txt फ़ाइल को एक उदाहरण से समझते हैं, इससे आपको यह और भी स्पष्ट हो जाएगा कि यह फ़ाइल किस तरह की है। मैं आपको अपनी खुद की वेबसाइट का उदाहरण दे रहा हूँ। मैंने भी अपनी वेबसाइट पर robots.txt फ़ाइल अपलोड की है।

तो ये है मेरी वेबसाइट की robots.txt फ़ाइल। मैंने इस फ़ाइल को नोटपैड में बनाया है। मैं आपको इस फ़ाइल में जो कुछ भी लिखा है उसे अच्छे से समझाता हूँ क्योंकि आपको भी अपनी वेबसाइट के लिए ऐसी ही फ़ाइल बनानी होगी। Robots.txt File In Hindi

1. User-agent:* आपको एक बात का ध्यान रखना है कि जब भी आप robots.txt फाइल बनाये तो आपको शुरुआत में ये लाइन रखनी है क्योंकि ये लाइन बताती है कि आप जो भी नियम लागू करने जा रहे है वो सभी सर्च इंजन (google, yahoo, bing) के लिए एक जैसे होंगे
2. Disallow: /wp-admin/ यह लाइन बताती है कि मैं अपने वर्डप्रेस एडमिन को क्रॉल करने की अनुमति नहीं दे रहा हूँ। मैं नहीं चाहता कि Google bots मेरे wp-admin को क्रॉल करें। अगर आप वर्डप्रेस का इस्तेमाल कर रहे हैं तो आपको भी यही करना होगा।
3. Allow: /wp-admin/admin-ajax.php हमें यह नियम अपनी robots.txt फ़ाइल में डालना होगा, इससे यह सुनिश्चित होता है कि जब कोई उपयोगकर्ता हमारे पेज पर आएगा, तो वह उपयोगकर्ता हमारे पेज पर मौजूद हर चीज़ का सही तरीके से उपयोग कर सकेगा, जैसे कोई बटन या लिंक।
4. Disallow: /cgi-bin/ मैंने इस फ़ाइल को Disallow कर दिया है क्योंकि मैं नहीं चाहता कि मेरी यह फ़ाइल कोई देखे क्योंकि इस फ़ाइल में मेरी कुछ महत्वपूर्ण जानकारी है जिसे मैं क्रॉल नहीं करना चाहता।
5. Sitemap: https://realldm.com/sitemap_index.xml मैंने इस फ़ाइल में अपनी वेबसाइट का URL दिया है क्योंकि अगर हम robots.tst फ़ाइल में साइटमैप का URL जोड़ते हैं तो Google बॉट्स के लिए यह आसान हो जाता है

मुझे पता है कि आपके मन में ये सवाल जरूर आ रहा होगा कि आखिर हम ये सारी जानकारी अपने नोटपैड में कहां से लिखेंगे, तो चलिए मैं आपको बताता हूं कि आप ये जानकारी अपनी फाइल में कहां कहां से लिखेंगे

User-agent:* आपको इसे ऐसे ही लिखना है, कहीं से कुछ कॉपी मत करना, बस अपने लैपटॉप या कंप्यूटर में same टाइप करना है

Disallow: /wp-admin/ इसको भी ऐसे ही लिखना है क्योंकि अगर आप ये लाइन लिखते हैं तो इसका मतलब है कि क्रॉलर आपके वर्डप्रेस एडमिन में कुछ नहीं कर सकता है, क्रॉलर को वहां जाने की इजाजत नहीं है

Allow: /wp-admin/admin-ajax.php आपको ये लाइन ऐसे ही लिखनी है, आपको इसे कहीं से कॉपी नहीं करना है बल्कि आपको ये लाइन सही से लिखनी है, मतलब कुछ भी छूटना नहीं चाहिए

Disallow: /cgi-bin/ यह पंक्ति भी उसी प्रकार लिखी जानी चाहिए क्योंकि सभी होस्टिंग प्रदाता यह पंक्ति Disallow: /cgi-bin/ उपलब्ध नहीं कराते हैं, इसलिए आपको यह Line स्वयं अपनी robots.txt फ़ाइल में लिखनी होगी।

Sitemap: https://realldm.com/sitemap_index.xml इसे ऐसे समझिए, इस लाइन को कहां से कॉपी करना है। इस लाइन के लिए आपको वर्डप्रेस में SEO प्लगइन में जाना होगा। आप जो भी Plugin इस्तेमाल कर रहे हैं, चाहे वो Rankmath हो या Yoast SEO, इनमें आपको ऑप्शन मिलेगा, सेटिंग्स में जाकर साइटमैप खोलें और वहां से URL कॉपी करें।

Robots.txt File इसे कहां अपलोड करें

आप समझ गए होंगे कि robots.txt फ़ाइल क्या है और इसे कैसे बनाया जाता है लेकिन आपको यह भी पता होना चाहिए कि इस फ़ाइल को कहाँ अपलोड करना है। अगर आप इस फ़ाइल को सही जगह पर अपलोड नहीं करेंगे तो आपकी फ़ाइल सबमिट नहीं होगी।

Go to Hosting

एक बारी अगर आपकी यह फाइल बन जाए तो उसके बाद आपको अपने होस्टिंग पैनल में जाना है जहां से भी अपने होस्टिंग ले रखी है क्योंकि यह फाइल आपकी होस्टिंग पैनल में ही अपलोड होगी तो इसलिए सबसे पहले आपको अपने होस्टिंग पैनल में जाना है जहां से भी अपने होस्टिंग ली है

File Manager

आपको अपनी होस्टिंग के फाइल मैनेजर में जाना है और इस फाइल मैनेजर में जाने के बाद आपको एक ऑप्शन देखने को मिलता है Public html उसे पर आपको क्लिक करना है और उसे पर क्लिक करने के बादआपको यह फाइल Public html के अंदर अपलोड कर देनी है

मैं Hostinger का होस्टिंग इस्तेमाल कर रहा हूंआप सामने देख सकते हो एक आपको ऑप्शन दिख रहा होगा फाइल मैनेजर करके आपको भी ऐसे ही ऑप्शन दिखेगा अगर आप यही होस्टिंग का इस्तेमाल कर रहे हो तोअगर आप दूसरी होस्टिंग का इस्तेमाल कर रहे हो तब भी आपके सामने यह ऑप्शन आता है फाइल मैनेजर का

जैसे ही आप फाइल मैनेजर पर क्लिक करते हो उसके बाद आपके सामने यह स्क्रीन आ जाती हैऔर इसके अंदर आपको एक ऑप्शन दिख रहा होगा Public html करके इसके ऊपर आपको क्लिक करना है इसके ऊपर जैसे ही आप क्लिक करोगे तो इसके अंदर वह फाइल अपलोड करनी है आपको जो फाइल आपने बनाई है अपने नोटपैड के अंदर जिसका नाम है Robots.txt file

अपलोड करने के बाद आपको दो बातों का ध्यान रखना है आपको यह देखना है कि आपकी जो फाइल का नाम है वह सही है या नहींऔर दूसरा इस बात का ध्यान रखना है अपलोड करने के बाद सैफ चेंज पर क्लिक जरूर करना है क्योंकि तभी वह आपकी फाइल अपलोड मानी जाएगी Robots.txt File In Hindi

1. Spam Score In Hindi क्या होता है कैसे कम करें
2. SEO Friendly Content क्या होता है कैसे लिखें
3. Thin Content (Low-Quality Content) क्या होता है और कैसे सुधारें
4. Mobile SEO Optimization क्या होता है कैसे करें