Back to Question Center
0

मेरे robots.txt को एक पृष्ठ ऐप के लिए कैसे दिखना चाहिए - मील का समय

1 answers:

मैं समझ सकता हूं कि बोट्स को सामान्य अनुप्रयोग में कुछ पृष्ठों / फ़ोल्डर को क्रॉल करने की अनुमति न दें. उदाहरण के लिए google-bot के लिए यह अच्छी तरह से वर्णित है.

लेकिन मुझे क्या करना चाहिए अगर मेरे पास एक पेज एप्लिकेशन है (जो कि केवल एजाक्स का उपयोग नई सामग्री अपलोड करने और रूटिंग और ग्राहक पर पेज पीढ़ी). इसे क्रॉल करने योग्य कैसे यहां और यहां वर्णित किया गया है, लेकिन क्या होगा अगर मैं कुछ लिंक का पालन करने के लिए कोई बॉट नहीं करता (जो कि मेरे शुरुआती पृष्ठ पर हैं)? इससे मेरा मतलब है:

जब एसपीए पहली बार लोड होता है तो यह कुछ बुनियादी HTML लोड करता है. इस html में विशिष्ट लिंक हो सकते हैं जैसे:

  • घर (#! घर /)
  • के बारे में (#! के बारे में /)
  • समाचार (#! समाचार /)

, लेकिन अब मुझे एक बॉट # लिंक के बारे में क्रॉल करना है! - no vald.

February 13, 2018

मुझे ठीक वही करने का एक तरीका मिल गया है जो मुझे चाहिए. यह अच्छी तरह से है Google द्वारा प्रलेखित :

जब आपकी साइट AJAX क्रॉलिंग योजना को गोद लेती है, तो Google क्रॉलरप्रत्येक हैश टुकड़ा URL को क्रॉल करेगा जो इसे मुठभेड़ करता है. यदि आपके पास हैश हैटुकड़ा यूआरएल जिन्हें क्रॉल नहीं किया जाना चाहिए, हम सुझाव देते हैं कि आप एक जोड़ेंअपने रोबोटों के नियमित अभिव्यक्ति निर्देश. txt फ़ाइल. उदाहरण के लिए, आपआपके हैश के टुकड़ों में एक सम्मेलन का उपयोग कर सकते हैं जिन्हें क्रॉल नहीं किया जाना चाहिएऔर फिर उन सभी यूआरएल को बाहर कर दें जो आपके रोबोटों से मेल खाते हैं. txt फ़ाइल. मान लीजिए कि आपके सभी गैर-अनुक्रमणीय राज्य हैं'#DONOTCRAWLmyfragment. फिर आप Googlebot को इन रोबोटों को जोड़कर इन पृष्ठों को क्रॉल करने से रोका जा सकता है. txt:

अस्वीकार करें: / * _ escaped_fragment_ = DONOTCRAWL