Αδειάστε το αρχείο txt ρομπότ. Ρομπότ αναζήτησης Google. Τι σημαίνει ο χρήστης-πράκτορας

Έχουμε κυκλοφορήσει Καινούργιο βιβλίο "Το μάρκετινγκ περιεχομένου στο κοινωνικά δίκτυα: Πώς να καθίσετε στο κεφάλι των συνδρομητών και να ερωτευτείτε με το εμπορικό σήμα τους. "

Η οδηγία υποδοχής είναι μια εντολή ή ένας κανόνας που λέει τη μηχανή αναζήτησης σχετικά με το τι (με το www ή χωρίς) είναι το κύριο. Υπάρχει μια οδηγία υποδοχής στο αρχείο και προορίζεται αποκλειστικά για το Yandex.

Είναι συχνά απαραίτητο να διασφαλιστεί ότι η μηχανή αναζήτησης δεν διευθύνει ορισμένες σελίδες ιστότοπου ή τον καθρέφτη του. Για παράδειγμα, ο πόρος είναι σε ένα διακομιστή, αλλά υπάρχει πανομοιότυπη στο Διαδίκτυο Ονομα τομέαπου είναι ευρετηρίαση και εμφανίζεται στα αποτελέσματα των αποτελεσμάτων αναζήτησης.

Αναζήτηση ρομπότ Yandex Bypass Parks Parks και προσθέστε τις πληροφορίες που συλλέγονται στη βάση δεδομένων του δικού σας χρονοδιαγράμματος. Στη διαδικασία της ευρετηρίασης, επιλύονται, ποια σελίδα πρέπει να υποβληθεί σε επεξεργασία. Για παράδειγμα, τα ρομπότ παρακάμπτουν διάφορα φόρουμ, πίνακες ανακοινώσεων, καταλόγους και άλλους πόρους όπου η τιμαριθμική αναπροσαρμογή δεν έχει νόημα. Μπορούν επίσης να ορίσουν τον κύριο χώρο και τους καθρέφτες. Το πρώτο υπόκειται σε αναπροσαρμογή, το δεύτερο - όχι. Στη διαδικασία, συμβαίνουν συχνά σφάλματα. Μπορείτε να επηρεάσετε αυτό χρησιμοποιώντας την οδηγία υποδοχής στο αρχείο robots.txt.

Γιατί χρειάζεστε το αρχείο robots.txt

Το ρομπότ είναι ένα συνηθισμένο αρχείο κειμένου. Μπορεί να δημιουργηθεί μέσω ενός σημειωματάριου, αλλά συνιστάται να συνεργαστείτε με αυτό (ανοικτή και επεξεργασία πληροφοριών) επεξεργαστής κειμένου Σημειωματάριο ++. Ανάγκη Αυτό το αρχείο Κατά τη βελτιστοποίηση των πόρων Web προκαλείται από διάφορους παράγοντες:

1. Εάν λείπει το αρχείο robots.txt, ο ιστότοπος θα υπερφορτωθεί συνεχώς λόγω των μηχανών αναζήτησης.
2. Υπάρχει κίνδυνος να είναι ευρετηριασμένες επιπλέον σελίδες ή τοποθεσίες καθρέφτη.

Η αναπροσαρμογή θα περάσει πολύ πιο αργά και με εσφαλμένη Ρυθμίσεις ρυθμίσεων Μπορεί να εξαφανιστεί από τα αποτελέσματα των αποτελεσμάτων αναζήτησης του Google και του Yandex.

Πώς να κανονίσετε την οδηγία υποδοχής στο αρχείο robots.txt

Το αρχείο ρομπότ περιλαμβάνει μια οδηγία υποδοχής - οδηγίες για μια μηχανή αναζήτησης περίπου όπου ο κύριος χώρος και όπου οι καθρέφτες του.

Η οδηγία έχει την ακόλουθη μορφή μετατόπισης: Υποδοχή: [προαιρετικός χώρος] [τιμή] [προαιρετικός χώρος]. Οι κανόνες της οδηγίας για τη σύνταξη απαιτούν τη συμμόρφωση με τις ακόλουθες παραγράφους:

• Υποστηρίζει την οδηγία υποδοχής του πρωτοκόλλου HTTPS για την υποστήριξη της κρυπτογράφησης. Πρέπει να χρησιμοποιείται εάν η πρόσβαση στον καθρέφτη πραγματοποιείται μόνο με προστατευμένο κανάλι.
• Το όνομα τομέα που δεν είναι μια διεύθυνση IP, καθώς και ο αριθμός θύρας του Web Resource.

Η ορθογραφική οδηγία θα επιτρέψει στον Δάσκαλο Ιστού να ορίσει για μηχανές αναζήτησης όπου ο κύριος καθρέφτης. Τα υπόλοιπα θα θεωρηθούν δευτερεύοντα και επομένως δεν θα αναπροσαρμοστούν. Κατά κανόνα, οι καθρέφτες μπορούν να διακριθούν από την παρουσία ή την απουσία συντομογραφίας www. Εάν ο χρήστης δεν καθορίσει τον κύριο καθρέφτη του Web Resource μέσω του κεντρικού υπολογιστή, η μηχανή αναζήτησης Yandex θα στείλει την κατάλληλη ειδοποίηση στον webmaster. Επίσης, η ειδοποίηση θα εκδιωχθεί εάν το αρχείο ρομπότ έχει οριστεί από την οδηγία υποδοχής.

Προσδιορίστε πού είναι δυνατός ο κύριος καθρέφτης του ιστότοπου μέσω της μηχανής αναζήτησης. Πρέπει να οδηγήσετε τη διεύθυνση των πόρων στη γραμμή αναζήτησης και να εξετάσετε τα αποτελέσματα του θέματος: ο χώρος όπου μπροστά από τον τομέα στο Γραμμή διεύθυνσης Αξίζει www, είναι ο κύριος τομέας.

Εάν ο πόρος δεν εμφανίζεται στη σελίδα έκδοσης, ο χρήστης μπορεί να το αντιστοιχίσει ανεξάρτητα στον κύριο καθρέφτη περιστρέφοντας την κατάλληλη ενότητα στο yandex.vebmaster. Εάν ο Master Web είναι απαραίτητος ότι το όνομα τομέα του ιστότοπου δεν περιέχει www, δεν πρέπει να το καθορίσετε στον κεντρικό υπολογιστή.

Πολλοί webmasters χρησιμοποιούν κυριλλικούς τομείς ως πρόσθετοι καθρέφτες για τους ιστότοπούς τους. Ωστόσο, στην οδηγία υποδοχής, το Cyrillic δεν υποστηρίζεται. Για να το κάνετε αυτό, διπλές λέξεις στο latinet, με την προϋπόθεση ότι μπορούν εύκολα να αναγνωριστούν με την αντιγραφή της διεύθυνσης του ιστότοπου από τη συμβολοσειρά διευθύνσεων.

Υποδοχή στο αρχείο ρομπότ

Ο κύριος σκοπός της παρούσας οδηγίας είναι η επίλυση προβλημάτων με διπλές σελίδες. Είναι απαραίτητο να χρησιμοποιήσετε τον κεντρικό υπολογιστή εάν το έργο του Web Resource επικεντρώνεται στο ρωσικό ακροατήριο και, κατά συνέπεια, η ταξινόμηση του ιστότοπου πρέπει να περάσει στο σύστημα Yandex.

Όλοι οι μηχανές αναζήτησης υποστηρίζουν το έργο της οδηγίας υποδοχής. Η λειτουργία είναι διαθέσιμη μόνο στο Yandex. Ταυτόχρονα, ακόμη και εδώ δεν υπάρχουν εγγυήσεις ότι ο τομέας θα ανατεθεί ως ο κύριος καθρέφτης, αλλά σύμφωνα με τις διαβεβαιώσεις του ίδιου του Yandex, η προτεραιότητα παραμένει πάντα πίσω από το όνομα που καθορίζεται στον κεντρικό υπολογιστή.

Προκειμένου οι μηχανές αναζήτησης να διαβάζουν σωστά τις πληροφορίες κατά την επεξεργασία του αρχείου robots.txt, πρέπει να συνταγογραφήσετε μια οδηγία υποδοχής στην κατάλληλη ομάδα που ξεκινά μετά τις λέξεις του πράκτορα χρήστη. Ωστόσο, τα ρομπότ θα μπορούν να χρησιμοποιούν κεντρικούς υπολογιστές ανεξάρτητα από το αν η οδηγία είναι εγγεγραμμένη σύμφωνα με τους κανόνες ή όχι, δεδομένου ότι είναι διασταύρωση.

Γεια σας, αγαπητοί αναγνώστες του blog "Παγκόσμιος Webmaster"!

Αρχείο robots.txt - Πρόκειται για ένα πολύ σημαντικό αρχείο, επηρεάζοντας άμεσα την ποιότητα της ευρετηρίασης του ιστότοπού σας και ως εκ τούτου για την προώθηση της αναζήτησης.

Αυτός είναι ο λόγος για τον οποίο θα πρέπει να είστε σε θέση να καταρτιστεί σωστά τα ρομπότ. Να μην απαγορεύει κατά λάθος κανένα σημαντικό έγγραφο του έργου στο Διαδίκτυο στον δείκτη.

Πώς να δημιουργήσετε ένα αρχείο robots.txt, το οποίο η σύνταξη πρέπει να χρησιμοποιείται ταυτόχρονα, πώς να επιτρέπεται και να απαγορεύει τα έγγραφα στον δείκτη και θα συζητηθεί σε αυτό το άρθρο.

Σχετικά με το αρχείο robots.txt

Πρώτον, ας μάθουμε λεπτομερέστερα τι είναι αυτό το αρχείο.

Αρχεία ρομπότ. - Πρόκειται για ένα αρχείο που παρουσιάζει μηχανές αναζήτησης, τις σελίδες και τα έγγραφα ιστότοπου μπορούν να προστεθούν στον δείκτη και που δεν μπορούν να προστεθούν.Λόγω του γεγονότος ότι αρχικά οι μηχανές αναζήτησης προσπαθούν να ευρεστούν ολόκληρο τον ιστότοπο και αυτό δεν είναι πάντα σωστό. Για παράδειγμα, αν δημιουργήσετε έναν ιστότοπο στον κινητήρα (Wordpress, Joomla, κλπ.), Τότε θα έχετε φακέλους που οργανώνουν το έργο του διοικητικού πίνακα. Είναι σαφές ότι οι πληροφορίες σε αυτούς τους φακέλους δεν μπορούν να αναπροσαρμοστούν, ακριβώς στην περίπτωση αυτή και το αρχείο robots.txt χρησιμοποιείται, το οποίο περιορίζει τις μηχανές αναζήτησης.

Επίσης, στο αρχείο ρομπότ, αναγράφεται η διεύθυνση του χάρτη του ιστότοπου (βελτιώνει την τιμαριθμική αναπροσαρμογή των μηχανών αναζήτησης), καθώς και τον κύριο τομέα του ιστότοπου (κύριος καθρέφτης).

Καθρέφτης - Πρόκειται για ένα απόλυτο αντίγραφο του ιστότοπου, δηλ. Όταν ένας χώρος, λένε ότι ένας από αυτούς είναι ο κύριος τομέας και ο άλλος είναι ο καθρέφτης του.

Έτσι, ένα αρχείο έχει πολλές λειτουργίες και σημαντικό!

Σύνταξη αρχείων robots.txt

Το αρχείο ρομπότ περιέχει μπλοκ κανόνων που λένε σε μια συγκεκριμένη μηχανή αναζήτησης, η οποία μπορεί να ευρετηριαστεί και τι δεν είναι. Ο μπλοκ κανόνων μπορεί να είναι ένας (για όλες τις μηχανές αναζήτησης), αλλά μπορούν επίσης να είναι κάπως - για κάποιες συγκεκριμένες μηχανές αναζήτησης ξεχωριστά.

Κάθε τέτοια μονάδα αρχίζει με τον φορέα εκμετάλλευσης "αντιπροσώπων χρήσης", το οποίο υποδεικνύει ποιο σύστημα αναζήτησης ισχύουν αυτοί οι κανόνες αυτοί ισχύουν.

Χρήστης-Μέσο:ΕΝΑ.
(Κανόνες για το ρομπότ "Α")

Χρήστης-Μέσο:ΣΙ.
(Κανόνες για το ρομπότ "B")

Στο παραπάνω παράδειγμα, αποδεικνύεται ότι ο χειριστής "πράκτορα χρήστη" έχει μια παράμετρο - το όνομα του ρομπότ μηχανή αναζήτησηςστην οποία ισχύουν οι κανόνες. Το κύριο μέρος τους θα δείξω παρακάτω:

Μετά το "user-agent" πηγαίνετε άλλους φορείς εκμετάλλευσης. Εδώ είναι η περιγραφή τους:

Για όλους τους χειριστές, μια σύνταξη είναι έγκυρη. Εκείνοι. Οι φορείς εκμετάλλευσης πρέπει να χρησιμοποιηθούν ως εξής:

Λειτουργός1: παράμετρος1

Operator2: παράμετρος2.

…

Έτσι, πρώτα γράφουμε το όνομα του χειριστή (ανεξάρτητα από τα μεγάλα ή μικρά γράμματα), στη συνέχεια τοποθετήστε το κόλον και υποδείξτε την παράμετρο μέσω του χώρου Αυτός ο χειριστής. Στη συνέχεια, από τη νέα γραμμή, περιγράφουμε τον φορέα εκμετάλλευσης δύο με τον ίδιο τρόπο.

Σπουδαίος!!! Μια κενή γραμμή θα σημαίνει ότι οι κανόνες που μπλοκάρουν για αυτή τη μηχανή αναζήτησης είναι πλήρεις, οπότε μην διαιρείτε τους χειριστές με μια κενή συμβολοσειρά.

Παράδειγμα Robots.txt αρχείο

Εξετάστε ένα απλό παράδειγμα του αρχείου robots.txt για να υπολογίσετε καλύτερα τα χαρακτηριστικά της σύνταξης:

Αντιπρόσωπος χρήστη: Yandex
Επιτρέψτε: / φάκελο1 /
Απαλλαγή: /file1.html.
Υποδοχή: www.site.ru.

Αντιπρόσωπος χρήστη: *
Απαλλαγή: /dogument.php.
Απαλλαγή: / Folderxxx /
Απαλλαγή: / Follryyy / Folderzzz
Απαλλαγή: / Τροφοδοσία /

Sitemap: http://www.site.ru/sitemap.xml.

Τώρα θα αναλύσουμε το παράδειγμα που περιγράφεται.

Το αρχείο αποτελείται από τρία τετράγωνα: το πρώτο για το Yandex, το δεύτερο για όλες τις μηχανές αναζήτησης, και η διεύθυνση του χάρτη του ιστότοπου προσδιορίζεται (χρησιμοποιείται αυτόματα για όλες τις μηχανές αναζήτησης, οπότε δεν χρειάζεται να καθορίσετε τον "παράγοντα χρήστη "). Yandex Επιτρέπεται να ευρετηρίσουμε τον φάκελο "Folder1" και όλα τα περιεχόμενά του, αλλά απαγορεύεται να ευρετηριαστεί το έγγραφο File1.html, που βρίσκεται στον ριζικό κατάλογο της φιλοξενίας. Σημείωσα επίσης τον κύριο τομέα του ιστότοπου Yandex. Το δεύτερο μπλοκ είναι για όλες τις μηχανές αναζήτησης. Εκεί απαγορεύσαμε το έγγραφο "Document.php", καθώς και τους φακέλους "Folderxxx", "Foldryyy / Folderzzz" και "Feed".

Παρακαλείστε να σημειώσετε ότι απαγορεύεται στη δεύτερη εντολή των εντολών στο ευρετήριο όχι ολόκληρο το φάκελο "Foldryyy", αλλά μόνο ο φάκελος μέσα σε αυτόν τον φάκελο είναι "Folderzzz". Εκείνοι. Τονίζει την πλήρη διαδρομή για το Folderzzz. Έτσι πάντα πρέπει να κάνετε αν απαγορεύουμε το έγγραφο που δεν βρίσκεται στον ριζικό κατάλογο του ιστότοπου, αλλά κάπου μέσα σε άλλους φακέλους.

Η δημιουργία θα διαρκέσει λιγότερο από δύο λεπτά:

Το αρχείο που δημιουργήθηκε Robosts μπορεί να ελεγχθεί για απόδοση στον πίνακα Webmasters Yandex. Εάν τα σφάλματα ξαφνικά εντοπίζονται στο αρχείο, τότε το Yandex θα το δείξει.

Βεβαιωθείτε ότι δημιουργείτε το αρχείο robots.txt για τον ιστότοπό σας εάν εξακολουθείτε να μην έχετε κανέναν. Αυτό θα βοηθήσει στην ανάπτυξη του ιστότοπού σας στις μηχανές αναζήτησης. Μπορείτε επίσης να διαβάσετε ένα άλλο άρθρο σχετικά με τη μέθοδο Meta Tag και.Htaccess.

Χρόνος διαβασματός: 7 λεπτά

Σχεδόν κάθε έργο που έρχεται σε εμάς σε έναν έλεγχο ή προώθηση, έχει ένα λανθασμένο αρχείο robots.txt, και συχνά δεν είναι καθόλου. Αυτό συμβαίνει επειδή όταν δημιουργείτε ένα αρχείο, όλοι καθοδηγούνται από τη φαντασία τους, όχι τους κανόνες. Ας δούμε πώς να κάνουμε αυτό το αρχείο σωστά έτσι ώστε τα ρομπότ αναζήτησης να λειτουργούν αποτελεσματικά μαζί του.

Γιατί χρειάζεστε ρομπότ διαμόρφωσης.

Robots.txt - Πρόκειται για ένα αρχείο που βρίσκεται στον ριζικό κατάλογο του ιστότοπου, η οποία αναφέρει τις ρομπότ των μηχανών αναζήτησης, στα οποία χωρίσματα και σελίδες του ιστότοπου μπορούν να έχουν πρόσβαση και τι δεν είναι.

Η δημιουργία robots.txt είναι ένα σημαντικό μέρος στην έκδοση μηχανών αναζήτησης, τα σωστά διαμορφωμένα ρομπότ αυξάνουν επίσης την απόδοση του ιστότοπου. Δεν υπάρχει robots.txt δεν θα σταματήσει τις μηχανές αναζήτησης σάρωση και ευρετήριο του ιστότοπου, αλλά αν αυτό το αρχείο δεν έχετε, μπορεί να έχετε δύο προβλήματα:

Το ρομπότ αναζήτησης θα διαβάσει ολόκληρο τον ιστότοπο που "υπονομεύει" τον προϋπολογισμό του λαχτάρα. Ο προϋπολογισμός λαχτάρας είναι ο αριθμός των σελίδων που ο ρομπότ αναζήτησης είναι σε θέση να παρακάμψει κατά τη διάρκεια ορισμένης χρονικής περιόδου.

Χωρίς το αρχείο ρομπότ, η μηχανή αναζήτησης θα λάβει πρόσβαση στο Chernov και κρυμμένες σελίδες, Σε εκατοντάδες σελίδες που χρησιμοποιούνται για τη χορήγηση CMS. Τους ανακαλεί και όταν πρόκειται για τις επιθυμητές σελίδες, στις οποίες παρουσιάζεται το άμεσο περιεχόμενο για τους επισκέπτες, "θα τελειώσει" τον προϋπολογισμό λαχταρισμού.

Ο δείκτης της εισόδου στον ιστότοπο, άλλοι πόροι διαχειριστή μπορούν να φτάσουν στον δείκτη, οπότε ο εισβολέας θα είναι σε θέση να τα εντοπίσει εύκολα και να τα κρατήσει dDOS επίθεση Ή να χάσετε τον ιστότοπο.

Ως ρομπότ αναζήτησης δείτε την περιοχή με robots.txt και χωρίς αυτό:

Ρομπότ.txt σύνταξη

Πριν ξεκινήσετε να αποσυναρμολογήσετε τη σύνταξη και να διαμορφώσετε το robots.txt, ας δούμε πώς θα πρέπει να μοιάζει το "τέλειο αρχείο"

Αλλά δεν είναι απαραίτητο να το εφαρμόσετε αμέσως. Για κάθε ιστότοπο, χρειάζεστε συχνότερα τις ρυθμίσεις σας, αφού όλοι έχουμε μια διαφορετική δομή τοποθεσίας, διαφορετικά CMS. Θα αναλύσουμε κάθε οδηγία για τη σειρά.

Πράκτορας χρήστη

Ο χρήστης χρήστη - καθορίζει το ρομπότ αναζήτησης, το οποίο είναι υποχρεωμένο να ακολουθεί τις οδηγίες που περιγράφονται στο αρχείο. Εάν πρέπει να επικοινωνήσετε με τα πάντα, το εικονίδιο χρησιμοποιείται *. Μπορείτε επίσης να ανατρέξετε σε ένα συγκεκριμένο ρομπότ αναζήτησης. Για παράδειγμα, το Yandex και το Google:

Με την παρούσα οδηγία, το ρομπότ κατανοεί ποιες αρχεία και φακέλους στον δείκτη απαγορεύονται. Εάν θέλετε ολόκληρο το site σας να είναι ανοιχτό στην Ενδυμασία, αφήστε την άδειο άδειο αξίας. Για να κρύψετε ολόκληρο το περιεχόμενο στην περιοχή μετά από να αποκλείσετε, να τοποθετήσετε "/".

Μπορούμε να απαγορεύσουμε την πρόσβαση σε ένα συγκεκριμένο φάκελο, μια επέκταση αρχείου ή αρχείου. Στο παράδειγμά μας, απευθύνουμε έκκληση σε όλα τα ρομπότ αναζήτησης, κοντά στην πρόσβαση στο bitrix, το φάκελο αναζήτησης και την επέκταση PDF.

Επιτρέπω.

Αφήστε να ανοίξει βίαια να ευρετηριαστεί η σελίδα και τα τμήματα του ιστότοπου. Στο παραπάνω παράδειγμα, απευθύνουμε έκκληση στο ρομπότ αναζήτησης Google, κοντά στην πρόσβαση στο Bitrix, το φάκελο αναζήτησης και την επέκταση PDF. Αλλά στον φάκελο Bitrix, ανοίγουμε βίαια 3 φακέλους για την ευρετηρίαση: εξαρτήματα, JS, εργαλεία.

Υποδοχή - καθρέφτης χώρου

Ο καθρέπτης της τοποθεσίας είναι ένα αντίγραφο της κύριας περιοχής. Οι καθρέφτες χρησιμοποιούνται για διάφορους σκοπούς: αλλάξτε τη διεύθυνση, την ασφάλεια, τη μείωση του φορτίου στο διακομιστή κ.λπ.

Ο οικοδεσπότης είναι ένας από τους σημαντικότερους κανόνες. Εάν ο κανόνας αυτός έχει διευκρινιστεί, τότε το ρομπότ θα καταλάβει ποια από τα καθρέφτες του site αξίζει να εξεταστεί η ευρετηρίαση. Αυτή η οδηγία είναι απαραίτητη για τα ρομπότ Yandex και Mail.ru. Άλλα ρομπότ Αυτός ο κανόνας θα αγνοηθούν. Ο κεντρικός υπολογιστής έχει συνταγογραφηθεί μόνο μία φορά!

Για τα πρωτόκολλα "https: //" και "http: //", η σύνταξη στο αρχείο robots.txt θα είναι διαφορετική.

Sitemap - Χάρτης ιστοτόπου

Ο ιστότοπος είναι μια φόρμα πλοήγησης ιστότοπου που χρησιμοποιείται για την ενημέρωση των μηχανών αναζήτησης σχετικά με τις νέες σελίδες. Χρησιμοποιώντας την οδηγία Sitemap, είμαστε "βίαια" δείχνουμε το ρομπότ όπου βρίσκεται ο χάρτης.

Σύμβολα στο Robots.txt

Σύμβολα που χρησιμοποιούνται στο αρχείο: "/, *, $, #".

Έλεγχος της απόδοσης μετά τη διαμόρφωση του robots.txt

Αφού δημοσιεύσετε robots.txt στον ιστότοπό σας, πρέπει να προσθέσετε και να το ελέγξετε στο Yandex και στο Google Webmaster.

Έλεγχος Yandex:

1. Ακολουθήστε τον σύνδεσμο https://webmaster.yandex.ru/tools/robotstxt /.
2. Επιλέξτε: Ρύθμιση ευρετηρίου - Ανάλυση RobotOts.txt.

Έλεγχος Google:

1. Ακολουθήστε τον σύνδεσμο https://support.google.com/webmasters/answer/6062598.
2. Επιλογή: Σάρωση - Το εργαλείο επαλήθευσης του αρχείου Robots.txt.

Με αυτόν τον τρόπο, μπορείτε να ελέγξετε το robots.txt σε λάθη και να κάνετε τις απαραίτητες ρυθμίσεις, εάν είναι απαραίτητο.

1. Τα περιεχόμενα του αρχείου πρέπει να γράφονται με κεφαλαία γράμματα.
2. Στην οδηγία απαγόρευσης, πρέπει να καθορίσετε μόνο ένα αρχείο ή κατάλογο.
3. Το συμβολοσειρά "χρήστη" δεν πρέπει να είναι άδειο.
4. Ο πράκτορας χρήσης θα πρέπει πάντα να πάει πριν από την απαγόρευση.
5. Μην ξεχάσετε να συνταγογραφήσετε μια κάθετο αν χρειαστεί να απαγορεύσετε την ευρετηρίαση του καταλόγου.
6. Πριν από τη λήψη του αρχείου στο διακομιστή, είναι απαραίτητο να το ελέγξετε σχετικά με την παρουσία συστατικών και ορθογραφικών σφαλμάτων.

Απελευθερώσαμε ένα νέο βιβλίο "Περιεχόμενο μάρκετινγκ για κοινωνικά δίκτυα: Πώς να καθίσετε στο κεφάλι των συνδρομητών και να ερωτευτείτε με το εμπορικό σήμα τους".

Το Robots.txt είναι ένα αρχείο κειμένου που περιέχει πληροφορίες για ρομπότ αναζήτησης που βοηθούν στο ευρετήριο τις σελίδες πύλης.

Περισσότερα βίντεο στο κανάλι μας - Μάθετε το μάρκετινγκ Διαδικτύου με το Semantica

Φανταστείτε ότι πήγατε στο νησί θησαυρό. Έχετε ένα χάρτη. Η διαδρομή δείχνει εκεί: "Πηγαίνετε σε ένα μεγάλο punchy. Από αυτόν για να πάρει 10 βήματα προς τα ανατολικά, στη συνέχεια περπατήστε στο βράχο. Περιστρέψτε δεξιά, βρείτε το σπήλαιο. "

Αυτές είναι οι οδηγίες. Ακολουθήστε τους, πηγαίνετε κατά μήκος της διαδρομής και βρείτε τον θησαυρό. Περίπου η γραμμή αναζήτησης λειτουργεί επίσης όταν αρχίσει να ευρετηριαστεί ο ιστότοπος ή η σελίδα. Βρίσκει το αρχείο robots.txt. Διαβάζει ποιες σελίδες να δείκτες και οι οποίες δεν είναι. Και, ακολουθώντας αυτές τις ομάδες, παρακάμπτει την πύλη και προσθέτει τις σελίδες του στον δείκτη.

Τι χρειάζεται robots.txt

Αρχίζουν να περπατούν σε ιστότοπους και σελίδες ευρετηρίου μετά τη φόρτωση του ιστότοπου σε φιλοξενία και καταχωρημένη DNS. Κάνουν τη δουλειά τους ανεξάρτητα από το αν έχετε τεχνικά αρχεία ή όχι. Τα ρομπότ υποδεικνύουν τις μηχανές αναζήτησης ότι όταν εντοπίζουν έναν ιστότοπο, πρέπει να εξετάσετε τις παραμέτρους που βρίσκονται σε αυτό.

Η έλλειψη του αρχείου robots.txt μπορεί να οδηγήσει σε προβλήματα με την ταχύτητα της συναλλαγής του ιστότοπου και την παρουσία σκουπιδιών στον δείκτη. Η λανθασμένη διαμόρφωση του αρχείου είναι γεμάτη από εξαίρεση από το δείκτη σημαντικών τμημάτων του πόρου και της παρουσίας στην έκδοση περιττών σελίδων.

Όλα αυτά, ως αποτέλεσμα, οδηγεί σε προβλήματα με την προώθηση.

Σκεφτείτε λεπτομερέστερα ποιες οδηγίες περιέχονται σε αυτό το αρχείο, πώς επηρεάζουν τη συμπεριφορά του bot στον ιστότοπό σας.

Πώς να κάνετε robots.txt

Για να ξεκινήσετε, ελέγξτε αν έχετε αυτό το αρχείο.

Καταχωρίστε τη διεύθυνση του ιστότοπου στη γραμμή διευθύνσεων του προγράμματος περιήγησης και μέσω του ονόματος αρχείου κάθεται για παράδειγμα, https://www.xxxxx.ru/robots.txt

Εάν υπάρχει το αρχείο, η λίστα των παραμέτρων του θα εμφανιστεί στην οθόνη.

Εάν δεν υπάρχει αρχείο:

1. Το αρχείο δημιουργείται στο συνηθισμένο σημειωματάριο τύπου επεξεργασίας κειμένου ή Notepad ++.
2. Πρέπει να ορίσετε τα ρομπότ Όνομα, την επέκταση. TXT. Να λάβουν υπόψη τα δεδομένα που λαμβάνουν υπόψη τα υιοθετημένα πρότυπα σχεδιασμού.
3. Μπορείτε να ελέγξετε τα σφάλματα χρησιμοποιώντας τις υπηρεσίες τύπου Webmaster Yandex. Πρέπει να επιλέξετε το στοιχείο "ROBOTOTS.TXT" στην ενότητα "Εργαλεία" και ακολουθήστε τις προτροπές.
4. Όταν το αρχείο είναι έτοιμο, συμπληρώστε τον στον ριζικό κατάλογο του ιστότοπου.

Κανόνες ρυθμίσεων

Οι μηχανές αναζήτησης δεν είναι ένα ρομπότ. Ορισμένοι δείκτες bots μόνο περιεχόμενο κειμένου, μερικά - μόνο γραφικά. Ναι, και στις ίδιες τις μηχανές αναζήτησης, το σχέδιο εργασίας του ανιχνευτή μπορεί να είναι διαφορετικό. Όταν κάνετε ένα αρχείο, πρέπει να ληφθεί υπόψη.

Μερικοί από αυτούς μπορούν να αγνοήσουν μέρος των κανόνων, για παράδειγμα, το Googlebot δεν ανταποκρίνεται στις πληροφορίες σχετικά με το τι ο καθρέφτης της περιοχής θεωρείται ο κύριος. Αλλά γενικά, αντιλαμβάνονται και καθοδηγούνται από το αρχείο.

Σύνταξη αρχείου

Παράμετροι εγγράφων: Όνομα ρομπότ (Bot) "Αντιπρόσωπος χρήστη", οδηγίες: Να επιτρέπεται η ανάλυση και η απαγόρευση απαγόρευσης.

Τώρα υπάρχουν δύο βασικές μηχανές αναζήτησης: Yandex και Google, αντίστοιχα, είναι σημαντικό κατά την κατάρτιση του ιστότοπου για να ληφθούν υπόψη οι απαιτήσεις και των δύο.

Η μορφή δημιουργίας αρχείων έχει ως εξής, δώστε προσοχή στα υποχρεωτικά κενά και κενές συμβολοσειρές.

Οδηγία χρήσης

Το ρομπότ αναζητά αρχεία που ξεκινούν με τον χρήστη χρήστη, πρέπει να αναγράφονται στο όνομα του ρομπότ αναζήτησης. Εάν δεν έχει καθοριστεί, πιστεύεται ότι η πρόσβαση των bots είναι απεριόριστη.

Να απαγορεύσει και να επιτρέψει τις οδηγίες

Εάν πρέπει να απαγορεύσετε την ευρετηρίαση στο robots.txt, να χρησιμοποιήσετε να απαγορεύσετε. Με αυτό, περιορίζετε την πρόσβαση στη φιάλη στον ιστότοπο ή ορισμένα τμήματα.

Εάν ο Robots.tcht δεν περιέχει καμία απαγόρευση απαγόρευσης της οδηγίας, πιστεύεται ότι επιτρέπεται η τιμαριθμική αναπροσαρμογή ολόκληρου του ιστότοπου. Συνήθως, οι απαγορεύσεις συνταγογραφούνται μετά από κάθε ένα bot ξεχωριστά.

Όλες οι πληροφορίες που περιλαμβάνονται μετά το εικονίδιο # είναι τα σχόλια και δεν διαβάζονται από το μηχάνημα.

Επιτρέπουν τη χρήση της πρόσβασης.

Το σύμβολο Star χρησιμεύει ως ένδειξη για το τι ισχύει για όλους: πράκτορας χρήστη: *.

Αυτή η επιλογή, αντίθετα, σημαίνει πλήρη απαγόρευση της ευρετηρίασης για όλους.

Απαγόρευση της προβολής ολόκληρου του περιεχομένου ενός συγκεκριμένου φακέλου καταλόγου

Για να αποκλείσετε ένα αρχείο που πρέπει να καθορίσετε την απόλυτη διαδρομή του

Οδηγία Sitemap, υποδοχής

Για το Yandex, είναι συνηθισμένο να καθορίσετε ποιο καθρέφτη θέλετε να ορίσετε το κύριο πράγμα. Και την Google, όπως θυμόμαστε, τον αγνοεί. Εάν δεν υπάρχουν καθρέφτες, απλά διορθώστε τον τρόπο με τον οποίο το θεωρείτε σωστό να γράψετε το όνομα του ιστότοπού σας με το www ή χωρίς.

Οδηγία καθαρισμού

Μπορεί να εφαρμοστεί εάν οι διευθύνσεις URL της ιστοσελίδας περιέχουν μεταβλητές παραμέτρους που δεν επηρεάζουν το περιεχόμενό τους (μπορεί να είναι αναγνωριστικά χρήστη, παραπομπές).

Για παράδειγμα, στη διεύθυνση των σελίδων "REF" ορίζει την πηγή της κυκλοφορίας, δηλ. Υποδεικνύει πού ήρθε ο επισκέπτης στον ιστότοπο. Για όλους τους χρήστες η σελίδα θα είναι η ίδια.

Το ρομπότ μπορεί να καθοριστεί σε αυτό και δεν θα φορτίσει επαναλαμβανόμενες πληροφορίες. Αυτό θα μειώσει το φορτίο του διακομιστή.

Οδηγία ανύψωσης

Με εσάς μπορείτε να καθορίσετε ποια συχνότητα το bot θα λάβει σελίδες για ανάλυση. Αυτή η εντολή ισχύει όταν ο διακομιστής υπερφορτωθεί και υποδεικνύει ότι η διαδικασία παράκαμψης πρέπει να επιταχυνθεί.

Robots.txt σφάλματα

1. Το αρχείο δεν βρίσκεται στον ριζικό κατάλογο. Ένα βαθύτερο ρομπότ δεν θα τον ψάξει και δεν θα λάβει υπόψη.
2. Τα γράμματα στον τίτλο πρέπει να είναι μικρά λατινικά.
   Ένα σφάλμα στον τίτλο, μερικές φορές χάνει το γράμμα S στο τέλος και το ρομπότ εγγραφής.
3. Δεν μπορείτε να χρησιμοποιήσετε τους κυριλλικούς χαρακτήρες στο αρχείο robots.txt. Εάν πρέπει να καθορίσετε έναν τομέα στα ρωσικά, χρησιμοποιήστε τη μορφή στην ειδική κωδικοποίηση του punycode.
4. Αυτή είναι μια μέθοδος για τη μετατροπή ονομάτων τομέα σε μια ακολουθία χαρακτήρων ASCII. Για να το κάνετε αυτό, μπορείτε να χρησιμοποιήσετε ειδικούς μετατροπείς.

Μοιάζει με κωδικοποίηση ως εξής:
Site.rf \u003d xn - 80swg.xn - p1ai

Για περισσότερες πληροφορίες, για να κλείσετε Ρομπότ txt. Και σύμφωνα με τις ρυθμίσεις σύμφωνα με τις απαιτήσεις των μηχανών αναζήτησης, το Google και το Yandex μπορεί να βρεθεί στα έγγραφα αναφοράς. Για διάφορα CMS, μπορεί επίσης να υπάρξουν δικά τους χαρακτηριστικά, πρέπει να ληφθούν υπόψη.

Το αρχείο Robots.txt βρίσκεται στον ριζικό κατάλογο του ιστότοπού σας. Για παράδειγμα, στην τοποθεσία www.example.com Η διεύθυνση του αρχείου Robots.txt θα μοιάζει με www.example.com/robots.txt. Πρόκειται για ένα κανονικό αρχείο κειμένου που πληροί το πρότυπο εξαίρεσης για τα ρομπότ και περιλαμβάνει έναν ή περισσότερους κανόνες, καθένα από τα οποία απαγορεύει ή επιτρέπει μία ή άλλη πρόσβαση ρομπότ αναζήτησης σε μια συγκεκριμένη διαδρομή στην τοποθεσία.

Παρακάτω είναι ένα παράδειγμα Απλό αρχείο. Robots.txt που περιέχει δύο κανόνες και την ερμηνεία του.

# Κανόνας 1 ΟΧΙ ΟΧΗΜΑ: Googlebot Derallow: / NogoogotBOT / # Κανόνας 2 Αντιπρόσωπος χρήστη: * Επιτρέπεται: / Sitemap: http://www.example.com/sitemap.xml

Ερμηνεία

1. Το όνομα χρήστη που ονομάζεται Googlebot δεν πρέπει να σαρώσει τον κατάλογο http://example.com/nogooglebot/ και τους υποκαταλόγους του.
2. Όλοι οι άλλοι πράκτορες χρήστη έχουν πρόσβαση σε όλους τους ιστότοπους (μπορείτε να παραλείψετε, το αποτέλεσμα θα είναι το ίδιο με αυτό πλήρης πρόσβαση Που παρέχεται από προεπιλογή).
3. Sitemap αρχείο Αυτός ο ιστότοπος βρίσκεται στη διεύθυνση http://www.example.com/sitemap.xml.

Παρακάτω είναι αρκετές συμβουλές για την εργασία με τα αρχεία robots.txt. Συνιστούμε να διερευνήσετε την πλήρη σύνταξη των αρχείων robots.txt, αφού χρησιμοποιούνται οι κανόνες σύνταξης κατά τη δημιουργία αρχείων robots.txt είναι μη προφανείς και θα πρέπει να τα καταλάβετε.

Μορφή και τοποθεσία

Μπορείτε να δημιουργήσετε το αρχείο robots.txt σε σχεδόν οποιοδήποτε πρόγραμμα επεξεργασίας κειμένου (πρέπει να υποστηρίζει την κωδικοποίηση ASCII ή UTF-8). Μη χρησιμοποιεις Επεξεργαστές κειμένου: Συχνά, αποθηκεύουν αρχεία σε ιδιόκτητη μορφή και προσθέτουν απαράδεκτες χαρακτήρες σε αυτούς, όπως τα σγουρά αποσπάσματα, τα οποία δεν αναγνωρίζονται από τα ρομπότ αναζήτησης.

Χρησιμοποιήστε το εργαλείο επαλήθευσης του αρχείου robots.txt κατά τη δημιουργία και τη δοκιμή τέτοιων αρχείων. Σας επιτρέπει να αναλύσετε τη σύνταξη αρχείων και να μάθετε πώς θα λειτουργήσει στον ιστότοπό σας.

Κανόνες σχετικά με τη μορφή και τη θέση του αρχείου

• Το αρχείο πρέπει να φορέσει το όνομα robots.txt.
• Στο site θα πρέπει να υπάρχει μόνο ένα τέτοιο αρχείο.
• Το αρχείο robots.txt πρέπει να τοποθετηθεί Ριζικός κατάλογος Ιστοσελίδα. Για παράδειγμα, για να παρακολουθήσετε τη σάρωση όλων των σελίδων του ιστότοπου http://www.example.com/, το αρχείο robots.txt θα πρέπει να τοποθετηθεί στη διεύθυνση http://www.example.com/robots.txt. Δεν πρέπει να είναι στο υποκατάλογο (για παράδειγμα, στο http://example.com/pages/robots.txt). Σε περίπτωση δυσκολίας με πρόσβαση στον ριζικό κατάλογο, επικοινωνήστε με τον παροχέα φιλοξενίας σας. Εάν δεν έχετε πρόσβαση στον ριζικό κατάλογο της τοποθεσίας, χρησιμοποιήστε μια εναλλακτική μέθοδο αποκλεισμού, όπως το metagelet.
• Το αρχείο robots.txt μπορεί να προστεθεί στις διευθύνσεις με υποτομέας (για παράδειγμα, http: // Δικτυακός τόπος..Example.com / robots.txt) ή μη τυποποιημένες θύρες (για παράδειγμα, http://example.com: 8181 / rebots.txt).
• Τα σχόλια είναι οποιαδήποτε σειρές που ξεκινούν με το σύμβολο πλέγματος (#).

Σύνταξη

• Το αρχείο robots.txt πρέπει να είναι αρχείο κειμένου Στην κωδικοποίηση ASCII ή UTF-8. Χρησιμοποιήστε άλλους χαρακτήρες δεν επιτρέπονται.
• Το αρχείο robots.txt μπορεί να αποτελείται από ένα ή περισσότερα κανόνες.
• Κανόνας πρέπει να περιέχει πολλά Διευθυντικός (Οδηγίες), καθένα από τα οποία πρέπει να καθορίζεται σε ξεχωριστή γραμμή.
• Ο κανόνας περιέχει τις ακόλουθες πληροφορίες:
  • Στην οποία Πράκτορας χρήστη Αναφέρεται ο κανόνας.
  • Υπάρχει πρόσβαση.
  • Σε ποιους καταλόγους ή αρχεία από αυτόν τον πράκτορα Καμία πρόσβαση.
• Οι κανόνες υποβάλλονται σε επεξεργασία από πάνω προς τα κάτω. Ο πράκτορας χρήστη μπορεί να ακολουθήσει μόνο έναν κατάλληλο κανόνα για αυτό, το οποίο θα επεξεργαστεί πρώτα.
• Από προεπιλογή, θεωρείταιΌτι εάν η πρόσβαση στη σελίδα ή στον κατάλογο δεν εμποδίζεται από τον κανόνα που απορρίπτονται:, ο πράκτορας χρήστη μπορεί να τα επεξεργαστεί.
• κανόνες Ευαίσθητο στο μητρώο. Έτσι, ο κανόνας disallow: /file.asp ισχύει για τη διεύθυνση URL http://www.example.com/file.asp, αλλά όχι στη διεύθυνση http://www.example.com/file.asp.

Οδηγίες που χρησιμοποιούνται σε αρχεία robots.txt

• Αντιπρόσωπος χρήστη: Βεβαιωθείτε ότι χρησιμοποιείτε, σε έναν κανόνα μπορεί να υπάρχει ένας ή περισσότεροι τέτοιοι κανόνες. Καθορίζει Ρομπότ μηχανή αναζήτησης στην οποία ανήκει ο κανόνας. Αυτή η γραμμή είναι η πρώτη σε οποιοδήποτε κανόνα. Οι περισσότεροι από αυτούς παρατίθενται στη βάση δεδομένων Internet ρομπότ ή στη λίστα ρομπότ αναζήτησης Google. Η μπαλαντέρ υποστηρίζεται * για να ορίσει το προθέμα ή το κατάληργο \u200b\u200bδιαδρομή ή ολόκληρο το μονοπάτι. Χρησιμοποιήστε ένα τέτοιο σημάδι (*), όπως υποδεικνύεται στο παρακάτω παράδειγμα για να αποκλείσετε όλα τα ρομπότ αναζήτησης ( Εκτός από τα ρομπότ AdsBOTπου πρέπει να καθορίσετε ξεχωριστά). Συνιστούμε να εξοικειωθείτε με τη λίστα ρομπότ της Google. Παραδείγματα: # ΠΑΡΑΔΕΙΓΜΑ 1: Μπλοκ μόνο για τον χρήστη του Googlebot: Googlebot Derallow: / # Παράδειγμα 2: Block GoogleBot και ADSBOT - Αντιπρόσωπος χρήστη: ADSBOT-Google Derallow: / # Παράδειγμα 3: Μπλοκάρετε όλους τους AdsBot Crawlers Crawlers : * Απαλλαγή: /
• Απαγορεύω: . Καθορίζει τον κατάλογο ή τη σελίδα στον τομέα της ρίζας που δεν μπορείτε να σαρώσετε τον παράγοντα χρήστη που ορίζεται παραπάνω. Εάν αυτή η σελίδα πρέπει να ορίσει την πλήρη διαδρομή σε αυτήν, όπως στη γραμμή διευθύνσεων του προγράμματος περιήγησης. Εάν αυτός είναι ένας κατάλογος, η διαδρομή προς αυτό πρέπει να τελειώσει με μια κάθετο (/). Η μπαλαντέρ υποστηρίζεται * για να ορίσει το προθέμα ή το κατάληργο \u200b\u200bδιαδρομή ή ολόκληρο το μονοπάτι.
• Επιτρέπω: Σε κάθε κανόνα πρέπει να υπάρχει τουλάχιστον μία οδηγία απαγόρευσης: ή να επιτρέψει:. Καθορίζει τον κατάλογο ή τη σελίδα στον τομέα της ρίζας που δεν μπορείτε να σαρώσετε τον παράγοντα χρήστη που ορίζεται παραπάνω. Χρησιμοποιείται για να ακυρώσει τον κανονισμό που απαγορεύει την απαγόρευση και να επιτρέψει τη σάρωση του υποκατάστατου ή σελίδων σε ένα κλειστό κατάλογο σάρωσης. Εάν αυτή η σελίδα πρέπει να ορίσει την πλήρη διαδρομή σε αυτήν, όπως στη γραμμή διευθύνσεων του προγράμματος περιήγησης. Εάν αυτός είναι ένας κατάλογος, η διαδρομή προς αυτό πρέπει να τελειώσει με μια κάθετο (/). Η μπαλαντέρ υποστηρίζεται * για να ορίσει το προθέμα ή το κατάληργο \u200b\u200bδιαδρομή ή ολόκληρο το μονοπάτι.
• Sitemap: Προαιρετικά, τέτοιες οδηγίες μπορεί να είναι κάπως ή να μην είναι εντελώς. Καθορίζει τη θέση του αρχείου Sitemap που χρησιμοποιείται σε αυτόν τον ιστότοπο. Η διεύθυνση URL πρέπει να είναι πλήρης. Η Google δεν προχωράει και δεν ελέγχει τις παραλλαγές URL με προθέματα http και https ή με το www ή χωρίς αυτό. Τα αρχεία Sitemap αναφέρουν την Google, τι περιεχόμενο Χρειάζομαι σάρωση και πώς να το διακρίνει από το περιεχόμενο ότι μπορώ ή Είναι αδύνατο σάρωση. Εξοικειωθείτε με πρόσθετες πληροφορίες σχετικά με τα αρχεία Sitemap. Παράδειγμα: Sitemap: https://example.com/sitemap.xml sitemap: http://www.example.com/sitemap.xml

Αγνωστος Λέξεις-κλειδιά αγνοώ.

Ένα ακόμη παράδειγμα

Το αρχείο robots.txt αποτελείται από ένα ή περισσότερα σύνολα κανόνων. Κάθε σετ ξεκινά με τη συμβολοσειρά του παράγοντα χρήστη, η οποία καθορίζει το ρομπότ με τους κανόνες του σετ. Εδώ είναι ένα παράδειγμα ενός αρχείου με δύο κανόνες. Εξηγούνται από τα ενσωματωμένα σχόλια:

# Αποκλεισμός της πρόσβασης ρομπότ του Googlebot στο Expemple.com/directory1 / ... και το παράδειγμα.com/directory1 / ... και το παράδειγμα.com/directory2 / ... # αλλά επιτρέπουν την πρόσβαση στον κατάλογο2 / subdirectory1 / ... # Η πρόσβαση σε όλους τους άλλους καταλόγους επιτρέπεται από προεπιλογή. Αντιπρόσωπος χρήστη: Googlebot DELAFT: / Directory1 / Derallow: / Κατάλογος2 / Αφήστε: / Directory2 / Subidirector1 / # Αποκλεισμός πρόσβασης σε ολόκληρο τον ιστότοπο σε άλλη μηχανή αναζήτησης. Αντιπρόσωπος χρήστη: ΆγριαCrawler Απαλλαγή: /

Full Syntax File Robots.txt

Η πλήρης σύνταξη περιγράφεται σε αυτό το άρθρο. Συνιστούμε να εξοικειωθείτε με αυτό, όπως στη σύνταξη του αρχείου robots.txt υπάρχουν κάποιες σημαντικές αποχρώσεις.

Χρήσιμοι κανόνες

Ακολουθούν ορισμένοι κοινούς κανόνες για το αρχείο robots.txt:

Ήταν χρήσιμο αυτό το άρθρο;

Πώς μπορώ να βελτιώσω αυτό το άρθρο;