Αυτόματος εντοπισμός διακομιστή μεσολάβησης. Δημιουργήστε έναν προσωπικό διακομιστή μεσολάβησης ιστού

1. Εισαγωγή

Αυτό το άρθρο θα επικεντρωθεί σε μια μη τυπική χρήση της PHP: για τη δημιουργία ενός σεναρίου συμπίεσης κίνησης PHP που μπορεί να χρησιμοποιηθεί ως εικονικός διακομιστής μεσολάβησης. Οι επαγγελματίες του μπροστινού PHP δύσκολα θα βρουν κάτι νέο εδώ: αυτή η χρήση της php δεν είναι η τεχνογνωσία μου και δεν χρησιμοποιούνται ειδικές συναρτήσεις php. Το υπόλοιπο αυτού του άρθρου θα μάθει για έναν νέο τρόπο εξοικονόμησης kilo-mega-gigabytes κατά την περιήγηση στο διαδίκτυο. Δεν θα εκπλαγώ αν κάποιος τολμηρός αφού διάβασε αυτό το άρθρο αρχίσει να αποθηκεύει τα megabytes του αύριο. Ειδικά αφού μάθει πώς να δημιουργεί ένα σχήμα για τη διαφανή εργασία αυτού του εικονικού διακομιστή μεσολάβησης.

Στις πρώτες μέρες της νεότητάς μου μέσω τηλεφώνου, τα μόντεμ αντάλλαζαν συμπιεσμένα δεδομένα, γεγονός που έκανε την τελική ταχύτητα περιήγησης στον ιστό μεγαλύτερη σε σύγκριση με τη λήψη ενός αρχείου zip. Έτσι, ο χρόνος και τα χρήματα του πελάτη εξοικονομήθηκαν λόγω του φορτίου στους επεξεργαστές μόντεμ κατά τη συμπίεση. Ήρθαν κι άλλες εποχές: το dialup σταδιακά χάνει έδαφος υπό την επίθεση αποκλειστικών γραμμών. Και εδώ, κατά κανόνα, δεν γίνεται λόγος για οποιαδήποτε συμπίεση της κίνησης στην επεξεργαστική ισχύ κάποιου: η κυκλοφορία πηγαίνει στην αρχική της μορφή, δεν συμπιέζεται από ένα byte
(εάν αυτό δεν ληφθεί μέριμνα στο πλάι
υπηρέτης). Αλλά μπορείτε να το συμπιέσετε! ..

Για να γίνει αυτό, χρειαζόμαστε έναν ακόμη σύνδεσμο μεταξύ του προγράμματος περιήγησης και του διακομιστή web, ο οποίος, όπως ένα μόντεμ, θα συμπιέζει όλη την εισερχόμενη (εισερχόμενη για το πρόγραμμα περιήγησης) κίνηση. Αυτός ο σύνδεσμος θα είναι ένα φαινομενικά συνηθισμένο σενάριο php σε έναν απομακρυσμένο διακομιστή ιστού. Είναι αυτό το σενάριο που, ως απάντηση σε ένα ειδικά διαμορφωμένο αίτημα, θα κατεβάσει τη σελίδα που χρειάζεστε και θα τη δώσει στο πρόγραμμα περιήγησης σε συμπιεσμένη μορφή. Οι βασικές απαιτήσεις για τη φιλοξενία στην οποία βρίσκεται αυτό το σενάριο php: απουσία banner hoster, δυνατότητα χρήσης CURL και GZIP (μπορείτε να ελέγξετε τη διαθεσιμότητά τους εκτελώντας το σενάριο με μια κλήση στη συνάρτηση
phpinfo).

Για να κατανοήσουμε καλύτερα τον μηχανισμό λειτουργίας του ενδιάμεσου συστήματος συμπίεσης κυκλοφορίας, ας εξετάσουμε αναλυτικότερα την τεχνολογία λειτουργίας του.

Το παρακάτω σχήμα δείχνει ένα διάγραμμα τριών επιλογών για τη φόρτωση μιας σελίδας: μια κανονική κλήση, συμπίεση δεδομένων σε διακομιστή σταδιοποίησης και διαφανή εργασία με συμπίεση σελίδας σε διακομιστή σταδιοποίησης. Ας εξετάσουμε τι συμβαίνει σε κάθε περίπτωση.

2. Λήψη της σελίδας από το πρόγραμμα περιήγησης από το δίκτυο

2.1. Τακτική κλήση

Ας υποθέσουμε ότι ο χρήστης ενδιαφέρεται για τη σελίδα page.html στον διακομιστή site.com. Πληκτρολογεί τη διεύθυνση URL site.com/page.html στη γραμμή διευθύνσεων. Μετά από αυτό, το πρόγραμμα περιήγησης κάνει ένα http-αίτημα για τη σελίδα http://site.com/page.html μέσω του δικτύου (στο σχήμα υπάρχει ένα λεπτό διακεκομμένο βέλος, πρώτα από τα αριστερά). Σε απάντηση σε αυτό το αίτημα, ο διακομιστής web site.com εκδίδει μια απάντηση http στο πρόγραμμα περιήγησης ακολουθούμενη από το σώμα της σελίδας page.html (στο σχήμα, το έντονο βέλος, δεύτερο από αριστερά). Μετά από αυτό, το πρόγραμμα περιήγησης εμφανίζει τα περιεχόμενα της σελίδας που προκύπτει στον χρήστη στην οθόνη της οθόνης.

2.2. Συμπίεση δεδομένων σε διακομιστή σταδιοποίησης

Ας εισαγάγουμε έναν ενδιάμεσο διακομιστή webzip.com μεταξύ του προγράμματος περιήγησης και του διακομιστή web site.com, στον οποίο θα συμπιέζονται τα δεδομένα. Ο αλγόριθμος για την ανάκτηση της σελίδας page.html είναι ο ίδιος όπως στην προηγούμενη περίπτωση, με τη διαφορά ότι το πρόγραμμα περιήγησης ζητά τη σελίδα όχι απευθείας από το site.com, αλλά μέσω του webzip.com. Επιπλέον, το πλήρες μέγεθος (ασυμπίεστα δεδομένα) πηγαίνει μόνο μεταξύ site.com και webzip.com, μεταξύ του προγράμματος περιήγησης και του webzip.com το σώμα της σελίδας πηγαίνει σε συμπιεσμένη μορφή (στο σχήμα - ένα έντονο διακεκομμένο βέλος, τρίτο από το αριστερά). Σημειώστε ότι λόγω της χρήσης των δυνατοτήτων της php για συμπίεση της σελίδας, η διεύθυνσή της, που ζητήθηκε από το πρόγραμμα περιήγησης, θα μοιάζει με http://webzip.com/myzip.php?url=http://site.com/page.html . Ο διακομιστής ιστού (webzip.com), έχοντας λάβει αυτό το αίτημα, καλεί το σενάριο myzip.php και αυτό, με τη σειρά του, από την παράμετρο get (ας είναι μια παράμετρος που ονομάζεται "url") της κλήσης κάνει ένα αίτημα για να http://site.com /page.html. Η σελίδα που προκύπτει αποστέλλεται από το σενάριο myzip.php στο πρόγραμμα περιήγησης σε συμπιεσμένη μορφή.

2.3. Διαφανής εργασία με συμπίεση σελίδων σε διακομιστή σταδιοποίησης

Αυτό διαφέρει από την προηγούμενη περίπτωση στο ότι η λειτουργία του εικονικού διακομιστή μεσολάβησης συμπίεσης για το πρόγραμμα περιήγησης, άρα και για τον χρήστη, δεν είναι ορατή. Αυτό επιτυγχάνεται με την εισαγωγή μιας άλλης σύνδεσης μεταξύ του webzip.com και του προγράμματος περιήγησης. Αυτός ο σύνδεσμος είναι ένας κανονικός διακομιστής μεσολάβησης http, ο οποίος, μεταξύ άλλων, είναι υπεύθυνος για την επανεγγραφή των εξερχόμενων κεφαλίδων αιτημάτων http (για παράδειγμα, από http://site.com/page.html σε
http://webzip.com/myzip.php?url=http://site.com/page.html).

3. Ρύθμιση διαφανούς εργασίας

3.1. Εγκατάσταση σεναρίων

Μπορείτε να κατεβάσετε σενάρια που υλοποιούν όλα τα παραπάνω. V
τρία αρχεία: myzip.php, func.inc.php, log.php. Το πρώτο είναι το κύριο αρχείο στο οποίο έχει πρόσβαση ο πελάτης. Το δεύτερο περιέχει ορισμούς συναρτήσεων για το πρώτο. Το τρίτο προορίζεται για την εμφάνιση στατιστικών στοιχείων της λειτουργίας διακομιστή μεσολάβησης (περιέχει ένα πρότυπο της σελίδας στατιστικών στοιχείων, η ουσία λαμβάνεται από το log.log και
καταμέτρηση.log).

Όπως αναφέρθηκε προηγουμένως, τα σενάρια θα πρέπει να τοποθετούνται σε οποιοδήποτε hosting έχει υποστήριξη PHP, CURL, ZLIB και χωρίς banner. Στο Διαδίκτυο, αυτό μπορεί να βρεθεί εύκολα για 30 ρούβλια το μήνα.

Μην σας τρομάζει η επί πληρωμή φιλοξενία - θα αποδώσει εύκολα. Για παράδειγμα, εάν πληρώσετε 0,05 $ / MB, θα χρειαστείτε 20 αποθηκευμένα megabyte για να πληρώσετε για τη φιλοξενία, επιπλέον όφελος. Από την εμπειρία μου, πρόκειται για περίπου 100-150 MB περιήγησης στο διαδίκτυο (η μέση συμπίεση είναι 4-7 φορές, αν και μπορεί να βρεθεί έως και 12).

Μπορείτε να ελέγξετε την ορθότητα της εργασίας πληκτρολογώντας την ακόλουθη διεύθυνση στο πρόγραμμα περιήγησης: http://webzip.com/myzip.php?url=http://ya.ru. Εάν όλα γίνονται σωστά, η σελίδα Yandex θα φορτωθεί με έναν ελαφρώς τροποποιημένο τίτλο
(τίτλος).

3.2. Διαμόρφωση Proxomitron

Μεταχειρισμένα Proxomitron ver. Naoko 4.4 (http://www.proxomitron.ru).

Θέλουμε, λοιπόν, να επιτύχουμε από το proxomitron τη δυνατότητα διαφανούς εργασίας με web proxies, με άλλα λόγια, την κρυφή μετατροπή εξερχόμενων URL από το πρόγραμμα περιήγησης. Για να το κάνετε αυτό, στο κύριο παράθυρο του proxomitron, πατήστε το κουμπί "Headers". Στο παράθυρο που ανοίγει ("HTTP Header Filters" / "HTTP Header Filters"), μετακινηθείτε προς τα κάτω στη γραμμή "URL: Alias ​​​​Redirector (Out)", επιλέξτε το. Πατάμε το κουμπί "Αλλαγή" ("Επεξεργασία"), μέσα
Στο παράθυρο που ανοίγει ("Επεξεργαστής φίλτρου κεφαλίδας" / "Επεξεργαστής φίλτρου κεφαλίδας HTTP") συμπληρώστε τα πεδία ως εξής (όλα εκτός από το πρώτο):

Διεύθυνση URL κεφαλίδας HTTP (! Να μην αλλάξει!): Ψευδώνυμο Ανακατεύθυνση (Έξοδος)
Αντιστοιχία διεύθυνσης URL *
Αντιστοίχιση τιμής κεφαλίδας *
Κείμενο αντικατάστασης $ RDIR (http://webzip.com/myzip.php?url=\u)
Όπου http://webzip.com/ είναι η διεύθυνση URL του ιστότοπού σας, myzip.php είναι το όνομα του σεναρίου που ανεβάσατε στον ιστότοπο.

Το όλο θέμα βρίσκεται στην τελευταία γραμμή: το proxomitron θα αλλάξει οποιαδήποτε διεύθυνση URL (παράμετρος "\ u") από το πρόγραμμα περιήγησης σε http://webzip.com/myzip.php?url=\u. Εάν γράψετε την εντολή $ JUMP αντί για $ RDIR, τότε το proxomitron θα λειτουργεί ημιδιαφανές: το πρόγραμμα περιήγησης απλώς θα ανακατευθυνθεί στη νέα διεύθυνση URL. Στην περίπτωση χρήσης $ RDIR, η ανακατεύθυνση θα είναι αόρατη στο πρόγραμμα περιήγησης.

Κλείνουμε τα παράθυρα πατώντας διαδοχικά «Ok», «Apply», «Ok». Εάν θέλετε να μην επαναληφθεί ξανά αυτή η διαδικασία, αποθηκεύστε τις ρυθμίσεις.

Στο πρόγραμμα περιήγησης, καταχωρούμε έναν διακομιστή μεσολάβησης με IP = 127.0.0.1 και θύρα 8080 (η θύρα που ακούει το proxomitron από προεπιλογή).
Μπορείτε να βεβαιωθείτε ότι το σύστημα συμπίεσης κίνησης λειτουργεί με τον ίδιο τρόπο - αλλάζοντας τίτλους σελίδων (νέο