Automatische Proxy-Erkennung. Erstellen Sie einen persönlichen Web-Proxy

1. Einleitung

Dieser Artikel konzentriert sich auf die nicht standardmäßige Verwendung von PHP: um ein PHP-Verkehrskomprimierungsskript zu erstellen, das als virtueller Proxyserver verwendet werden kann. PHP-Profis werden hier kaum etwas Neues finden: Diese Anwendung von PHP ist nicht mein Know-how und es werden keine speziellen PHP-Funktionen verwendet. Im Rest dieses Artikels erfahren Sie, wie Sie beim Surfen im Internet Kilo-Megabyte sparen können. Ich wäre nicht überrascht, wenn jemand, der nach dem Lesen dieses Artikels abenteuerlustig ist, morgen beginnt, seine Megabytes zu sparen. Vor allem, nachdem er gelernt hat, wie man ein Schema für die transparente Arbeit dieses virtuellen Proxys erstellt.

In den frühen Tagen meiner DFÜ-Jugend tauschten Modems komprimierte Daten aus, was die endgültige Geschwindigkeit beim Surfen im Internet im Vergleich zum Herunterladen eines Zip-Archivs erhöhte. Somit wurden dem Kunden Zeit und Geld durch die Belastung der Modemprozessoren während der Komprimierung gespart. Andere Zeiten sind gekommen: Dialup verliert unter dem Ansturm der Standleitungen allmählich an Boden. Und hier ist in der Regel keine Rede von einer Komprimierung des Datenverkehrs bei der Rechenleistung von jemandem: Der Datenverkehr geht in seiner ursprünglichen Form, er wird nicht um ein Byte komprimiert
(wenn das nicht nebenbei erledigt wurde
Server). Aber Sie können es komprimieren! ..

Dazu benötigen wir eine weitere Verbindung zwischen dem Browser und dem Webserver, die wie ein Modem den gesamten eingehenden (für den Browser eingehenden) Verkehr komprimiert. Dieser Link wird ein scheinbar gewöhnliches PHP-Skript auf einem entfernten Webserver sein. Dieses Skript lädt als Reaktion auf eine speziell zusammengestellte Anfrage die gewünschte Seite herunter und gibt sie in komprimierter Form an den Browser weiter. Grundvoraussetzungen für das Hosting, auf dem sich dieses PHP-Skript befindet: das Fehlen von Hoster-Bannern, die Möglichkeit, CURL und GZIP zu verwenden (Sie können deren Verfügbarkeit überprüfen, indem Sie das Skript mit einem Funktionsaufruf ausführen
phpinfo).

Um den Betriebsmechanismus des Zwibesser zu verstehen, betrachten wir die Technologie seines Betriebs genauer.

Die folgende Abbildung zeigt schematisch drei Möglichkeiten zum Laden einer Seite: einen regulären Aufruf, Datenkomprimierung auf einem Staging-Server und transparentes Arbeiten mit Seitenkomprimierung auf einem Staging-Server. Betrachten wir, was in jedem Fall passiert.

2. Abrufen der Seite durch den Browser aus dem Netzwerk

2.1. Regelmäßiger Anruf

Angenommen, der Benutzer interessiert sich für die Seite page.html auf dem site.com-Server. Es gibt die URL site.com/page.html in die Adressleiste ein. Der Browser stellt dann über das Netzwerk eine http-Anfrage für die Seite http://site.com/page.html (in der Abbildung ein dünner gestrichelter Pfeil, zuerst von links). Als Antwort auf diese Anfrage gibt der Webserver von site.com eine http-Antwort an den Browser aus, gefolgt vom Hauptteil der Seite page.html (in der Abbildung der fette Pfeil, zweiter von links). Danach zeigt der Browser dem Benutzer den Inhalt der empfangenen Seite auf dem Monitorbildschirm an.

2.2. Komprimieren von Daten auf einem Staging-Server

Lassen Sie uns einen Zwischenserver webzip.com zwischen dem Browser und dem Webserver site.com einführen, auf dem die Daten komprimiert werden. Der Algorithmus zum Abrufen der Seite page.html ist derselbe wie im vorherigen Fall, außer dass der Browser die Seite nicht direkt von site.com, sondern über webzip.com anfordert. Darüber hinaus geht die volle Größe (unkomprimierte Daten) nur zwischen site.com und webzip.com, zwischen dem Browser und webzip.com wird der Hauptteil der Seite in komprimierter Form angezeigt (in der Abbildung - der fette gestrichelte Pfeil, der dritte von der links). Beachten Sie, dass aufgrund der Verwendung der PHP-Funktionen zum Komprimieren der Seite die vom Browser angeforderte Adresse wie folgt aussieht: http://webzip.com/myzip.php?url=http://site.com/page.html . Der Webserver (webzip.com), der diese Anfrage erhalten hat, ruft das Skript myzip.php auf, und das wiederum stellt durch den get-Parameter (es sei ein Parameter namens "url") des Aufrufs eine Anfrage an http://site.com/page.html. Das Skript myzip.php sendet die resultierende Seite in komprimierter Form an den Browser.

2.3. Transparentes Arbeiten mit Seitenkomprimierung auf einem Staging-Server

Dieser unterscheidet sich vom vorherigen Fall dadurch, dass der Betrieb des virtuellen Komprimierungs-Proxys für den Browser und damit für den Benutzer nicht sichtbar ist. Dies wird durch die Einführung einer weiteren Verknüpfung zwischen webzip.com und dem Browser erreicht. Dieser Link ist ein regulärer http-Proxy, der unter anderem dafür verantwortlich ist, ausgehende HTTP-Request-Header umzuschreiben (zum Beispiel von http://site.com/page.html nach
http://webzip.com/myzip.php?url=http://site.com/page.html).

3. Transparente Arbeit einrichten

3.1. Skripte installieren

Sie können hier Skripte herunterladen, die alle oben genannten Funktionen implementieren. V
drei Dateien: myzip.php, func.inc.php, log.php. Die erste ist die Hauptdatei, auf die der Client zugreift. Der zweite enthält Funktionsdefinitionen für den ersten. Die dritte dient dazu, Statistiken des Proxy-Vorgangs anzuzeigen (enthält eine Vorlage für die Statistikseite, die Essenz stammt aus der log.log und
zählen.log).

Wie bereits erwähnt, sollten Skripte auf jedem Hosting platziert werden, das PHP, CURL, ZLIB-Unterstützung und keine Banner bietet. Im Internet ist dies für 30 Rubel im Monat leicht zu finden.

Lassen Sie sich vom kostenpflichtigen Hosting nicht einschüchtern - es wird sich leicht auszahlen. Wenn Sie beispielsweise 0,05 USD / MB bezahlen, benötigen Sie 20 gespeicherte Megabyte, um das Hosting zu bezahlen, ein weiterer Vorteil. Nach meiner Erfahrung liegt dies in der Größenordnung von 100-150 MB beim Surfen im Internet (die durchschnittliche Komprimierung beträgt 4-7 Mal, obwohl es bis zu 12 sind).

Sie können die Richtigkeit der Arbeit überprüfen, indem Sie die folgende Adresse in den Browser eingeben: http://webzip.com/myzip.php?url=http://ya.ru. Wenn alles richtig gemacht wurde, wird die Yandex-Seite mit einem leicht geänderten Titel geladen.
(Titel).

3.2. Konfigurieren von Proxomitron

Gebrauchte Proxomitron-Ver. Naoko 4.4 (http://www.proxomitron.ru).

Wir wollen also vom proxomitron die Möglichkeit bekommen, transparent mit Web-Proxies zu arbeiten, also die versteckte Konvertierung ausgehender URLs aus dem Browser. Drücken Sie dazu im Hauptfenster des proxomitrons auf die Schaltfläche "Headers". Scrollen Sie im sich öffnenden Fenster ("HTTP Header Filters" / "HTTP Header Filters") nach unten zur Zeile "URL: Alias ​​​​Redirector (Out)", wählen Sie diese aus. Wir drücken die Schaltfläche "Bearbeiten" ("Bearbeiten"), in
Füllen Sie im geöffneten Fenster ("Header-Filter-Editor" / "HTTP-Header-Filter-Editor") die Felder wie folgt aus (alle außer dem ersten):

HTTP-Header (! Nicht ändern!) URL: Alias ​​Redirector (Out)
URL-Übereinstimmung *
Header-Wertübereinstimmung *
Ersatztext $ RDIR (http://webzip.com/myzip.php?url=\u)
Dabei ist http://webzip.com/ die URL Ihrer Site, myzip.php der Name des Skripts, das Sie auf die Site hochgeladen haben.

Der springende Punkt ist in der letzten Zeile: das proxomitron ändert jede URL (Parameter "\ u") vom Browser zu http://webzip.com/myzip.php?url=\u. Wenn Sie den Befehl $ JUMP anstelle von $ RDIR schreiben, arbeitet das proxomitron halbtransparent: Der Browser leitet einfach auf die neue URL um. Wenn $RDIR verwendet wird, ist die Umleitung für den Browser unsichtbar.

Wir schließen die Fenster, indem wir nacheinander „Ok“, „Übernehmen“, „Ok“ drücken. Wenn Sie diesen Vorgang nicht wiederholen möchten, speichern Sie die Einstellungen.

Im Browser registrieren wir einen Proxy-Server mit IP = 127.0.0.1 und Port 8080 (der Port, auf den das proxomitron standardmäßig lauscht).
Sie können sicherstellen, dass das System zur Verkehrskomprimierung auf die gleiche Weise funktioniert - indem Sie die Seitentitel ändern (neu