Die Praxis der Implementierung komplexer OLTP-Systeme. Offene Bibliothek - offene Bildungsbibliothek

Alles begann mit einer Geschichte, die vor drei Jahren in meiner beruflichen Karriere stattfand, als ich in Kirgisistan arbeitete, in einem Unternehmen, das ein Netzwerk von Einzelhandelsgeschäften war. Dann hatte ich ein Gespräch mit meinem Direktor, der sagte: "Denis, wir haben einen der wichtigen, kritischen Operationen, um ein Dokument" Check "an der Abendkasse durchzuführen. Wie können wir diesen Prozess so weit wie möglich beschleunigen, parallelen Sie es, während wir operative Überreste bekommen? "

Sofort werde ich sagen, dass wir damals die Plattform 8.1 und automatische Schlösser benutzt haben. Und dann antwortete ich ihm, dass ja, wir können zu verwalteten Schlössern wechseln und diesen Prozess auf dem Niveau der Nomenklatur aufzeichnen. Zu dem er mir eine natürliche Frage gestellt hat: "Was passiert, wenn wir eine und dieselbe Nomenklatur zur gleichen Zeit haben?" Dann konnte ich diese Frage nicht etwas verständliche Antwort geben, aber ich hoffe, jetzt wird es für mich funktionieren.

Hardware-Entwicklung Trends.

Wenn wir ansehen industrieentwicklungEs in den letzten JahrenWir werden sicher sehen trends in der Hardware.:

• Der erste Trend betrifft den Gedächtnis. Niemand ist Nachrichten, die die Erinnerung mit der Zeit billiger ist, und im Moment wir bereits wir können eine ziemlich große Erinnerung für relativ wenig Geld bekommen..
• Zweiter Trend - gemäß den Prozessoren. Jeder kennt die Einhaltung des Produktivitätswachstums, der Energieverbrauch und der Temperatur der Prozessortemperatur gemäß dem Moore-Gesetz. An einem bestimmten Punkt ist diese Korrespondenz auf dem Niveau eines Kerns vorbei (jetzt haben wir lange Zeit einen Kern, der nicht lange ausführen kann einfache Bedienung. Schneller als zuvor), aber es fuhr auf der Ebene vieler Kerne (Multi-Core-Prozessoren) fort. Daher gehen alle unsere Hoffnungen und Gedanken auf das Gebiet der parallelen Rechenrechnung und wirals Entwickler und Architekten dbms, um die Leistung unserer Anwendungen zu verbessern, muss in ihnen geplant werden.

Geschäftsanwendungsentwicklung Trends

Und was passiert zu dieser Zeit auf Geschäftsebene.? Wir beobachten: mehr als mehr Benutzerdas ist immer mehr geräteauf dem eine zunehmende Menge durchgeführt wird programmund das alles wiederum erzeugt einen steigenden Betrag daten.

Dabei die meisten dieser Prozesse werden von Wolken unterstützt..

Zusätzlich zu den Wolken gibt es noch ein solches Wesen als Mobilität, die eine Kombination von allen ist mobile GeräteNeben Programmen und Daten werden sie generiert.

Wolken und Mobilität wurden immer miteinander verbunden, und es ist aus der Wechselwirkung dieser beiden Entitäten in der Zukunft, in der wir einigen Durchbrüchen bekommen können. Eine solche Interaktion führte zu dem Erscheinungsbild einer im Westen bekannten Strategie: Mobile-First - Cloud-First (zunächst mobil und ursprünglich bewölkt).

Die IT-Branche hat sich immer geändert, und nun ändert sich die Transformation. Und in dieser Welt, zunächst mobil und anfangs Wolken, erhöht das Tempo der Bildung kontinuierlich Diese daten und das Wachstum dessen - exponentiell. Basierend auf es besteht ein Problem der Erhaltung, Akkumulation und Aktualisierung von Informationen.was mit ständig steigender Geschwindigkeit in unsere Systeme fällt.

Beziehungsweise, Es besteht ein Bedarf an speziellen Technologien. Und wenn der Abschluss speziell in der Memory OLTP abgeschlossen ist, ist dies nur eine der vielen Technologien, die im Moment entworfen wurden, um die Weiterentwicklung der IT-Branche sicherzustellen.

In-Memory-OLTP-Technologie

Warum tauchte eine In-Memory-OLTP-Technologie auf? Und warum ist es wichtig?

• Tatsache ist, dass das Unternehmen alle großen Anforderungen angibt:
  • zur Mehrfachbandbreite:
  • auf den erwarteten OLTP-Prozess mit projizierter Geschwindigkeit und minimalen Verzögerungen und für Kleingeld.
• Hardware ergibt sich wiederum Anforderungen an relationale Datenbanken, sodass sie den neuesten Änderungen der Hardwarechsure erfüllen.

Beziehungsweise, Im-erinnerung.OLTP. - Das: hochleistungsmechanismus, was das trifft moderne Hardware undmaximal optimiert, um mit dem Gedächtnis zu arbeiten.

Und vor allem in der Memory-OLTP ist nicht ein separates Produkt (keine separate Lizenz, für die Sie zahlen müssen). Mit ... anfangenSQL.Server 2014.In-Memory OLTP - dies ist Teil des Kernsvon diesem Produkt. welches ist als Teil des Redaktionsbüros erhältlichUnternehmen..

Hier sehen Sie. drei Hauptkomponenten, die technologisch sindIm-erinnerung.OLTP.. Sie erlauben ihr, einen solchen Durchbruch auszuführen:

• Der erste ist eine klare Installation auf der Tatsache, dass alle Daten sind in der Erinnerung.
• Der zweite, was wichtig ist: diese daten befinden sich inbesonders gestaltet frei von Blockieren von Datenstrukturen.
• Und der dritte ist eine native, native Zusammenstellung. Es repräsentiert gespeicherte Prozeduren enthalten Geschäftslogik, die in den Speichercode im Speicher zusammengestellt werdenSQL Server.

Vergleich der Interaktionsinfrastruktur (traditionelles Schema und In-Memory-OLTP)

Wenn wir lassen Sie uns das Interaktionsschema und DBMS des traditionellen Kunden sehenDann ist alles offensichtlich:

• Wir haben kunde mit seinen Kundenherausforderungen,
• es gibt server 1c: Enterprise, was das platz für alle Geschäftslogik.
• Und ist dBMS-Server. Es wird hauptsächlich im traditionellen Schema verwendet zur Manipulation mit Daten (und insbesondere - für vier Operationen: Probe, Akkumulation, Änderung und Löschung).

Im Falle eines SchemasIm-Erinnerung.OLTP. Als Teil der 1C-Plattform variiert das Schema ein wenig variiert:

• Bleiben übrig Das gleiche kunden mit ihren Kundenherausforderungen.
• Aber in diesem Fall server 1c: Enterprise Wenig transformiert. Im Allgemeinen bleiben alle seine Funktionen und Ernennung vollständig, aber jetzt kann nicht gesagt werden, dass er alle bestehenden Geschäftslogik vollständig steuert. Hier rief ich es als Schicht des Softwareservers an. Warum?
  • Weil eine zusätzliche externe direkte Verbindung zum DBMS wird angezeigt, mit dem die gespeicherten Prozeduren herausgefordert werdenIch habe schon früher gesprochen.
  • Wesen Diese gespeicherte Prozeduren Nun besteht aus um Datentransaktionen gemäßspielzeug Geschäftslogikwas Sie auf der DBMS-Ebene gelegt haben.

Ein lebendiges Beispiel dafür, wie die physische Schicht "Sweep" auf der Ebene logisch ist.

Der Hauptvorteil des In-Memory-OLTP

Hier auf der Folie listet einige der Hauptmerkmale der OLTP-Technologie in der Memory auf. Sie können dies im Internet näher lesen (hauptsächlich auf der Microsoft-Website sowie in einer Vielzahl von Blogs westlicher Entwickler). Hier möchte ich eine Nuance klären, die ich noch nicht gesagt habe: Eine völlig neue Sache erschien in der Memory OLTP multivoression optimistische Kontrolle der parallelen Ausführung. Im Rahmen abwesend irgendein das Konzept der Schlösser beim Arbeiten mit Daten. Wenn es funktioniert, sind Konflikte zwischen verschiedenen Flussmitteln selten, aber wenn sie passieren, werden sie schnell gelöst, und es ist nicht notwendig, eine sehr lange Zeit zu warten, wie bei der Verwendung eines Standard-Blockiermechanismus.

Testskript zum Überprüfen der In-Memory-OLTP-Technologie in der 1C-Plattform

Analyse der Chancen, die Technologie in-Memory OLTP ergeben, entschied ich mich, ein ziemlich einfaches Testszenario zu implementieren, um die Arbeit dieser Technologie als Teil der 1C-Plattform zu überprüfen. Demonstrationsumgebung.was ich als Ergebnis herausstellte sieht aus wie das:

• Ich habe genommen Sehr einfach Konfiguration mit einem Akkumulationsregisterin dem die Überreste der Nomenklatur im Rahmen der Menge berücksichtigt wurden.
• Auch in dieser Konfiguration war es auch zwei Dokumente - Ankunft und KonsumIn dem die folgende Geschäftslogik implementiert wurde:
  • Das Ankunftsdokument bereitgestellte Unterstützung für den Mindestrückstand.
  • Und beim Durchführen eines Dokuments wurde der Durchfluss durch das Fehlen von Nullrückständen gesteuert.
• Zum wettbewerbsfähig simulieren Multi-Thread belastung Bei der Durchführung dieser Dokumente ich verwendet einen Standardansatz mit HintergrundprozessenWer war der überwältigende Mehrheit, um den Fluss des Flusses auszuführen.
• Es sollte auch darauf hingewiesen werden, dass ich in meinem Demonstrationsnetzwerk verwendet habe zwei virtuelle Maschinen:
  • Einer - für Server 1c: Enterprise,
  • Und der andere - zumSQL Server.

Aber beide virtuellen Maschinen waren jedoch innerhalb eines Virtualisierungshosts.

Erste Messung - Grundkennzeichen

Nachdem dieses System implementiert wurde, verbrachte ich steuerung der Messung von Grundindikatoren für Standard, Traditionell Dokumente mit Mitteln 1c mit verwalteten Schlössern. Was habe ich als Ergebnis der ersten Messung erhalten?

Die Folie wird der Wert des angenommenen Indikators betont, den ich empfangen habe : 120 Dokumente pro Sekunde Mit 64 Hintergrundprozessen ist dies der Grundkennzeichen, den ich hatte.

SQL Server. - Prozessoren ruhen, nur verwaltete Schlösser funktionieren.

Die zweite Messung ist die Migration in den einzigen In-Memory-Tischen

Der nächste Schritt, den ich beschloss, die Migration der Strukturen zu erstellen, in der die Standarddaten gespeichert wurden, inIm-speichertabellen. Und nachdem ich sie migrierte, startete ich meinen Standardtest. Es passierte trotzdem: Die Mittel der 1C-Plattform wurden Dokumente durchgeführt, aber jetzt wurden sie bereits in In-Memory-Tabellen gespeichert (die Plattform selbst wusste es nicht).

Ergebnis Es stellte sich in der Umgebung heraus 150 Dokumente pro SekundeDaher ist ein kleiner Anstieg noch passiert, aber unbedeutend, und in einigen Systemen können Sie diesen Anstieg sogar nicht sehen. Im Allgemeinen in diesem Fall die Last an der Prozessoren änderte sich in keiner Weise, also gib ich ihnen nicht mal hier.

Ich möchte darauf hinzufügen, dass, wenn jemand versucht hat, dieselbe Aufgabe zu realisieren, normalerweise Probleme verursacht - ein bisschen später werde ich Ihnen sagen, wie diese Probleme gelöst werden.

Die dritte Messung - Migration in In-Memory and Tables und Business-Logik

Im dritten Schritt, abgesehen von der Tatsache, dass die Migration von Datenstrukturen inIm-memory Table wurde ebenfalls vollständig graviert undta. GeschäftslogikDas war für die Durchführung von Dokumenten erforderlich - alle erforderlichen Maßnahmen für:

• Dokumente und ihre tabellarischen Teile bilden;
• Ihre Aufzeichnungen;
• Bildung von Dokumentenunterlagen;
• Und Änderungen in den aktuellen Rückständen.

Infolgedessen wurde es empfangen ergebnis 250 Dokumente pro Sekunde. In der Tat in Bezug auf die Basisanzeige 120 und 250 ist es ein bisschen mehr als zweimal.

Hier können Sie leicht lachen und sagen, dass wir zweimal leistungsfähigere Eisen nehmen können und ungefähr das gleiche Ergebnis bekommen. Aber alles wird erklärt, wenn Sie den Prozessor-Download in diesem Fall ansehen:

• Server 1c: Unternehmen sind voll geladen;
• Während serverSQL ist nur um ein Drittel tätig.

Ich habe es geschafft, herauszufinden, dass diese Last auf dem Server 1c: das Unternehmen zeigte, dass er einfach keine Zeit hatte, diese Anzahl von Dokumenten in der Fliege zu generieren, und es hatte auch keine Zeit, um sie zu geben, um den SQL-Server vollständig herunterzuladen es.

Später war es möglich, das herauszufinden, um den SQL-Server vollständig herunterzuladen dieses BeispielEs würde ungefähr acht ähnlich dauern virtuelle Maschinen. Es würde jedoch keinen Punkt geben, weil ich nur einen Host der Virtualisierung benutzte, und ich hatte keine zusätzlichen eiserndesiven Geräte. Aber in der Zukunft wurde es nicht benötigt.

Vierte Messung - Übertragung von 15 Dokumenten für einen Anruf

Vierter Froze Ich habe es in der Hoffnung getan, dass es möglich wäre, auf einem SQL-Server in einem Netzwerkanruf mehr Arbeit zu geben. Dafür wurde die Geschäftslogik so neu geschrieben geben Sie für einen Anruf 15 Dokumente gleichzeitig. Ergebend geschwindigkeit stieg auf 550 Dokumente pro Sekunde.

Gleichzeitig, wie in den Diagrammen gesehen werden kann, server 1c: Enterprise War alles ist auch voll geladen, aberSQL Server wurde weiterhin "ausruhen".

Tatsächlich ist dieses Szenario eher falsch, da es überhaupt keinen praktischen Nutzen hat und nur als Inspektion umgesetzt wurde. In jedem Fall sehen wir jedoch eindeutig das Problem, ausreichend Last auf dem SQL Server zu übertragen, um ihn vollständig herunterzuladen.

Fünfte Messung - Start der vorbereiteten Last auf der SQL-Serverseite

Der nächste Schritt, den ich beschloss, die gesamte Last vorher zu generieren. Diese Ladung hat gesucht in Form von 64 gebildeten DateienSQL-Skripts für 700 Megabyte. ich bewegte sie zuSQL Server., und mit dem bekannten Ostrssing-Dienstprogramm, das Sie mit diesen Dateien aufheben können, um die Parallellast zu starten, empfangen das folgende Ergebnis.

• Durch den Ladeprozessor - Die daraus resultierende Testzeit wurde im Standard-Task-Dispatcher-Fenster platziert: Es gibt den Anfang der Last, dann vollständig alle Prozessoren. fast
• Infolgedessen wurde die Last erstellt 112 Tausend Dokumente Gleichzeitig waren alle Prozesse, die in der Durchführung von "Verbrauch" dokumentierten, vollständig gepflegt: Alle Rückstände wurden kontrolliert, alle Aktionen wurden durchgeführt.
• Die Last besetzt 53 häufige Sekunden.
• Wenn Sie bestimmte Berechnungen vornehmen, stellt sich das heraus durchschnittliche Zeit Ein Dokument beliefen sich auf weniger als halbe Millisekunden,
• aber die Durchschnittsgeschwindigkeit der Dokumente betrug mehr als 2000 Dokumente pro Sekunde.

Als ich dieses Ergebnis zum ersten Mal erhielt - ich konnte es nicht glauben. Stellen Sie sich vor, dass Ihnen jetzt Volumina für Sie zur Verfügung stehen, können Sie jetzt in völlig anderen Kategorien nachdenken. Und jetzt kann ich meinen ehemaligen Direktor dafür beantworten, da wir das Halten von Dokumenten "Check" an der Abendkasse beschleunigen können. Und selbst wenn wir einige Konflikte haben, blockieren, wird der Prozess selbst jetzt sehr schnell vergehen.

Migrationsmethodik.

Wenn Sie in die Migrationsmethodik zurückkehren Im-Erinnerung.OLTP.Dann sollte darauf hingewiesen werden, dass sie nicht für alle Fälle geeignet.Es ist notwendig, es nur für einige Engpässe Ihres Systems zu verwenden, wobei der schnelle Datenzugriff garantiert ist. deshalb bevor Sie diese Technologie implementieren, müssen Sie eine gründliche Analyse verbringen:

• Wenn Sie beispielsweise die Ausführungsstapel (traditionell und in Memory OLTP) vergleichen, dann bei der Netzwerkinteraktionsstufe hat sich nicht geändert. Wenn Ihr Programm (Ihre Bewerbung) sehr "gesprächig ist", den Austausch mit einem DBMS-Server eine sehr große Anzahl von Nachrichten, dann helfen Sie nicht bei der In-Memory-Technologie - hier gibt es keine Verbesserungen.
• Auch, wenn wir ansehen datenbankregistrierungsprotokoll, dann hier. ebenfallsinsbesondere Nichts hat sich geändert. Obwohl die Größe des Registrierungsprotokolls während des OL-Memory-OLSP-Betriebs reduziert ist, bleibt die Mindesttransaktionsverzögerung beim Schreiben in dieses Protokoll gleich.
• Hauptnutzen Sie kann nur auf der Ebene der Ausführung von Anfragen und Zugriff auf Daten erhalten.

Vorteil der Technologie.Im-erinnerung.OLTP. nicht in diesemdass sich die Daten im Speicher befinden. Obwohl die Technologie in Erinnerung aufgerufen wird, kommen die Gewinne nicht davon - die Beschleunigung erfolgt aufgrund von was ändert die Infrastruktur der Datenbank selbst:

• werden verwendetneu, speziell entwickelt Datenstrukturen, die Locks beraubt sind,
• und auch gespeicherte gespeicherte Prozeduren, die in Maschinencodes zusammengestellt sinddas hält Ihre kritische Geschäftslogik.

Und wenn wir das Standardsystem ansehen, dann im Falle des Hinzufügens große Zahl Threads, sie fangen schließlich an, sich gegenseitig zu stören, wodurch die Bandbreite Ihres Systems abnimmt. Gleichzeitig wird das System, wenn die In-Memory-OLTP-Technologie verwendet wird, das System weiterhin skaliert, da es keine Schlösser gibt (neue Datenstrukturen werden verwendet, die beraubt sind), und schnell kompilierte gespeicherte Prozeduren werden verwendet.

Was kann ich über das sehr sagen migrationsprozess B.Im-erinnerung.? Er im Allgemeinen besteht aus zwei SchrittenDas wiederholt sich abwechselnd:

• Der erste Schritt ist migration von Datenstrukturen.
• Und der zweite Schritt ist migration Dein kritisches

Lösen des Problems des Schreibens im Speicher von 1c

Bei der Ausarbeitung von 1C mit migrierten DBMS-Datenstrukturen sind einige Schwierigkeiten möglich. Wenn beispielsweise ein Einstieg im Rahmen der 1C-Plattform vorhanden ist, werden Sie einen Eintrag in der Tabelle oder in Dokumente (Ankunft oder Konsum) sehen, standardfehlermeldung das im Allgemeinen spricht von einigen Problemen in Isolierniveaus.

Was ist der zugehörige Fehler? Das Standard-Ausführungsschema unterstützt fünf Niveau der Isolierung, und der In-Memory-OLTP-Mechanismus ist nur drei Ebenen. Dabei die Standardplattform verwendet das IsolationsniveauLesen, zu demeinfach nicht konformität im MechanismusIm-Erinnerung.OLTP.. Dementsprechend tritt das Problem der Konsistenz zwischen diesen Niveaus der Isolation auf.

Ich versuche, diese Aufgabe zu lösen, habe ich viel Zeit verbracht. Und die Suche nach der Lösung begann mich sogar in der Reverse Engineering ("Reverse Engineering"), es schien mir, dass Sie Anfragen dynamisch abfangen müssten, die von der Plattform auf die DBMS gehen, und ihren Text in der Reihenfolge in der Reihenfolge ändern müssen So passen Sie die In-Memory-Syntax an. Es stellte sich jedoch heraus, dass sich die Lösung auf der Oberfläche befindet - es ist trivial und einfach.

In sehr SQL Server 2014, in dem die In-Memory-Technologie erschien, gibt es datenbankeigenschaft, wie is_erinnerung_optimiert_erheben_zu_schnappschuss_aUF.. Standardmäßig ist es inaktiv, deaktiviert. Dies kann mit der Abfrage überprüft werden, die auf der Folie angezeigt wird.

Beziehungsweise, wenn Sie einen Befehl ausführen, der diese Eigenschaft aktiviertT. es gibt keine Probleme mit der Kohärenz der Isolierniveaus.

Gleichzeitig erhöhen Sie das Isolationspegel, mit dem der DBMS den Standard verwendet, und es entspricht nur dem Snapshot-Isolationsniveau, der Standardeinstellung für die In-Memory-Tabellen verwendet wird. Durch die Durchführung kleiner Manipulationen auf der Seite des DBMS werden alle Dokumente und alle Daten in den Speichertabellen aufgenommen.

Allgemeine Migration der Geschäftslogik auf der Seite des DBMS

Was kann ich sagen in Bezug auf das allgemeine Migrationsschema Samoa geschäftslogik auf der Seite des DBMS?

Es enthältin dir selbst zwei Objekte:

• Zuerst ist es kompiliertes Verfahrenwas direkt erledigt wird.
• Und über ne. wrapper, der implementiertsogenannt RetryLogic. (arbeitslogik.). Warum? Da es keine Garantie gibt, dass Ihre gespeicherte Prozedur ausgeführt wird. Im Prozess seiner Ausführung können einige Konflikte auftreten, so dass es notwendig ist, es zu machen das als Ergebnisspezifischer Netzwerkanruf verfahrenImplementieren Ihrer Geschäftslogik unbedingt erforderlich bis zum Ende abgeschlossen.

Hier ungefähre Schema-Implementierung "Wrap". Hier ist AddoutCome A externe Standardt-SQL- (Wrapper). Innerhalb des Zyklus gibt es bereits ein Verfahren, das bereits in Maschinencodes zusammengestellt ist. Gesehen versuchen (Wiederholung) Block. Wenn danach ein Konflikt vorhanden ist, gibt es eine Ausnahme, in der Sie als Entwickler eine Periode des Wartens legen, so dass die widersprüchliche Transaktion ausgeführt wurde, und dementsprechend Ihre Ausführung.

Fazit

Nun, abschließend können wir das sagen migration in Tischen.Im-Erinnerung.Oltproductory bis 1c erfordert:

• Eine große Anzahl von intellektuellen und finanziellen Ressourcen,
• Anschließen einer großen Anzahl von Spezialisten.
• Nun, die grundlegendste Frage ist das support-TechnologieIm-Erinnerung.OLTP fehlt derzeit in der PlattformUnd in dieser Hinsicht können nur in Richtung 1C betrachtet werden. Zumindest hoffe ich, dass sie gut auf das Erscheinungsbild der Möglichkeit reagieren, diese Technologie innerhalb der Plattform zu nutzen.

*****************

Wir laden Sie zu einer neuen Konferenz ein.

In dem vorherigen Unterabschnitt wurde festgestellt, dass für die angemessene Darstellung des Themasbereichs die Vereinfachung der Entwicklung und der Wartung der Datenbank die Beziehung auf die dritte Normalform (es gibt keine Normalisierung und höhere Aufträge, sondern In der Praxis sind sie ziemlich selten verwendet), das heißt stark normalisiert. Gleichzeitig haben schwach normalisierte Beziehungen auch ihre Vorteile, deren Haupttage ist, wenn die Datenbank hauptsächlich nur mit Anfragen und Modifikationen anwendet und Daten zum Verhalten hinzufügt, um sehr selten zu leiten, dann wird ihre Probe viel schneller gemacht. Dies wird dadurch erläutert, dass es in der schwach normalisierten Beziehung bereits eine Kombination aus ihrer Kombination gibt, und dies ist keine verbrauchte Prozessorzeit. Zwei Systeme von Systemen werden unterschieden, für die normalisierte Beziehungen ausreichend und schwach sind.

Stark normalisierte Datenmodelle eignen sich gut für OLTP-Anwendungen - Online-Transaktionsverarbeitung (OLTP) - Anwendungen betriebsbehandlung. Transaktionen. Typische Beispiele für OLTP-Anwendungen sind Lagerbuchungssysteme, Betriebsbankensysteme und andere. Die Hauptfunktion solcher Systeme besteht darin, eine große Anzahl von kurzen Transaktionen durchzuführen. Die Transaktion selbst sind ziemlich einfach, aber die Probleme sind, dass es sehr viele solcher Transaktionen gibt, sie werden gleichzeitig durchgeführt, und wenn die Transaktion auftritt, muss die Transaktion zurückrollen und das System in einen Zustand zurückgeben, in dem dies vor der Transaktion war. Fast alle Datenbankanfragen in OLTP-Anwendungen bestehen aus dem Einfügen, Aktualisieren und Löschen von Befehlen. Sampling-Anforderungen sollen hauptsächlich Benutzerentnahmebenutzer aus verschiedenen Arten von Referenzbüchern bereitstellen. ᴀᴋᴎᴍᴀᴋᴎᴍ ᴏϭᴩᴀᴈᴏᴍ, die meisten Anfragen sind im Voraus im Systemdesign bekannt. Für OLTP-Anwendungen kritisch ist die Geschwindigkeit und Zuverlässigkeit der Implementierung kurzer Datenaktualisierungsvorgänge. Je höher der Normalisierung der Daten in OLTP-Anwendungen, desto schneller und zuverlässiger. Rückzugsvorortungen aus dieser Regel können auftreten, wenn einige häufig entstehende Anforderungen erfordern, die eine Kombination von Beziehungen und den Betrieb von Anwendungen auf der Entwicklung dieser Regel erfordern.

Eine andere Art von Anwendungen sind OLAP-Anwendungen - Online-Analitale Bearbeitung (OLAP) - Anwendung der operativen analytischen Datenverarbeitung. Dies ist ein verallgemeinerter Begriff, der die Prinzipien für den Bau von Entscheidungshilfssystemen - Entscheidungsunterstützungssystem (DSS), Data Warehouses - Data Warehouse, Data Intelligent Systems - Data Mining. Solche Systeme sind so konzipiert, dass sie Abhängigkeiten zwischen Daten finden, um die dynamische Analyse auf dem Prinzip von "What if ..." und den Wahrscheinlichkeiten zu finden. OLAP-Anwendungen arbeiten mit großen Datenanordnungen, die sich im Unternehmen angesammelt oder aus anderen Quellen entnommen. Solche Systeme zeichnen sich durch folgende Funktionen aus:

Das Hinzufügen des Systems neuer Daten erfolgt relativ selten große Blöcke, zum Beispiel einmal im Monat oder ein Viertel;

Die dem System hinzugefügten Daten werden normalerweise nie gelöscht.

vor dem Herunterladen werden Daten verschiedene vorbereitende Prozeduren unterzogen, die mit den zu definierten Formaten verbunden sind.

Systemanfragen sind nicht gewählt und recht komplex;

die Geschwindigkeit der Abfragen ist wichtig, aber nicht kritisch.

OLAP-Anwendungen-Datenbanken werden normalerweise als ein oder mehrere Hypercubes dargestellt, deren Messungen Referenzdaten sind, und die Werte dieser Daten werden in den Zellen des Hypercubes selbst gespeichert. Physisch kann Hypercube auf der Grundlage eines speziellen multidimensionalen Datenmodells errichtet werden - Multidimensionales OLAP. (MOLAP) oder wird durch ein relationales Datenmodell dargestellt - Relational Olap. (ROLAP).

In OLAP-Systemen mit einem relationalen Datenmodell sollen die Daten als schlecht normalisierte Beziehungen gespeichert werden, die vorberechnete große endgültige Daten enthalten. Die Redundanz der Daten und die damit verbundenen Probleme sind hier nicht schrecklich, da ihr Update selten recht selten ist und die Ergebnisse zusammen mit dem Datenaktualisierung neu berechnet werden.

- Möglichkeiten, um die Zuverlässigkeit des Wasserversorgungssystems sicherzustellen

Sicherstellung der Zuverlässigkeit des Wasserversorgungssystems sowie anderer Massenwartungssysteme, ist eine der Hauptaufgaben, wenn sie Design sind. Das System muss so gestaltet und gebaut sein, dass er in dem Betriebsprozess seine Funktionen von der angegebenen ... [mehr lesen]

- I. Schutzsystem Sicherheitskonzept

Das Konzept der Sicherheit des entwickelten Systems ist "Diese Reihe von Gesetzen, Regeln und Normen des Verhaltens, die festlegen, wie die Organisation Informationen verarbeitet, schützt und vertreibt. Insbesondere bestimmen die Regeln, in welchen Fällen der Benutzer das Recht hat, mit ... [mehr lesen]

- Nach den Hauptentscheidungen über das Design des Heizsystems

Entwerfen des Wasserheizungssystems. Untersuchen Sie die Wärmeknotenschemata beim Anschließen des Heizsystems durch offene und geschlossene Schaltungen. Fragen zum Selbsttest mit der Wärmeversorgung mehrerer Gebäude. Pumps und andere Geräte werden installiert ... [mehr lesen]

- Brandschutzanforderungen des Brandschutzsystems.

Grundlagen zur Gewährleistung der Brandschutzsicherheit technologischer Prozesse. Frage 2. Die fremde Prävention des Objekts (25min) Die Brandschutzbestimmung umfasst einen Komplex von organisatorischen und technischen Maßnahmen, um die Sicherheit der Menschen zu gewährleisten ... [mehr lesen]

- Gewebe und Organe von Tierorganen

Tierstoffe. Tiere unterscheiden auch mehrere Gewebesorten. Das Wichtigste von ihnen ist der folgende. Epitheliale Naturbänder sind Grenzstoffe, die den Körper draußen bedecken, die inneren Hohlräume und Organe, die Teil der Leber, Lunge, Drüsen sind ... [mehr lesen]

In den Genomen höherer Eukaryoten gibt es zahlreiche wiederholte DNA-Sequenzen. Beim Menschen, zum Beispiel, besetzen solche Wiederholungen mehr als 40% des gesamten Genoms. Und dies impliziert, dass beim Bilden einer DSBs die Wahrscheinlichkeit einer gleichzeitigen Bildung von mehreren Lücken von ... [mehr lesen]

- Definition von Blutgruppen des Systems von AVO ZOLLONI Anti-A, Anti-V und Anti-AV

Definition von Blutgruppen Gemäß dieser Regel können alle Patienten überfliegen (1) der Gruppe, da sie kein Agglutinogen enthält, und die Gruppen anderer Gruppen können die Bänder anderer Gruppen überschreiten, da es nicht enthält Agglutinogen. Daher werden die Konzepte eingeführt ...

OLAP-Systeme

OLAP (ENG. Online Analytische Verarbeitung, analytische Behandlung In Echtzeit) - Datenverarbeitungstechnologie, bestehend aus der Erstellung von Gesamt- (aggregierten) Informationen basierend auf großen Datenanordnungen, die durch ein multidimensionales Prinzip strukturiert sind. OLAP-Technologie-Implementierungen sind Bestandteile der Business Intelligence-Softwarelösungen.

Der Gründer des Begriffs Olap - Edgar Codd, der 1993 "12 Gesetze der Analytische Verarbeitung in Echtzeit" vorgeschlagen wurde.

In den Unternehmen gibt es oft mehrere Informationssysteme - Warehouse-Rechnungslegungssysteme, Rechnungslegungssysteme, ERP-Systeme, um einzelne Produktionsprozesse zu automatisieren, Berichtssysteme mit Unternehmensbereiche sowie viele Dateien, die über Mitarbeitercomputer zerstreut sind.

So viele unterschiedliche Informationsquellen haben, ist es oft sehr schwierig, Antworten auf wichtige Fragen der Aktivitäten des Unternehmens zu erhalten und das Gesamtbild zu sehen. Wenn sich die gewünschten Informationen noch in einem der verwendeten Systeme oder in der lokalen Datei befindet, erscheint er häufig als veraltet oder entgegen den von einem anderen System erhaltenen Informationen.

Dieses Problem wird effektiv mit Hilfe von Informationen und analytischen Systemen gelöst, die auf der Grundlage von OLAP-Technologien (andere Namen: OLAP-System, Business Intelligence-System, Business Intelligence) erstellt wurden. OLAP-Systeme integrieren bereits bestehende Rechnungslegungssysteme, sodass die Benutzerwerkzeuge zur Analyse großer Mengen von Echtzeitdaten, dynamischen Berichten, Überwachen und Vorhersagen der wichtigsten Business-Indikatoren bereitgestellt werden.

Vorteile von OLAP-Systemen

Die Schlüsselrolle bei der Verwaltung des Unternehmens spielt Informationen. In der Regel verwenden selbst kleine Unternehmen mehrere Informationssysteme, um verschiedene Tätigkeitsbereiche zu automatisieren. Erhalten analytische Berichte in Informationssystemen, die auf herkömmlichen Datenbanken basieren, ist mit einer Reihe von Einschränkungen verbunden:

Die Entwicklung jedes Berichts erfordert die Arbeit eines Programmierers.

Berichte werden sehr langsam (oft einige Stunden) gebildet, wodurch die Arbeit des gesamten Informationssystems verlangsamt wird.

Die Daten, die aus verschiedenen strukturellen Elementen des Unternehmens erhalten wurden, sind nicht einheitlich und häufig widersprüchlich.

OLAP-Systeme, die Ideologie ihrer Konstruktion, sollen große Informationen analysieren, ermöglichen es Ihnen, die Einschränkungen traditioneller Informationssysteme zu überwinden.

Das Erstellen eines OLAP-Systems im Unternehmen erlaubt:

· Integrieren Sie Daten aus verschiedenen Informationssystemen, indem Sie eine einzelne Version der Wahrheit erstellen

· Entwerfen Sie neue Berichte mit mehreren Mausklicks ohne Programmierer.

· Echtzeit-Analysedaten auf beliebigen Kategorien und Unternehmensindikatoren in jedem Detailniveau.

Überwachung und Vorhersage der wichtigsten Geschäftsindikatoren

Bei der Arbeit mit dem OLAP-System können Sie immer schnell Antworten, auf aufstrebende Fragen finden, das Bild insgesamt sehen, um eine ständige Überwachung des Geschäftsstands durchzuführen. Gleichzeitig können Sie sicher sein, dass Sie nur relevante Informationen verwenden.

Ergebnisse der Implementierung des OLAP-Systems

Das Management erhält eine vollständige klare Sicht der Situation und einen einzelnen Mechanismus der Buchhaltung, Kontrolle und Analyse.

Aufgrund der Automatisierung interner Geschäftsprozesse und Verbesserung der Mitarbeiterproduktivität wird die Notwendigkeit der Humanressourcen reduziert.

OLAP-Action

Der Grund für die Verwendung von OLAP zur Abfrageverarbeitung ist die Geschwindigkeit. Relationale Datenbanken speichern Entitäten in getrennten Tischen, die normalerweise gut normalisiert sind. Diese Struktur ist für die Betriebsdatenbank (OLTP-Systeme) bequem, aber komplexe Multi-Clock-Anforderungen darin sind relativ langsam.

Die aus Arbeitsdaten erstellten OLAP-Struktur wird als OLAP CUBE bezeichnet. Der Cube wird aus der Tabellenverbindung mit dem Stern- oder Schneeflockenschema erstellt. In der Mitte des Sternschemas ist eine Tatsache, die wichtige Fakten enthält, für die Anfragen erstellt werden. Mehrere Messtische sind an der Tatsachentabelle angeschlossen. Diese Tabellen zeigen, wie aggregierte relationale Daten analysiert werden können. Die Anzahl der möglichen Aggregationen wird durch die Anzahl der Methoden bestimmt, in denen die anfänglichen Daten hierarchisch angezeigt werden können.

Zum Beispiel können alle Kunden von Städten oder nach Regionen des Landes (West-, Osten, Norden usw.) gruppiert werden. Kunden können auch in Bezug auf Produkte kombiniert werden. Wenn 250 Produkte in 2 Kategorien, 3 Produktgruppen und 3 Produktionseinheiten vorhanden sind, beträgt die Anzahl der Aggregate 16.560. Beim Hinzufügen von Messungen an das Schema möglichkeiten Erreicht schnell Zehn Millionen und mehr.

OLAP CUBE enthält grundlegende Daten- und Messinformationen (Aggregate). Der Cube enthält möglicherweise alle Informationen, die möglicherweise für Antworten auf Anforderungen erforderlich sind. Aufgrund der enormen Anzahl von Aggregaten kommt es häufig nur für einige Messungen, für den Rest, "auf Bedarf", für den Rest gemacht.

Zusammen mit dem Grundkonzept gibt es drei Arten von OLAP:

OLAP mit vielen Messungen (mehrdimensionales OLAP - MOLAP);

relational Olap (ROLAP);

hybrid-OLAP (Hybrid Olap - Holap).

Molap ist eine klassische OLAP-Form, so dass es oft einfach nur OLAP bezeichnet wird. Es verwendet eine summierende Datenbank, eine spezielle Version des räumlichen Datenbankprozessors und erstellt das erforderliche räumliche Datenschema mit dem Speichern von Basisdaten und Aggregaten.

ROLAP arbeitet direkt mit relativer Lagerung, Fakten und Messtischen in relationalen Tabellen, und zusätzliche relationale Tabellen werden zum Speichern von Einheiten erstellt.

Holap verwendet relationale Tabellen zum Speichern von Basisdaten und mehrdimensionalen Tabellen für Aggregate.

Ein Sonderfall von ROLAP ist ROLAP Echtzeit (Echtzeit Rolap - R-ROLAP). Im Gegensatz zu ROLAP in R-ROLAP werden keine zusätzlichen relationalen Tabellen zum Speichern von Aggregaten erstellt, und die Einheiten werden zum Zeitpunkt der Anforderung berechnet. In diesem Fall wird die multidimensionale Anforderung an das OLAP-System automatisch in eine SQL-Anforderung in relationale Daten umgewandelt.

Jede Art von Lagerung hat bestimmte Vorteile, obwohl es in ihrer Bewertung von verschiedenen Herstellern Unstimmigkeiten gibt. Molap eignet sich am besten für kleine Datensätze, es berechnet schnell die Aggregate und gibt die Antworten schnell zurück, aber die riesigen Datenvolumina werden erzeugt. ROLAP wird als skalierbare Lösung geschätzt, die den kleinsten möglichen Raum verwendet. In diesem Fall wird die Verarbeitungsgeschwindigkeit erheblich reduziert. Holap ist inmitten dieser beiden Ansätze inmitten dieser beiden Ansätze, es ist ziemlich gut skaliert und wird schnell verarbeitet. Die R-ROLAP-Architektur ermöglicht eine mehrdimensionale OLTP-Datenanalyse in Echtzeit.

Die Komplexität in der Anwendung von OLAP besteht darin, Anfragen, die Wahl der Basisdaten und die Entwicklung des Systems zu erstellen, mit dem Ergebnis, dass die meisten modernen OLAP-Produkte mit einer großen Anzahl von vorkonfigurierten Abfragen geliefert werden. Ein weiteres Problem ist in grundlegenden Daten. Sie müssen vollständig und konsistent sein

Verkauf OLAP.

Historisch ist das erste multidimensionale Datenbankmanagementsystem im Wesentlichen die OLAP-Implementierung, das 1970 von IRI entwickelte Express-System (später das Recht auf das Produkt wurde von Oracle Corporation erworben und wurde in eine OLAP-Option für Oracle-Datenbank umgewandelt. Der Begriff OLAP führte 1993 in der Veröffentlichung in der Veröffentlichung in der Veröffentlichung in der Veröffentlichung in der Computerwelt ein, in der er 12 der Prinzipien der analytischen Verarbeitung vorschlug, in Analogie mit 12 Regeln für relationale Datenbanken, die von dem Jahrzehnt zuvor formuliert wurden, zuvor als Referenzprodukt, das die vorgeschlagenen Erfüllung erfüllt Prinzipien, der Code, der das Essbase-System der Laube (1997 von Hyperion absorbiert, der 1997 von Hyperion absorbiert wurde, der wiederum im Jahr 2007 gekauft wurde). Es ist bemerkenswert, dass anschließend die Veröffentlichung aufgrund eines möglichen Interessenkonflikts aus dem Computerworld-Archiv zurückgezogen wurde, da der Code später Beratungsleistungen für die Laube erhielt.

Andere berühmte OLAP-Produkte: Microsoft Analysis Services (zuvor genannt OLAP-Dienste, Teil SQL Server), SAS OLAP-Server, TM1, Powerplay, SAP BW, MicroStrategy Ingelligence Server, Mondrian, Analytical Complex Prognose.

C Die Implementierungspunkte ist in "physisches OLAP" und "Virtual" (relationales, englisches Relational Olap, Rolap) unterteilt. "Physisch" ist wiederum, abhängig von der Implementierung, in mehrdimensionales (dgl. Multidimensionales OLAP, MOLAP) und Hybrid - (ENG. Hybrid Olap, Holap) unterteilt.

Im ersten Fall gibt es ein Programm an der Vorladestufe in OLAP aus Quellen, die eine vorläufige Berechnung der Aggregate durchführt (Berechnungen auf mehreren Quellwerten, zum Beispiel "in einem Monat"), die dann in einem gespeichert werden Spezielle multidimensionale Datenbank, die eine schnelle Extraktion und kostengünstige Speicherung bietet. Beispiele für solche Produkte sind Microsoft Analysis Services, Oracle OLAP-Option, Essbase, SAS OLAP-Server, TM1, Powerplay.

Hybrid-OLAP ist eine Kombination. Die Daten selbst werden in der relationalen Datenbank gespeichert, und die Aggregate sind in multidimensional.

In ROLAP-Implementierungen werden alle Daten gespeichert und von relationalen Datenbankverwaltungssystemen verarbeitet, und die Einheiten sind möglicherweise überhaupt nicht vorhanden oder erstellen in der ersten Anforderung in der DBMS oder dem Cache der analytischen Software. Beispiele für solche Produkte - SAP BW, MicroStrategy Intelligence Server, Mondrian.

Aus Sicht des Benutzers sehen alle Optionen wie Funktionen aus. Die größte Verwendung von OLAP findet in Produkten für Finanzplanung, Data Warehouses, Business Intelligence Class-Lösungen.

OLTP-Systeme (Transaktionsbetriebssysteme)

OLTP (Online-Transaktionsverarbeitung), Transaktionssystem - Echtzeit-Transaktionsverarbeitung. Die Methode zur Organisation einer Datenbank, in der das System mit kleinen Transaktionen in der Größe arbeitet, jedoch in den großen Strom geht, und gleichzeitig ist der Client mit dem System die minimale Antwortzeit erforderlich.

Der Begriff OLTP gilt auch für Systeme (Anwendungen). Das OLTP-System ist so konzipiert, dass er in Echtzeit, strukturierte Speicherung und Verarbeitung von Informationen (Operationen, Dokumente) eingeht.

Das Problem der Integrität besteht darin, jederzeit die Richtigkeit der Datenbankdaten sicherzustellen. Es kann in einen Pfad gebrochen werden: 1. Wenn Sie eingeben und aktualisieren, wenn falsche Informationen angewendet werden. 2. Wenn die Daten gleichzeitig mehrere Benutzer verwenden. 3. In einem APS-Versagen.

Die Lösung von Integritätsproblemen sollte von einer Software- und organisatorischen Sicht betrachtet werden. Für Herausforderungen 1. Es ist notwendig, eine Reihe von Veranstaltungsorganisator (wie folgt), Benutzer sollte die Regeln von Input und Beschränkungen kennen. Für Probleme 2-3 - standardmittel DBMS oder spezielle Softwaremodule. DBMS - 2 grundlegende Integritätsbeschränkungen: 1. Strukturbeschränkungen (definiert durch Funktionsanleihen und werden durch Überprüfung der Gleichheit der Datenbankwerte) 2. Einschränkungen für reale Werte. Erfordert, dass die Feldwerte zu einem bestimmten Bereich gehören, oder diese Beziehung zwischen den Werten einiger Felder. (Datentypen und Eingabemasken). Einschränkungen können jederzeit nach AD eingestellt werden, aber die DBMS akzeptiert möglicherweise nicht die Einschränkung (wenn viele Datensätze nicht mehr zufrieden sind), wenn es eine Compliance gibt - wird in das Wörterbuch geschrieben und verwendet. Einschränkungen unterscheiden sich in Bezug auf die Komplexität:

2. Einschränkungen für den Satz von Attributen der Zeichenfolge. (Positionsentladungsraten, Kanten - Städte).

3. Einschränkungen gleichzeitig auf viele Zeilen.

Alle diese statistischen Einschränkungen, aber beim Umschalten der Datenbank von 1 staatlich zum anderen ist es erforderlich, Integritätsbeschränkungen vor allen Änderungen und nach dem Ende von allen zu erfüllen, und nicht alle. Solche Einschränkungen werden aufgeschoben genannt und relativ zu ihnen eingeführt das Konzept der Transaktionen. Transaktion - Abgeschlossen aus Sicht der USSer-Aktion in der Datenbank. Gleichzeitig ist dies eine logische Einheit des Systems. Die Transaktion implementiert einige Anwendungsfunktionen, z. B. das Übertragen von Geld von einem Konto an einen anderen im Bankensystem.

Muss 4 Eigenschaften haben: 1. Atomizität (Unentschieden): Es wird als einzelner Betrieb des Zugriffs auf die Datenbank durchgeführt, muss überhaupt vollständig ausgeführt werden. 2. Konsistenz - garantiert die Integrität der gegenseitigen Datenintegrität nach dem Ende der Transaktionsabwicklung. 3. Isolation (jede Transaktion kann dies ändern, was vorübergehend im inkonsistenten Zustand ist). In diesem Fall ist der Zugriff anderer Transaktionen auf diese Daten verboten, bis die Transaktion abgeschlossen ist. 4. Haltbarkeit - Wenn die Transaktion erfolgreich ist, gehen die Änderungen nicht verloren. Das Ergebnis der Transaktion kann seine Fixierung sein (Aktion beim Fixieren von Änderungen in der Datenbank) oder des Rollbacks (Stornierung der Transaktion und der Rückgabe der Datenbank in den Zustand, bevor es gestartet wurde). Der Fixiermechanismus und das Rollback basieren auf der Verwendung eines Transaktionsprotokolls, in dem der Zustand vor (in mehreren Iterationen) und danach erhalten bleibt. Einige SQL-Dialekte umfassen Zwischenfixierungsbediener (Rollback von Punkt zu Punkt).

Transaktionsverarbeitungsmonitor (TPM) V(TPM) sind Softwaresysteme (siehe Zwischen- oder Zwischensoftware) effektives Management Informationen und Rechenressourcen in einem verteilten System. Sie sind ein flexibles, offenes Umfeld für Entwicklung und Management. mobile AnwendungenKonzentrierte sich auf die operative Verarbeitung verteilter Transaktionen. Zu den wichtigsten Merkmalen der TPM-Skalierbarkeit, Unterstützung der funktionalen Vollständigkeit und Integrität der Anwendungen, die maximale Leistung bei der Verarbeitung von Daten bei niedrigen Kostenindikatoren, der Datenintegrität in einer heterogenen Umgebung unterstützt. TPM verlassen sich auf das Dreisitzmodell "Client-Server"

Auf der moderner Markt Transaktion überwacht die wichtigsten "Handelspersonen" sind Systeme wie ACMS (Dec), CICS (IBM), Top-End (NCR), Tuxedo Sytem (Novell).

Im Gebiet informationstechnologien Es gibt zwei gegenseitig ergänzende Ziele:

Technologien konzentrierten sich auf die betriebliche (transaktionale) Datenverarbeitung. Diese Technologien unterliegen den wirtschaftlichen Informationssystemen, die zur operativen Datenverarbeitung bestimmt sind. Ähnliche Systeme genannt - OLTP. (Online-Transaktionsverarbeitung) systeme;

Datenanalyseorientierte Technologien und Entscheidungsfindung. Diese Technologien unterirlt den für die Analyse vorgesehenen wirtschaftlichen Informationssysteme

akkumulierte Daten. Ähnliche Systeme genannt - OLAP.

(Online Analytische Verarbeitung) systeme.

Haupttermin OLAP-Systeme- dynamisches mehrjähriges

analyse historischer und aktueller Daten in der Zeit, Analyse

trends, Modellierung und Prognose der Zukunft. Eine solche

systeme konzentrieren sich normalerweise auf die Bearbeitung willkürlich,

im Voraus nicht regulierte Anfragen. Als Basic.

die Eigenschaften dieser Systeme können wie folgt festgestellt werden:

Unterstützung für mehrdimensionale Datenrepräsentation, Gleichheit aller Messungen, Produktivitätsunabhängigkeit der Anzahl der Messungen;

Transparenz für Benutzerstruktur, Speicher- und Verarbeitungsmethoden;

Automatische Anzeige der logischen Datenstruktur in externe Systeme;

Dynamische Bearbeitung von entladenen Matrizen auf effektiv.

Der Begriff OLAP ist relativ neu und in verschiedenen literarischen Quellen wird manchmal auf unterschiedliche Weise interpretiert. Dieser Begriff wird häufig mit Entscheidungshilfe (DSS (Decision Support-Systeme) - Entscheidungshilfesysteme (DSS (Entscheidungssupportsysteme)) identifiziert. Als Synonym für den letzten Amtszeit wird der Datenlager-Speicher (Lagerhäuser) Daten als Synonym für den letzten Begriff verwendet, Verstehen des Satzes von organisatorischen Lösungen, Software und Hardware. Ich habe Analysten mit Informationen anbieten, die auf Daten basierend auf Daten aus den Tmit niedrigem Niveau und anderen Quellen bereitgestellt werden

Mit "Datenfalten" können Sie über längere Zeit angesammelte Daten verarbeiten. Diese Daten sind heterogen (und nicht unbedingt strukturiert). Für "Data Warehouses", die der multidimensionalen Natur der Anfragen innewohnen. Riesige Datenmengen, die Komplexität der Struktur als Daten und Anfragen erfordert die Verwendung eines speziellen Zugriffs auf Informationen.

In anderen Quellen gilt das Konzept des Entscheidungsunterstützungssystems (SPRD) als breiter. Data Warehouses und operative analytische Verarbeitungswerkzeuge können als eine der Komponenten der Sprne-Architektur dienen.

OLAP umfasst immer eine interaktive Verarbeitung von Anforderungen und anschließende Analyse der Multi-Volume-Analyse von Informationen, mit denen Sie eine Vielfalt erkennen können, nicht immer offensichtlich, die Trends im Subjekt beobachtet.

Manchmal unterscheiden sie "OLAP in einem engen Sinn", sind Systeme, die nur Datenproben in verschiedenen Schnitten bieten, und "OLAP in einem breiten Sinn" oder nur OLAP, einschließlich:

Unterstützung für mehrere Benutzer, die Datenbanken bearbeiten.

Modellierungsfunktionen, einschließlich Rechenmechanismen zur Erlangung derivativen Ergebnisse sowie der Aggregation und der Daten kombiniert;

Prognose, Identifizierung von Trends und statistischen Analysen.

Natürlich erfordert jede dieser IP-Arten von IP eine bestimmte Datenorganisation sowie ein besonderes softwareeine effiziente Leistung stehender Aufgaben gewährleisten.

OLAP - bedeutet eine Analyse von Geschäftsinformationen zu mehreren Parametern, wie z. B. der Art des Produkts, der geografischen Position des Käufers, der Zeit der Transaktion und des Verkäufers, von denen jeder die Erstellung einer Darstellungshierarchie ermöglicht. Für die Zeit können Sie also jährliche, vierteljährliche, monatliche und sogar wöchentliche und tägliche Intervalle verwenden. Die geografische Partition kann von Städten, Staaten, Regionen, Ländern oder ggf. für die gesamten Hemisphären durchgeführt werden.

OLAP - Systeme können in drei Klassen unterteilt werden.

Die komplexesten und teuersten von ihnen basieren auf proprietären Technologien. server Multidimensionale Datenbank.. Diese Systeme stellen Sie einen vollständigen Rad-OLAP-Set bereitund entweder inklusive, zusätzlich zur Serverkomponente wird seine eigene integrierte Clientschnittstelle entweder dazu verwendet, um Daten externer Arbeitsprogramme mit Tabellenkalkulationen zu analysieren. Produkte dieser Klasse entsprechen den meisten Anwendungsbedingungen in großen Informationsspeichern. Für ihren Service ist ein gesamtes Personal der Mitarbeiter sowohl in der Installation als auch in der Wartung des Systems und der Bildung von Datenansichten für Endbenutzer erforderlich. Normalerweise sind ähnliche Pakete recht teuer. Beispiele für diese Klasse, das Essbase-System der Arbor-Software, Express Express-Firma (jetzt in Oracle Incoming in Oracle), Lichter, die von Pilotsoftware und anderen hergestellt wird.

Es sei darauf hingewiesen, dass eine der Möglichkeiten, eine schnelle Datenverarbeitung zu gewährleisten, wenn sie bei der Analyse der Analyse der Datenorganisation in Form von mehrdimensionalen Datenbanken (MDD) ist. Informationen in MDD werden nicht in Form von indizierten Datensätzen in den Tabellen gespeichert, jedoch in Form logisch bestellter Arrays. Unified Allgemein akzeptiertes multidimensionales Speichermodell existiert nicht. Die MDD hat keine standardisierte Datenzugriffsmethode, und sie können die Anforderungen bestimmter analytischer Datenverarbeitung erfüllen.

Unter Berücksichtigung aller oben genannten, kann der Vergleich zwischen verschiedenen MDD-Produkten nur durch die generalisierten Kategorien durchgeführt werden. In einem billigeren Marktsektor gibt es nur Single-Benutzer und für kleine lokale Netzwerke Multidimensionale Datenzuschauer. Obwohl sie hübsch besitzen hohe Levels Funktionen und bequem zu verwenden, diese Systeme sind auf ihrer Skala begrenzt. Und ihnen fehlt es an den Mitteln, die für die Umsetzung der OLAP-Verarbeitung in einem breiten Sinne erforderlich sind. Diese Kategorie umfasst Produkte wie PowerPlay Cognos Corporation, Andyne und Mercury Pablo Company Company. Der teure Marktsektor wird durch die ACUMATE ES-Systeme der Firma Kenan Technologies, Express Corporation Oracle, Gentium of Planning Sciences und Holos Company Holistic Systems vertreten. Sie sind in ihren Fähigkeiten so unterschiedlich, dass jeder von ihnen sicher in einer separaten Kategorie zugewiesen werden kann. Endlich, MDD-Systeme in reiner Form: Essbase Corporation Arbor Software, Lighship Server Pilotsoftware und TM / 1 Firmen Sunper Sunper [N. Rassen (Softwaremarkt)].

Zweite Klasse OLAP - Betriebe - relationale OLAP-Systeme (ROLAP). Hier werden alte relationale DBMSS zum Speichern von Daten verwendet, und zwischen der Datenbank und der Clientschnittstelle wird die Metadatenebene vom Administrator organisiert. Durch diese Zwischenschicht kann die Clientkomponente als multidimensional mit einer relationalen Datenbank interagieren. Wie erstklassige Fonds sind ROLAP gut angepasst, um mit wichtigen Informationslagerungen zu arbeiten, erfordern erhebliche Wartungskosten durch Spezialisten von Informationsabteilungen und sorgen für die Arbeit im Multiplayer-Modus. Zu den Produkten dieses Typs sind IQ / Vision IQ-Software, DSS / Server und DSS / Agent, MicroStrategy und Treffervorteile.

ROLAP - bedeutet, Lösungen implementieren, um die Entscheidungsfindung auf Add-On über einen relationalen Datenbankprozessor zu unterstützen.

Solche Softwareprodukte müssen auf eine Reihe von Anforderungen reagieren, insbesondere:

Einen leistungsstarken SQL-Generator für OLAP optimiert, sodass Multi-Frequenz-SQL-Bediener und / oder korrelierte Unterabfragen verwenden können;

Ausreichend entwickelte Mittel für die nicht triviale Verarbeitung, die Ranking, vergleichende Analyse und Berechnung von Zinsverhältnissen innerhalb der Klasse bereitstellen;

Generieren Sie SQL-Erwartungen, die für Ziel-relationale DBMs optimiert sind, einschließlich Unterstützung für die darin verfügbaren Erweiterungen;

Geben Sie Mechanismen zur Beschreibung des Datenmodells mit Metadaten bereit und ermöglichen es, diese Metadaten zu verwenden, um Echtzeitabfragen aufzubauen;

Fügen Sie einen Mechanismus ein, der es ermöglicht, die Qualität der bauen konsolidierten Tabellen nach Sicht der Berechnungsrate zu bewerten, ist es wünschenswert, mit der Anhäufung von Statistiken zu ihrer Verwendung wünschenswert.

Dritten, relativ neue Art von OLAP - Betriebe - instrumente zum Generieren von Anforderungen und Berichten für Desktop-PCsErgänzt durch OLAP-Funktionen oder integriert mit externen Mitteln, die Funktionen ausführen. Diese hoch entwickelten Systeme führen eine Abtastung von Daten aus den Quellquellen aus, verwandeln sie und platziert in einer dynamischen multidimensionalen Datenbank, die auf dem PC des Endbenutzers arbeitet. Dieser Ansatz, der ohne einen teuren multidimensionalen Datenbankserver ermöglicht, und ohne komplexe Zwischenschicht aus Metadaten, die für ROLAP-Fonds erforderlich sind, ist gleichzeitig ausreichend Analyseeffizienz. Diese Tabellen für Desktop-PC eignen sich am besten für die Arbeit mit kleinen, einfach organisierten Datenbanken. Die Notwendigkeit einer qualifizierten Wartung für sie ist niedriger als bei anderen OLAP-Systemen und entspricht ungefähr dem Niveau der herkömmlichen Abfrageverarbeitungsumgebungen. Zu den wichtigsten Teilnehmern dieses Marktes in der Brio-Technologie, der Brio-Technologie, mit seinem Brio-Abfrageunternehmen, Business Objects-System mit demselben Namen und Cognos mit Powerplay.

Derzeit nimmt die Anzahl der Web-Clible-OLAP-Produkte zu.

Es ist wichtig, das OLAP an den Rest der Software anzupassen. Obwohl OLAP-Anbieter anfangen, einige Möglichkeiten zu bieten, mit SQL-Subd und anderen Tools zu interagieren, jedoch, jedoch, jedoch Benutzer und Analysten, dennoch, dass das Integrationsgrad unterschiedlich sein kann, und erfordert wahrscheinlich einen erheblichen Kodierungsbetrag, einschließlich des Schreibens von SQL-Abfragen. Darüber hinaus gibt es keinen industriellen Standard für die Integration von OLAP mit dem Rest der Unternehmenssoftware.

Die Lösung für dieses Problem kann im Folgenden bestehen. Beispielsweise positionieren viele Unternehmen Datenbanken mit OLAP als Clientteile von Data Warehouses. Mit diesem Speicheransatz ist der Kernel der multidimensionalen OLAP-Datenmuster, an die Benutzer auf den Zugriff auf schnell umfassende Anfragen ausführen können. Gleichzeitig ist das Ziel, eine Abfrage zu erstellen, die den Standort des Benutzers vom Benutzer versteckt. In dieser Umgebung werden umfassende Abfragen an den multidimensionalen Verarbeitungskern oder die Suche nach detaillierter Informationen und einfachen Anforderungen von relationalen Servern werden automatisch durchgeführt. Für Unternehmen, die nicht auf diese Weise gehen können, wird eine wichtige Rolle beim Einrichten von Verbindungen zwischen OLAP-Tools und anderen Software von den Beratungsunternehmen gespielt.

OLTP-SystemeAls äußerst effizientes Mittel zur Durchführung der Betriebsbehandlung stellte sich heraus, dass sie wenig für Aufgaben der analytischen Verarbeitung geeignet war. Dies wird durch Folgendes verursacht:

1. Fonds von traditionellen OLTP-Systemen können einen analytischen Bericht und sogar die Prognose der Komplexität aufbauen, jedoch im Voraus reguliert. Jeder Schritt zur Seite, erfordert in der Regel ein nicht entzündeter Endbenutzeranforderung, erfordert Kenntnis der Datenstruktur und eine ausreichend hohe Qualifikation des Programmierers;

2. Viele notwendig für operative Systeme funktionalität Sind redundant für analytische Aufgaben und spiegeln gleichzeitig nicht den Themenbereich wider. Um die meisten analytischen Aufgaben zu lösen, ist die Verwendung von externen spezialisierten Instrumentalreservoirs zur Analyse, Vorhersage und Modellierung erforderlich. Die harte Struktur der Basis erlaubt es nicht, bei komplexen Proben und Sortieren eine akzeptable Leistung zu erreichen, und erfordert daher hohe Zeitkosten für die Organisation von Gateways.

3. Im Gegensatz zu Transaktionssystemen sind analytische Systeme nicht erforderlich und dementsprechend nicht für das entwickelte Mittel zur Sicherstellung der Integrität der Daten, ihrer Reservierung und der Erholung vorgesehen. Dadurch kann nicht nur das Implementierungsmittel vereinfacht werden, sondern auch den inneren Overhead reduzieren und daher die Produktivität beim Auswählen von Daten erhöhen.

Der Bereich der Aufgaben wird von jedem der Systeme effektiv gelöst, wir definieren auf der Grundlage von vergleichsmerkmale OLTP- und OLAP-Systeme (Tabelle 8).

Einige Systeme von Systemen können unterschieden werden, für die normalisierte Datenmodelle immer schwach sind.

Stark normalisierte Datenmodelle eignen sich gut für die sogenannten OLTP-Anwendungen.(Online-Transaktionsverarbeitung (OLTP.)-betriebsabwicklung von Transaktionen ). Typische Beispiele für OLTP-Anwendungen sind Systeme von Warehouse Accounting, Ticket Bestellungen, Bankensysteme, die Transaktions-Transaktionsvorgänge ausführen usw.

Die Hauptfunktion solcher Systeme besteht darin, eine große Anzahl von kurzen Transaktionen durchzuführen. Die Transaktion selbst sieht beispielsweise relativ einfach aus, zum Beispiel "Um den Geldbetrag aus dem Konto A zu entfernen, fügen Sie diesen Betrag dem Konto hinzu."

Das Problem ist, dass es zuerst viele Transaktionen gibt, zweitens, wenn sie gleichzeitig durchgeführt werden (mehrere tausend gleichzeitig bedienende Benutzer können an das System angeschlossen werden), drittens, wenn ein Fehler auftritt, muss die Transaktion vollständig zurückrollen und geben Sie das System an den Zustand zurück, der vor Beginn der Transaktion war (es sollte keine Situation geben, wenn das Geld aus dem Konto eingereicht wurde, aber nicht auf dem Konto ankamen b). Fast alle Anfragen in der Datenbank in OLTP-Anwendungen bestehen aus Befehlen einfügen, aktualisiert, delete. Somit ist kritisch für OLTP-Anwendungen die Geschwindigkeit und Zuverlässigkeit der Implementierung kurzer Datenaktualisierungsvorgänge. Je höher der Niveau der Datennormalisierung in der OLTP-Anwendung, die Tatsache, dass es normalerweise schneller und zuverlässiger ist.

Eine andere Art von Anwendungen sind die sogenannten OLAP-Anwendungen(Online-Analitale Bearbeitung(OLAP.) -betriebsanalytische Datenverarbeitung ). Dies ist ein verallgemeinerter Begriff, der die Konstruktionsprinzipien kennzeichnet. decision Support-Support-Systeme (System zur Entscheidungsfindung-Dss),data Warehouse(Data Warehouse.),intelligente Datenanalysesysteme (Data Mining.). Solche Systeme sollen Abhängigkeiten zwischen Daten finden (z. B. ist es möglich, zu versuchen, zu bestimmen, wie der Umsatz von Waren mit den Merkmalen potenzieller Käufer zugeordnet ist), um "WAS IF ..." zu analysieren.

OLAP-Anwendungen arbeiten mit großen Datenarrays, die bereits in OLTP-Anwendungen angesammelt werden, die von ihren Tabellenkalkulationen oder aus anderen Datenquellen ergriffen werden. Solche Systeme zeichnen sich durch folgende Funktionen aus:

Das Hinzufügen des Systems neuer Daten erfolgt relativ selten große Blöcke (z. B. werden die Daten im Quartal auf die Ergebnisse des vierteljährlichen Verkaufs aus der OLTP-Anwendung heruntergeladen).

Die dem System hinzugefügten Daten werden normalerweise niemals gelöscht.

Vor dem Herunterladen werden die Daten verschiedene "Reinigungsverfahren durchlaufen, die mit der Tatsache verbunden sind, dass Daten aus vielen Quellen, die unterschiedliche Präsentationsformate für dieselben Konzepte haben, falsche, fehlerhafte Daten in ein System eingegeben werden können.

Systemanfragen werden nicht gewählt und in der Regel ziemlich kompliziert.

Die Geschwindigkeit der Abfragen ist wichtig, aber nicht kritisch.

OLAP-Anwendungen sind üblicherweise als ein oder mehrere Hypercubes dargestellt, deren Messungen Referenzdaten sind, und in den Zellen des Hypercube selbst werden die Daten selbst gespeichert. Sie können beispielsweise einen Hypercube aufbauen, deren Abmessungen sind: Zeit (in Blöcken, Jahren), Art der Ware und Trennung des Unternehmens, und in Zellen werden für den Umsatz gespeichert. Ein solcher Hypercube enthält Daten zum Verkauf verschiedener Arten von Waren in Quartalen und Einheiten. Basierend auf diesen Daten können Sie Fragen wie "Welche Einheit ist die besten Verkaufsvolumina im laufenden Jahr?" Oder "Was sind die Trends im Umsatz der südwestlichen Regionen im laufenden Jahr im laufenden Jahr im Vergleich zum Vorjahr?"

Rückkehr zum Problem der Datennormalisierung kann gesagt werden, dass in OLAP-Systemen mit einem relationalen Datenmodell (ROLAP) verwendet werden, die Daten als schlecht normalisierte Beziehungen ratsam sind, als echte normalisierte Beziehungen zu speichern, die vorberechnete Haupt-Enddaten enthalten. Große Redundanz und damit verbundene Probleme hier sind nicht unheimlich, weil Das Update erfolgt nur zum Zeitpunkt des Herunterladens eines neuen Teils von Daten. In diesem Fall ergibt sich sowohl neue Daten und Neuberechnung der Ergebnisse.

• < Назад
• Nach vorne\u003e