複雑なOLTPシステムを実装するための実践。オープンライブラリ - オープン教育図書館

それはすべて1年前の物語で始まりました、それは私が小売店のネットワークである会社で、私がキルギスチンで働いていたときに私のプロフェッショナルなキャリアで起こったのです。それから私はそれのディレクターと会話をしました、誰が言った： "Denis、私たちは箱オフィスで文書「チェック」を実行することです。運用上の残骸を得るために、できるだけこのプロセスをスピードアップできるようにするにはどうすればいいですか？」

すぐに私はその時点でプラットフォーム8.1と自動ロックを使ったと言います。それから私は彼にはい、私たちは管理されたロックに切り替え、命名法のレベルでこのプロセスを視することができます。彼は私に自然な質問をした：「私たちが同じ命名法が同時に持っていると何が起こるの？」それから私はこの質問にいくつかのわかりやすい答えを与えることができませんでしたが、私は今、私は私のために働くことを願っています。

ハードウェア開発動向

私たちが見れば 産業開発過去数年間でそれを私たちは確信を見るでしょう ハードウェアの動向:

最初の傾向は記憶に関係しています。誰もが時間の経過とともに安いことのニュースではありません。 現時点では 既に 比較的少ないお金のためにかなり大量のメモリを得ることができます。.
2番目の傾向 - プロセッサによると。ムーアの法則によると、誰もが生産性の成長、消費電力、およびプロセッサ温度の温度のコンプライアンスを知っています。ある時点で、1つの核のレベルでのこの対応が終わっています（私達は長い間1つの核を持つことはできません簡単な操作以前よりも速いですが、それは多くのコア（マルチコアプロセッサ）のレベルで続けました。したがって、私たちのすべての希望や考えはすべて並列コンピューティングの分野に行きます。我々開発者や建築家のDBMSとして、 アプリケーションのパフォーマンスを向上させるためには、それらの中で計画されている必要があります.

ビジネスアプリケーション開発動向

そして現時点で何が起こっているのか ビジネスレベルで？私たちは観察します。 より多くのユーザー以上のものそれはますます使いています デバイス増加する量が行われる プログラムそして、これがすべて増加する量を生み出します データ.

為替 これらのプロセスのほとんどはクラウドでサポートされています。.

雲に加えて、すべての組み合わせであるモビリティとしてまだそのような本質があります。モバイルデバイスプログラムやデータだけでなく、それらが生成されます。

雲とモビリティは常に相互接続されており、それは将来的にこれら2つのエンティティの対話からのものです私たちはいくつかのブレークスルーを得ることができます。そのような相互作用は、WESTで知られている戦略の外観をもたらしました：Mobile-First - Cloud-First（最初はモバイルでもともと曇り）。

IT業界は常に変更され、変革をテストしています。そしてこの世界では、最初はモバイルと最初はクラウド、 継続的に形成のペースを増加させる これら データ、およびこの指数関数の成長。これに基づいて 保存、蓄積、更新情報の問題がある。これは絶えず増やすと、私たちのシステムに入ります。

それぞれ、 特別な技術が必要です。そして、メモリ内のOLTPを区別すると、これはIT業界のさらなる発展を確実にするために現時点で設計された多くの技術のうちの1つです。

メモリ内OLTPテクノロジー

メモリ内OLTP技術が登場したのはなぜですか。そしてそれはなぜそれが重要なのですか？

事実は、ビジネスがすべての大きな要件を配置するということです。
- 複数の帯域幅に：
- 予測された速度と最小限の遅延と小さな遅延を伴う予想されるOLTPプロセスに。
順番に、ハードウェアはリレーショナルデータベースの要件を要求して、ハードウェアアーキテクチャの最新の変更に準拠しています。

それぞれ、に-メモリoltp. - これは： 高性能機構それはどれですか 現代のハードウェアを満たしています最大 メモリと仕事をするように最適化されています.

そして、最も重要なことに、メモリ内OLTPはある種の別の製品ではありません（あなたが支払う必要がある別の免許ではありません）。 ではじまるSQL.サーバー2014。メモリ内OLTP - これはコアの一部ですこの製品の これは編集室の一部として入手可能です企業。.

ここであなたは見ます 技術的な3つの主要コンポーネントに-メモリoltp.。彼らは彼女がそのようなブレークスルー効果を実行することを可能にします：

最初のものは、その事実に明確なインストールです。 すべてのデータはメモリ内にあります.
2つ目は重要です：これら データはIn.特別に設計されています データ構造のブロックを解放してください.
そして3つ目はネイティブのネイティブコンパイルです。それが表しています メモリ内のマシンコードにコンパイルされているビジネスロジックを含むストアドプロシージャSQLサーバー。

インタラクションインフラストラクチャの比較（従来のスキームとメモリoLTP）

もし私達 従来のクライアントのインタラクションスキームとDBMSを見てみましょう、それからすべてが明らかです：

我々は持っています クライアントの課題を持つクライアント,
有る サーバー1C：Enterpriseそれはどれですか すべてのビジネスロジックに対応してください.
そして dBMSサーバー。これは主に伝統的な方式で使用されています データを操作するために （そして具体的には、4つの操作について：サンプル、蓄積、変更、削除）。

スキームの場合に-メモリoltp. 1Cプラットフォームの一部として、スキームは少し変化します。

残りの 同じ 彼らのクライアントの挑戦を伴う顧客.
しかし、この場合 サーバー1C：Enterprise little 変わった。一般的に、そのすべての機能と予約は完全に残っていますが、今度は既存のすべてのビジネスロジックを完全に制御するとは言えません。ここではそれをソフトウェアサーバーのレイヤーに電話しました。どうして？
- だから dBMSへの追加の外部直接接続が表示されます, 保管されている手順が課される私は以前に話しました。
- エッセンス これら ストアドプロシージャ 今構成されます に従ってデータトランザクションを作成するためにおもちゃ ビジネスの論理あなたがDBMSレベルに置いた。

レイヤー上の「掃引」の物理層が論理的な方法の鮮明な例。

メモリ内OLTPの主な利点

ここでスライド上には、メモリ内OLTPテクノロジの主な特性のいくつかがリストされています。これをインターネット上でもっと詳しく説明することができます（主にMicrosoft Webサイト、および西部開発者のブログの多数のブログ）。ここで私は1つのニアンスを明確にしたいです。私はまだ言っていません：完全に新しいものがメモリ内のOLTPに現れました 並列実行の多孔楽観的制御。その枠組みに 不在に どれか データを処理するときのロックの概念。それがうまくいったとき、異なるフラックス間の競合はまれですが、彼らが起こるならば、彼らは急速に解決され、標準のブロッキングメカニズムを使用する場合と同じくらい非常に長い時間待つ必要はありません。

1CプラットフォームでインメモリOLTPテクノロジをチェックするためのテストスクリプト

メモリー内OLTPを提供する機会を分析すると、この技術の作業を1Cプラットフォームの一部として検証するためのかなり単純なテストシナリオを実装することにしました。 デモンストレーション環境その結果、私が出現した このように見えます:

私が取った とても簡単です 1つの蓄積レジスタを使用した設定この量の文脈における命名法の残りが考慮された。
この構成でもあった 2つの文書 - 到着と消費次のビジネスロジックが実装されています。
- 到着文書は最小残差のサポートを提供しました。
- そして文書を実施するとき、流れはゼロ残基がないことによって制御された。
にとって 競争力をシミュレートするために マルチスレッド負荷これらの文書を実行するとき、I 背景プロセスを備えた標準的なアプローチを使用しましたフローの流れを実行するための圧倒的多数だったのは誰でした。
私のデモンストレーションネットワークで使用したことも注意すべきです 2つの仮想マシン:
- 1 - サーバー1Cの場合：Enterprise,
- そして他の - にとってSQLサーバー.

しかし、両方の仮想マシンがいました 1つの仮想化ホスト内で.

最初の測定 - 基本インジケータ

この計画が実施された後、私は費やしました 標準の基本指標の制御測定 マネージロックを使用した手段1Cを持つ文書。最初の測定の結果として私は何を得ましたか？

スライドは受信したインジケータの値を強調しています ：毎秒120文書 64の背景プロセスで、これは私が持っていた基本的な指標です。

SQLサーバー. - プロセッサは休んでいます。 管理されたロックのみ.

2番目の測定値はメモリ内の唯一のテーブルでの移行です

次のステップiは、標準データが格納されている構造物の移行を行うことにしました。に-メモリテーブル。そして私がそれらを移行した後、私は私の標準テストを開始しました。それはすべて同じことを起こした：1cプラットフォームの手段は文書を実行しました、しかし今それらはすでにメモリ内テーブルに保存されていました（プラットフォーム自体はそれについて知りません）。

結果それは地域で現れました 1秒あたり150の文書したがって、少量の増加が起こったが、重要ではない、そしていくつかのシステムでは、この増加を見ていないことさえできないことさえできます。一般に、この場合 プロセッサの負荷は決して変わらなかっただから私もここに与えられない。

誰かが同じタスクを実現しようとした場合、それは通常問題を引き起こしています。

3番目の測定 - メモリ内およびテーブルの移行、およびビジネスロジック

第3段階では、データ構造の移行がに-メモリテーブルも完全に刻印されていましたt ビジネスの論理それは文書を導通するために必要でした - 必要なすべての行動

文書とその表の部分を形成する。
彼らの記録
文書の文書の形成
そして現在の残留物の変化

その結果、受信しました 結果250秒の文書。実際、基本インジケータ120および250に関しては、それは2回以上少しである。

ここでは、わずかに笑い、私たちが2倍以上の強力でほぼ同じ結果を得ることができると言うことができます。しかし、この場合プロセッサのダウンロードを見るとすべてが説明されています。

サーバー1C：企業は完全にロードされています;
一方 サーバSQLは3回目だけに従事しています.

私はこのサーバー1cにこのロードを見つけることを管理しました：会社は、彼がその場でこの数の文書を生成する時間がないことを示し、またSQL Serverを完全にダウンロードするようにする時間がないことを示しました。それ。

後でSQL Serverを完全にダウンロードするために見つけることができました。この例それは約8同様にかかるでしょう仮想マシン。しかし、私は1つの仮想化のホストしか使用しなかったので、これにはポイントがないでしょう、そして私は追加のアイアン専用の機器を持っていませんでした。しかし将来的には必要ありませんでした。

4回目の測定 - 1回の通話のための15文書の転送

4番目の凍土 1つのネットワーク通話でSQL Serverでより多くの作業をすることが可能であることを願っています。このため、ビジネスロジックは書き換えられました 1回の通話の場合は、一度に15ドキュメントを与えます。結果として スピードは毎秒550の文書に上昇しました.

チャート上に見られるように、同時に サーバー1C：Enterprise 亡くなる すべてが完全にロードされていますが、SQL Serverは「REST」を続けました.

実際には、このシナリオはむしろ偽物で、実用的な利益はまったくないため、検査としてのみ実装されています。しかし、いずれにせよ、我々はそれを完全にダウンロードするためにSQL Serverに十分な負荷を転送するという問題を明確に見てください。

5回目の測定 - SQL Server側の準備済みロードの起動

次のステップは、以前にすべての負荷を生成することにしました。この負荷は見えた 形成された64のファイルの形で700メガバイトのSQLスクリプト。私 それらを動かしたSQLサーバー。並列ロードを開始するようにこれらのファイルを「上げる」ことができるよく知られたオストレスユーティリティを使用して、次の結果を得ました。

プロセッサをロードすることによって - 結果のテストの時刻を標準タスクディスパッチャーウィンドウに配置しました。ロードの先頭があり、完全に すべてのプロセッサー 近くに
その結果、負荷が発生しました 112000文書 同時に、「消費」文書を導通していたすべてのプロセスが完全に維持されていました。すべての残基が制御され、すべての行動が行われました。
負荷が占めています 53秒の秒数.
あなたが特定の計算をするならば、それはそれを判断する 平均時間 1つの文書がに達しました 半分未満,
だが 文書の平均速度は毎秒2,000以上の文書でした.

私が初めてこの結果を受け取ったとき - 私はそれを信じることができませんでした。あなたにとってどのボリュームが利用可能になっているか想像してください、あなたは今完全に異なるカテゴリを考えていることができます。そして今、私たちは興行室で書類「チェック」の保留を加速できるように、私の元のディレクターに答えることができます。そして、競合がある場合でも、ブロックすると、プロセス自体が非常に迅速に通過します。

移行方法論

INの移行方法論に戻るとに-メモリoltp.それから彼女に注意するべきです すべての場合には適していません。クイックデータアクセスが保証されているシステムのボトルネックにのみ使用する必要があります。したがって このテクノロジを実装する前に、徹底的な分析を費やす必要があります:

たとえば、実行スタック（従来のOLTPとIn-Memory OLTP）を比較すると、 ネットワークインタラクションレベルでは変更されませんでした。したがって、プログラム（あなたのアプリケーション）が非常に「おしゃべり」の場合は、DBMSサーバーと非常に多数のメッセージを交換している場合、そのメモリテクノロジを助けません - ここでは改善はありません。
また、見ても データベース登録ログその後、ここでまた特に 何も変わっていません。メモリ内OLTPの動作中の登録ログのサイズは縮小されますが、このログに書き込むときの最小トランザクション遅延は同じです。
主な利点 君は 要求の実行レベルとデータへのアクセスのみでのみ取得できます。.

技術の利点に-メモリoltp. じゃあ その中にデータがメモリ内にあること。この技術はメモリ内に呼ばれていますが、賞金はこれから来ていません - 加速度が原因で発生します。 データベース自体のインフラストラクチャを変更します:

使用されています新しく設計されています ロックを奪われているデータ構造,
及び マシンコードでコンパイルされたストアドストアドプロシージャを格納しますそれはあなたの重要なビジネスロジックを保ちます。

そして、標準システムを見れば、それを追加する場合多数スレッド、それらは最終的に互いに干渉し始め、それによってシステムの帯域幅が減少します。同時に、インメモリOLTPテクノロジを使用する場合、ロックがないため、システムはスケーリングされ続けます（新しいデータ構造が使用されます）、すぐにコンパイルされたストアドプロシージャが使用されます。

私はとても言うことができますか 移行プロセスB.に-メモリ？彼は一般的にいます 2つのステップで構成されていますそれが交互に繰り返します。

最初のステップは データ構造の移行.
そして第二段階 移住者 あなたの重要な。

1Cからのメモリ内で書き込む問題を解決する

移行したDBMSデータ構造を備えた1Cから1Cを取り出すときは、いくつかの困難が可能です。たとえば、1Cプラットフォームのフレームワークにいくつかのエンティティがある場合は、テーブル内のエントリまたは文書（到着または消費）に表示されます。 標準エラーメッセージ 一般的に 絶縁レベルでいくつかの問題について話す.

関連エラーとは何ですか？標準の実行方式は5つのレベルの断熱材をサポートし、メモリ内OLTPメカニズムは3つのレベルにすぎません。為替 デフォルトプラットフォームは絶縁レベルを使用しますこれを読み込んだじゃない 機構における適合に-メモリoltp.。したがって、これらの分離レベルの間の一貫性の問題が起こる。

このタスクを解決しようとしている、私は多くの時間を過ごしました。そして、解決策の検索はリバースエンジニアリング（「リバースエンジニアリング」）で私を起動しました。メモリ内構文と一致するように。しかし、その解決策が表面上にあることがわかりました - それは簡単で簡単です。

まさに SQLサーバー 2014年、メモリ内技術が登場した、 データベースプロパティ、なので is_メモリ最適化elev_に_スナップショットオン。。デフォルトでは、無効になっていて、オフになっています - これはスライドに表示されているクエリによって確認できます。

それぞれ、 このプロパティを有効にするコマンドを実行するとt 絶縁レベルのコヒーレンスに問題はありません.

同時に、DBMSがデフォルトを使用する絶縁レベルを上げます。スナップショット絶縁レベルと一致するだけで、メモリ内テーブルにデフォルトが使用されます。したがって、DBMSの側面で小さな操作を実行すると、任意の文書とデータがメモリ内テーブルに記録されます。

DBMS側のビジネスロジックの移行の一般方式

何と言えばいい 一般的な移行方式について サモア dBMS側のビジネスロジック?

それは含まれていますあなた自身で 2つのオブジェクト:

まず、ISです コンパイルされた手順これは直接行われます。
そしてNe上のもの。 その実装のラッパーいわゆる リトリロジック。 (労働ロジック）。どうして？ストアドプロシージャが実行される保証がないためです。その実行の過程で、いくらかの競合が発生する可能性があるため、必要です。 その結果として特定のネットワークコール手順あなたのビジネスロジックを必然的に実装する 終わりまで完成.

ここに 近似方式の実装「ラップ」。ここにAddOutcomeは外部標準化 - （ラッパー）です。サイクル内には、すでにマシンコードにコンパイルされているプロシージャがあります。見た（再試行）ブロック。したがって、競合がある場合は、開発者として、待機期間をレイアウトしているため、競合するトランザクションが実行され、したがって実行されることができます。

結論

まあ、結論として、私たちはそれを言うことができます テーブルの移行に-メモリ1Cにoltproductoryが必要になります:

多数の知的財源および財源,
多数のスペシャリストを接続します.
まあ、最も基本的な問題はそれです サポート技術に-メモリOLTPは現在プラットフォームにありませんそしてこの点に関しては1cに向かってしか見られない。少なくとも、プラットフォーム内でこの技術を使用する可能性の外観にうまく反応することを願っています。

*****************

私たちはあなたを新しい会議に招待します。

以前のサブセクションでは、対象地域の適切な表現のために、データベースの開発および維持のシンプルさを簡単にするために、その関係は第3の通常の形式に与えられるべきであることに留意されたい（正規化およびより高い注文の形態があるが、実際には、それらは非常にめったに使用されません）、つまり強い正規化されています。同時に、弱い正規化された関係にもそれらの利点があり、その主な主なものは、データベースが主に要求だけで適用された場合に適用され、そして非常にめったに行うためのデータを追加し、それらのサンプルがはるかに速くされます。これは、弱めに正規化された関係では、それらの組み合わせの組み合わせが既にあり、これはプロセッサ時間に費やされないという事実によって説明されます。正規化関係がより十分かつ弱いシステムの2つのクラスが区別されています。

強く正規化されたデータモデルはOLTPアプリケーションに最適です - オンライントランザクション処理 （OLTP） - アプリケーション運用治療トランザクション OLTPアプリケーションの典型的な例は、倉庫会計システム、運用銀行システムなどです。そのようなシステムの主な機能は、多数の短いトランザクションを実行することです。トランザクション自体は非常に簡単ですが、そのようなトランザクションが非常に多くあるという問題は、同時に実行され、トランザクションが発生すると、トランザクションの前の状態にシステムをロールバックして戻す必要があります。 OLTPアプリケーションでのほとんどすべてのデータベース要求は、コマンドの挿入、更新、削除から構成されています。サンプリング要求は主に、さまざまな種類の参照書からユーザーサンプリングユーザーを提供することを目的としています。 τᴀᴋᴎᴍᴀᴋᴎᴍᴏϭᴩᴀᴈᴏᴍは、大部分の要求がシステム設計で事前に知られています。 OLTPアプリケーションにとって重要なのは、短いデータ更新操作の実装の速度と信頼性です。 OLTPアプリケーションでのデータ正規化のレベルが高いほど、より速く、より信頼性が高くなります。この規則からの退却は、関係の組み合わせとこの規則の開発に関するアプリケーションの操作を必要とする頻繁に発生する要求があるときに発生する可能性があります。

別の種類のアプリケーションはOLAPアプリケーションです - オンラインの分析処理 （OLAP） - 運用分析データ処理の適用これは、意思決定支援システム（DSS）、データウェアハウス - データウェアハウス、データインテリジェントシステム - データマイニングの原則を特徴付ける一般的な用語です。そのようなシステムは、データ間の依存関係を見つけるように設計されており、「... ...」の原則と尤度の原理についての動的分析のために設計されています。 OLAPアプリケーションは、企業に蓄積されているか、他のソースから取得された大規模なデータアレイで動作します。そのようなシステムは以下の特徴によって特徴付けられる。

新しいデータのシステムに追加すると、例えば月または四半期には、比較的めったに大きなブロックが発生しません。

システムに追加されたデータは通常削除されません。

ダウンロードする前に、データを定義されたフォーマットに持つことに関連したさまざまな準備手続きを受けます。

システム要求は選択されていないかつ非常に複雑です。

クエリの速度は重要ですが、重要ではありません。

OLAPアプリケーションデータベースは通常1つ以上のハイパーキューブとして表され、その測定値は参照データであり、これらのデータの値はハイパーキューブ自体のセルに格納されます。物理的には、特別な多次元データモデルに基づいてハイパーキューブを構築することができます。 多次元オラプス （MOLAP）またはリレーショナルデータモデルによって表される - リレーショナルOLAP。 （ローラップ）。

リレーショナルデータモデルを使用したOLAPシステムでは、データは事前\u200b\u200b計算された主要な最終データを含む不十分な正規化関係として格納されることを意図しています。データの冗長性とそれに関連する問題は、ここではまったくまれであり、結果がデータ更新と一緒に再計算されるため、ここではひどくはありません。

- 給水システムの信頼性を確保する方法

給水システムの信頼性を確保することで、他の大量保守システムは、設計時の主なタスクの1つです。システムは指定された操作の過程で指定された機能を実行するように設計および構築されなければなりません... [続きを読む]

- I.保護システムセキュリティの概念

開発されているシステムのセキュリティの概念は、「この一連の法律、規則および規則および規範の規定の規定の定義、組織のプロセス、保護および配信方法を定義します。特に、ルールは、ユーザーが操作権を持っているという事実を決定します... [続きを読む]

- 暖房システムの設計上の主な決定を下した後

給湯システムの設計。暖房システムを開閉回路で接続するときにサーマルノードスキームに指示してください。いくつかの建物の熱供給による自己試験のための質問。ポンプやその他の機器が設置されています... [続きを読む]

- 防火システムの火災安全要件

技術プロセスの火災安全性を確保するための基礎。質問2.オブジェクトの外国の防止（25分）防火防止には、人々の安全性を確保することを目的とした組織的および技術的措置の複合が含まれています。

- 動物臓器の織物と器官

動物織物動物はまた、いくつかの種類の組織を区別します。それらの最も重要なものは以下の通りです。上皮ナチュレッツは、肝臓、肺、腺の一部である内部キャビティと臓器を覆う、外側の体を覆っている境界線織物です。

より高い真核生物のゲノムにおいて、多数の反復DNA配列がある。例えばヒトにおいて、そのような繰り返しは全ゲノムの40％を超えることを占める。そしてこれは、DSBを形成するときに、いくつかのギャップの同時教育の可能性を意味する... [続きを読む]

- Avo Zolloni Anti-A、抗Vおよび抗AVのシステムの血液群の定義

血液群の定義この規則によると、すべての患者は凝集体を含まないので、群の血液O（1）を溢れさせることができ、他のグループのグループは他のグループのバンドを溢れさせることができます。凝集子したがって、概念が紹介されています...

OLAPシステム

OLAP（Eng。オンライン分析処理、分析治療リアルタイムで） - 多次元原理によって構成された大規模データアレイに基づく合計（集約された）情報の準備からなるデータ処理技術。 OLAPテクノロジの実装は、ビジネスインテリジェンスソフトウェアソリューションのコンポーネントです。

Olap - Edgar Coddの創設者は、1993年に「12の分析処理の法則をリアルタイムで」提案しました。

企業には、個々の生産プロセスを自動化するための倉庫会計システム、会計システム、会計システム、ERPシステム、会社部門を備えた報告システム、および従業員コンピュータを介して散在している多くのファイルがあります。

そんなに多数の情報源を持つ情報源を持つことが、当社の活動の主な問題に対する答えを得ることは非常に困難です。そして、所望の情報が使用されているシステムまたはローカルファイルのうちの1つにまだある場合、それはしばしば古くなっているか、または他のシステムから取得された情報とは反対になることが多い。

この問題は、OLAPテクノロジーズ（OLAPシステム、ビジネスインテリジェンスシステム、ビジネスインテリジェンス）に基づいて構築された情報および分析システムの助けを効果的に解決します。 OLAPシステムは、大量のリアルタイムデータ、動的レポート、監視、および主要なビジネスインジケータを分析するためのユーザーツールを提供している、既存のアカウンティングシステムを統合しています。

OLAPシステムの利点

会社の管理における重要な役割は情報を果たしています。原則として、中小企業でさえも、さまざまな活動分野を自動化するためにいくつかの情報システムを使用しています。従来のデータベースに基づく情報システムにおける分析レポートの取得は、いくつかの制限に関連しています。

各レポートの開発にはプログラマーの作業が必要です。

レポートは非\u200b\u200b常にゆっくり（しばしば数時間）、情報システム全体の作業を遅くします。

会社のさまざまな構造要素から得られたデータは統一されておらず、しばしば矛盾していません。

OLAPシステム、その構造の非常にイデオロギーは大量の情報を分析するように設計されており、従来の情報システムの制限を克服することができます。

企業内のOLAPシステムを作成することができます。

・真実の単一バージョンを作成することで、さまざまな情報システムからのデータを統合する

・プログラマーなしで複数のマウスクリックで新しいレポートを設計する。

・リアルタイムは、任意の詳細レベルでカテゴリやビジネスインジケータに関するデータを分析します。

主なビジネス指標の監視と予測

OLAPシステムを操作するときは、常に答えを見つけることができます、新たな質問、全体としての写真を参照して、ビジネスの様子を常時監視することができます。同時に、関連情報のみを使用していることを確認できます。

OLAPシステムの実装結果

経営陣は、状況と会計管理、分析の単一のメカニズムの完全な明確なビジョンを取得します。

内部ビジネスプロセスの自動化と従業員の生産性の向上により、人的資源の必要性が低下しています。

OLAPアクション

クエリ処理にOLAPを使用する理由はスピードです。リレーショナルデータベースは、通常、通常は正規化されている別々のテーブルに保存します。この構造はデータベース（OLTPシステム）の動作に便利ですが、複雑なマルチクロック要求は比較的遅いです。

作業データから作成されたOLAP構造はOLAPキューブと呼ばれます。キューブは、スターまたはスノーフレーク方式を使用してテーブル接続から作成されます。スタースキームの中央には、要求が行われる重要な事実を含むファクトテーブルがあります。ファクトテーブルに複数の測定テーブルが接続されています。これらの表は、集約リレーショナルデータをどのように分析できるかを示しています。可能な集計の数は、初期データが階層的に表示され得るメソッドの数によって決まります。

たとえば、すべての顧客は都市または国の地域（西、東、北、など）によってグループ化することができます。したがって、50の都市、8つの地域、および2カ国は60人のメンバーとの階層の3レベルになります。また、顧客は製品に関して組み合わせることができます。 2つのカテゴリに250個の製品がある場合は、3つの製品グループと3つの製造ユニットがある場合、集計数は16,560です。スキームに測定を追加する場合、数可能なオプションすぐに数百万以上に達する。

OLAPキューブには、基本データと測定情報（集計）が含まれています。キューブには、任意の要求に対する回答に必要なすべての情報が含まれています。凝集数の巨大な数のため、残りのために「オンデマンド」が残りのために行われます。

基本概念と一緒に、3種類のOLAPがあります。

多くの測定値（多次元OLAP - MOLAP）を伴うOLAP。

リレーショナルOLAP（ROLAP）;

ハイブリッドOLAP（ハイブリッドOLAP - HOLAP）。

MOLAPは古典的なOLAP形式であるため、それは単にOLAPと呼ばれることが多いです。それは、Spatialデータベースプロセッサの特別バージョンのサミットデータベースを使用し、基本データと集計の両方を保存して必要な空間データ方式を作成します。

ROLAPはリレーショナルストレージで直接動作します。ファクトテーブルと測定テーブルはリレーショナルテーブルに格納され、追加のリレーショナルテーブルがユニットを格納するために作成されます。

HOLAPは、基本的なデータと集約のための多次元表を格納するためのリレーショナル表を使用します。

ROLAPの特別なケースはROLAPリアルタイム（リアルタイムROLAP - R-ROLAP）です。 R-ROLAPのROLAPとは異なり、集計を保存するために追加のリレーショナルテーブルが作成されず、その要求時に単位が計算されます。この場合、OLAPシステムへの多次元要求は自動的にリレーショナルデータへのSQL要求に変換されます。

各種類のストレージには特定の利点がありますが、異なる製造業者からの評価には対応があります。小さなデータセットに最適で、集計をすばやく計算し、答えを返しますが、膨大なデータ量が生成されます。 ROLAPは、可能な限り最小のスペースを使用するよりスケーラブルな解決策として推定されます。この場合、処理速度は大幅に低減されます。 HARAPはこれら2つのアプローチの真っ只中にあり、それはよく縮小され、すぐに処理されています。 R-ROLAPアーキテクチャは、リアルタイムで多次元OLTPデータ解析を可能にします。

OLAPの適用の複雑さは、クエリ、基本データの選択、およびスキームの開発を作成することであり、その結果、最新のOLAP製品のほとんどに膨大な数の事前設定されたクエリが付属しています。もう1つの問題は基本的なデータです。彼らは完全で一貫していなければなりません

販売オラプズ

歴史的に、最初の多次元データベース管理システムは、本質的にOLAPの実装であることは1970年にIRIによって開発されたExpressシステムです（後で製品の権利はOracle Corporationによって購入され、OracleデータベースのOLAPオプションに変えました）。 OLAPという用語は、1993年にコンピュータワールドの出版物でEDGAR CODDを導入した。これにより、提案されたリレーションデータベースのための12の規則と同様に、プロジェクトを満たす参照製品として、分析処理の原則のうち12の原則が提案されました。原則、コードはARBORのESSBASEシステム（1997年はHyperionによって吸収され、それが2007年にOracle）を購入しました。その後、符号は後でarborのコンサルティングサービスを提供しているため、その後、興味のある矛盾があるため、コンピュータワールドアーカイブから引き出されたことは注目に値します。

その他の有名なOLAP製品：Microsoft Analysis Services（以前はOLAPサービス、パートSQL Serverと呼ばれる）、SAS OLAP Server、TM1、PowerPlay、SAP BW、MicroStrategy Ingelligence Server、Mondrian、Analytical Complex予測。

c実装ポイントは、「物理OLAP」と「Virtual」（リレーショナル、英語リレーショナルOLAP、ROLAP）に分けられます。実装に応じて、「物理」は、多次元（多次元OLAP、MOLAP）およびハイブリッド（Hybrid Olap、Hoarap）に分けられます。

最初のケースでは、ソースからOLAPのプリローディングステージで、集計の予備計算（たとえば、いくつかのソース値の計算、たとえば「1ヶ月の計算」）があり、その後に保存されます。高速抽出と費用対効果の高い記憶装置を提供する特別な多次元データベースそのような製品の例は、Microsoft Analysis Services、Oracle OLAPオプション、ESSBase、SAS OLAP Server、TM1、PowerPlayです。

ハイブリッドOLAPは組み合わせです。データ自体はリレーショナルデータベースに格納され、集計は多次元的にあります。

ROLAP実装では、すべてのデータが格納され、リレーショナルデータベース管理システムによって処理され、DBMSまたはAnalyticalソフトウェアのキャッシュ内の最初のリクエストですべてが存在しない、または作成できます。そのような製品の例 - SAP BW、MicroStrategy Intelligence Server、Mondrian。

ユーザーの観点からは、すべてのオプションが機能のようになります。財務計画、データウェアハウス、ビジネスインテリジェンスクラスソリューションのための製品でのOLAPの最大の使用。

OLTPシステム（トランザクション運用システム）

OLTP（オンライントランザクション処理）、トランザクションシステム - リアルタイムトランザクション処理。システムが小さなトランザクションで機能しているが大幅なストリームに移動するデータベースを整理する方法、および同時に、クライアントはシステムから最小応答時間を必要としています。

OLTPという用語はシステム（アプリケーション）にも適用されます。 OLTPシステムは、リアルタイムで情報（操作、文書）の情報（操作、文書）の入力、構造化された記憶および処理を行うように設計されています。

整合性の問題は、いつでもデータベースデータの正確さを確実にすることです。 TRAREに分割することができます.1。誤った情報が適用されると、入って更新するとき。 2.データが複数のユーザーを同時に使用するとき。 3. APS障害で。

完全性の問題を解決すると、ソフトウェアと組織の観点から考慮されるべきです。課題1.多くのイベントオーガナイザー（次のように入力）が必要です。ユーザーは入力と制限の規則を知っているはずです。問題2-3 - 標準的な手段 DBMSまたは特殊なソフトウェアモジュール。 DBMS - 2基本的な整合性の制限事項：1。構造の制限事項（機能債券によって定義され、データベース値の平等を確認することによってチェックされます）2。実際の値の制限事項。フィールド値をいくつかの範囲に属しているか、またはいくつかのフィールドの値の間のこの関係が必要です。（データ型と入力マスク）。制限はいつでもADによって設定できますが、DBMSは制限を受け付けない場合があります（たくさんのレコードが満たされなくなった場合）、コンプライアンスがある場合は辞書に書き込まれて使用されます。制限は複雑さの点で異なります。

2.文字列の属性のセットを制限します。（位置 - 放電速度、エッジ都市）。

3.多くの行に同時に制限されています。

これらすべての統計的制限が、データベースを1つの状態から別の状態に切り替えるときは、すべての変更前とすべての終了後に完全性の制限を満たす必要があります。そのような制限は延期され、それらに対して相対的なトランザクションの概念を導入しました。トランザクション - データベース上のUSSerアクションの観点から完了しました。同時に、これはシステムの論理単位です。トランザクションは、例えば、銀行システム内の別のアカウントから別のアカウントへのお金を転送するなど、いくつかのアプリケーション機能を実装しています。

4つのプロパティが必要です：1。原子性（不可分性）：データベースへのアクセスの1回の操作として実行され、完全に実行されていなければならない。 2.一貫性 - 取引処理終了後に相互データの整合性を保証します。 3.分離（各トランザクションはこれを変更できます。これは一時的に矛盾しない状態にあります）。この場合、トランザクションが完了するまで、これらのデータへの他のトランザクションのアクセスは禁止されています。 4.耐久性 - トランザクションが成功した場合、変更は失われません。トランザクションの結果は、その固定（データベースの変更の修正時のアクション）またはロールバック（トランザクションのキャンセルとデータベースの開始前の状態へのデータベースの返却）です。固定機構とロールバックは、状態が前後（複数回の反復）と後に保持されているトランザクションログの使用に基づいています。一部のSQL方言には、中間固定演算子（ポイントツーポイントからポイントへのロールバック）が含まれます。

トランザクション処理モニタ（TPM）処理処理モニタ（TPM）はソフトウェアシステム（仲介ソフトウェアまたは中間ソフトウェアを参照）効果的な管理分散システムにおける情報と計算リソースそれらは開発と管理のための柔軟でオープンな環境です。モバイルアプリケーション分散トランザクションの運用処理に焦点を当てています。 TPM - スケーラビリティの最も重要な機能の中で、機能的な完全性とアプリケーションの完全性をサポートし、低コストインジケータでデータを処理するときに最大の性能を達成し、異種環境でのデータの整合性をサポートします。 TPMは3席モデル「クライアント - サーバ」に依存しています

上にモダンな市場トランザクションモニターの主な「作業者」は、ACMS（DEC）、CICS（IBM）、TOP END（NCR）、Tuxedo Sytem（Novell）などのシステムです。

エリアで情報技術相補的な目的地は2つあります。

技術（トランザクション）データ処理に焦点を当てた技術。これらの技術は、運用データ処理を目的とした経済情報システムの根底にあります。同様のシステムと呼ばれる - oltp. （オンライントランザクション処理） システム;

データ分析指向技術と意思決定これらの技術は分析を目的とした経済情報システムの根底にある

累積データ同様のシステムと呼ばれる - オラプス。

（オンライン分析処理） システム.

主な予約OLAPシステム- 動的多年

履歴データと現在のデータの分析時間の安定性、分析

将来の動向、モデリングと予測。そのような

システムは通常任意の処理に焦点を当てています。

事前に規制されていません。基本として

これらのシステムの特性は次のように注意することができます。

多次元データ表現、すべての測定値の平等、測定数に対する生産性の独立性のサポート。

ユーザー構造、保管および処理方法の透明性。

論理データ構造の外部システムへの自動表示。

効果的な方法での放電行列の動的処理

OLAPという用語は比較的新しく、さまざまな文学源ではさまざまな方法で解釈されることがあります。この用語は、意思決定支援（DSS（Decision Support System） - 意思決定支援システムで特定されることがよくあります。そして、最後の期間の同義語として、データのデータウェアハウスストレージ（倉庫）は最後の期間の同義語として使用されます。組織ソリューション、ソフトウェア、およびハードウェアのセットを理解する。私は、低レベルのトランザクション処理システムやその他のソースからのデータに基づいてアナリストを情報に提供しています。

「データフォールド」を使用すると、長期間にわたって蓄積されたデータを処理できます。これらのデータは不均一である（そして必ずしも構造化されていない）。リクエストの多次元性に固有の「データウェアハウス」の場合。膨大な量のデータ、構造の複雑さ、および要求の複雑さには、情報への特別なアクセス権を使用する必要があります。

他の情報源では、意思決定支援システム（SPRD）の概念は広くなると考えられています。データウェアハウスおよび運用上の分析処理ツールは、SPRDアーキテクチャのコンポーネントの1つとして機能することができます。

OLAPは常に常に識別を可能にし、常に明白ではなく、件名領域で観察された傾向を識別できるようにする、要求の対話型処理とその後の情報のマルチボリューム分析を含みます。

時々彼らは「OLAPを狭義に区別する」とは、さまざまなカットでデータサンプルのみを提供し、「OLAP」、またはOLAPだけを含むシステムです。

データベースを編集する複数のユーザーのサポート。

微分結果を得るための計算メカニズム、および集約とデータの組み合わせを含むモデリング機能。

予測、傾向の特定と統計分析。

当然のことながら、これらのタイプのIPのそれぞれは、特定のデータ組織、および特別なデータ組織を必要とします。ソフトウェアスタンディングタスクの効率的な性能を確保する。

OLAP - 手段は、製品の種類、購入者の地理的位置、取引の時間、売り手の地理的位置など、複数のパラメータに関する業務情報の分析を提供し、それぞれが表現階層の作成を可能にします。それで、時間の間、あなたは年間、四半期、毎月、さえ毎週そして毎週の間隔を使用することができます。地理的な区画は、全半球について、都市、州、地域、国、または必要ならば、都市、州、地域、国、または必要に応じて行うことができます。

OLAP - システムは3つのクラスに分けられます。

それらの最も複雑で高価なものは独自の技術に基づいています。 サーバー多次元データベース。これらのシステム フルサイクルOLAPセットを提供しますまた、サーバーコンポーネントに加えて、それ自身の統合クライアントインターフェイスは、スプレッドシートを使用してデータの外部作業プログラムを分析するために使用されます。このクラスの製品は、大規模な情報ストレージ内のアプリケーションの条件に最も準拠しています。彼らのサービスのために、スタッフのスタッフ全体がシステムの設置と維持管理とエンドユーザーのためのデータビューの形成の両方に従事しています。通常類似のパッケージはかなり高価です。このクラスの例として、ArborソフトウェアのEssbaseシステム、Express Express Company（Oracleで入ってきた）、パイロットソフトウェアなどによって製造された照明。

分析時のクイックデータ処理を確実にする方法の1つは、多次元データベース（MDD）の形式のデータの組織であることに注意してください。 MDDの情報は、テーブル内のインデックス付きレコードの形式では格納されていませんが、論理的に順序付けられた配列の形式では保存されません。統一された一般的に承認された多次元記憶モデルは存在しません。 MDDは標準化されたデータアクセス方法を持たず、それらは特定の分析データ処理の要件を満たすことができます。

上記のすべてを考慮して、異なるMDD製品間の比較は、最も一般化されたカテゴリによってのみ実行できます。市場のより安い分野では、単一ユーザーしかなく、小さく意図されていますローカルネットワーク多次元データビューア彼らは可愛いですが高レベル機能性と使用の便利なものでは、これらのシステムはスケールで制限されています。そして彼らは広義にあるOLAP処理の実装に必要な資金を欠いています。このカテゴリには、PowerPlay Cognos Corporation、Andyne、Mercury Pablo Company Companyなどの製品が含まれています。高価な市場部門は、当社のKenan Technologies、Express CorporationのOracle、Planning SciencesおよびHolos Company SystemsのGentiumの急激なESシステムによって代表されています。それらの機能が非常に異なっているのは、それらのいずれかを別のカテゴリに安全に割り当てることができます。最後に、純粋な形のMDDシステム：Essbase Corporation Arbor Software、照明シップサーバーパイロットソフトウェアおよびTM / 1会社SINPER [N. レーメン（ソフトウェア市場）]。

セカンドクラスオラアプリ - 施設 - リレーショナルOLAPシステム （ローラップ）。ここで、古いリレーショナルDBMSはデータを格納するために使用され、データベースとクライアントインタフェースの間に、メタデータレイヤは管理者によって編成されます。この中間層を介して、クライアントコンポーネントはリレーショナルデータベースと多次元として対話することができます。一流の資金と同様に、ROLAPは主要な情報保管施設を扱うのに適しており、情報部門の専門家による維持管理の費用がかかり、マルチプレイヤーモードでの作業を提供します。このタイプの製品の中には、IQ / Vision IQソフトウェア、DSS / ServerおよびDSS / Agent、MicroStrategyおよびDecisionSuiteの利点があります。

ROLAP - リレーショナルデータベースプロセッサを介したアドオンでの意思決定をサポートするためのソリューションを実装することを意味します。

そのようなソフトウェア製品は、特に多数の要件に応答する必要があります。

OLAP用に最適化された強力なSQLジェネレータを使用して、Multi-Frequency SQL演算子および/または相関サブクエリを使用することを可能にします。

クラス内のランキング、比較分析、および目的比の計算を提供する、非些細な処理のための十分に開発された手段を持っています。

利用可能な拡張機能のサポートを含む、ターゲットリレーショナルDBMSに最適化されたSQL期待を生成します。

メタデータを使用してデータモデルを記述するためのメカニズムを提供し、リアルタイムクエリを構築するためにこれらのメタデータを使用することを可能にします。

計算率の観点から、統合されたテーブルの品質を評価することを可能にするメカニズムを含み、それらの使用に対する統計の蓄積に望ましい。

第三に、比較的新しいタイプのOLAP - 施設 - デスクトップPCの要求とレポートを生成するための楽器OLAP機能によって補完された、または機能を実行する外部手段と統合された。これらの高度に発展したシステムは、ソースソースからデータのサンプリングを実行し、それらを変換し、エンドユーザーのPC上で動作する動的多次元データベースに配置されます。このアプローチで、高価な多次元データベースサーバがなくても、ROLAPファンドに必要なメタデータの複雑な中間層がないことを可能にするために、同時に十分な分析効率を提供します。デスクトップPC用のこれらのテーブルは、小規模で単なる整理されたデータベースの処理に最適です。それらの資格のあるメンテナンスの必要性は、他のOLAPシステムの場合よりも低く、従来のクエリ処理環境のレベルにほぼ対応しています。 Brio Technology、Brio Technology、Brio Technologyのこの市場の主な参加者の中で、Brio Query Enterpriseを使用すると、同じ名前とCognosがPowerPlayでのBusiness Objectsシステム。

現在、Web -Cleble OLAP製品の数が増えています。

OLAPを他のソフトウェアに調整することが重要です。 OLAPプロバイダは、SQLSUBDや他のツールと対話する方法をいくつか提供し始めますが、ユーザーとアナリストは統合レベルが異なる可能性があることを警告し、おそらくSQLクエリの書き込みなど、かなりの量のコーディングを必要とします。さらに、OLAPの他の企業のソフトウェアとの統合のための産業標準はありません。

この問題に対する解決策は、以下で構成されている可能性があります。たとえば、多くの企業はデータウェアハウスのクライアント部分としてOLAPを持つデータベースを配置します。このストレージアプローチでは、ユーザーが迅速に包括的な要求を実行するためにアクセスできる多次元OLAPデータサンプルのカーネル。同時に、目的はユーザーの場所をユーザーから隠すクエリを作成することです。この環境では、多次元処理コアへの包括的なクエリまたは詳細情報の検索とリレーショナルサーバに対する単純な要求が自動的に実行されます。このように行くことができない企業のために、OLAPツールとその他のソフトウェアの間の接続を設定するのに重要な役割は、コンサルティング会社によって再生されます。

OLTPシステム運用治療を実施するための非常に効率的な手段であることは、分析処理の課題にはほとんど適していることがわかった。これは次のようになります。

1.伝統的なOLTPシステムの資金は、分析報告書、さらには複雑さの予測でさえも構築することができますが、事前に規制されています。側面への任意のステップでは、原則として、魅力的なエンドユーザー要件は、データ構造とプログラマーの十分に高い認定に関する知識が必要です。

2.運用システムに必要な多くが必要です機能分析タスクには冗長であり、同時に対象領域を反映していない可能性があります。ほとんどの分析タスクを解決するために、分析、予測、モデリングのための外部特殊器具貯蔵庫の使用が必要です。基本の厳しい構造は、複雑なサンプルおよびソートの場合に許容できる性能を達成することを可能にしないので、ゲートウェイを整理するための高い時間費用を必要とする。

3.トランザクションとは異なり、分析システムは必要ありません。したがって、データの完全性、それらの予約および回復を確実にするための開発された手段に対して提供されていません。これにより、実装手段を簡素化するだけでなく、内部オーバーヘッドを削減し、したがってデータを選択するときに生産性を高めることができます。

タスクの範囲は各システムによって効果的に解決されているので、に基づいて定義します。比較特性 OLTP - およびOLAPシステム（表8）。

一部のクラスのシステムを区別することができ、正規化されたデータモデルがより弱いものである。

強く正規化されたデータモデルはいわゆるものによく適しています OLTPアプリケーション(オンライントランザクション処理 (oltp.)-取引の運用処理 ）。 OLTPアプリケーションの典型的な例は、倉庫会計、チケット注文システム、取引取引事業などを実施する銀行システムのシステムです。

そのようなシステムの主な機能は、多数の短いトランザクションを実行することです。トランザクション自体は比較的簡単に見えます。たとえば、「アカウントAからの金額を削除するには、この金額をinに追加します」。

問題は、まず、たくさんのトランザクションがあることが、同時に実行され、同時に実行されます（複数の同時に操作ユーザーをシステムに接続できます）、3番目に、エラーが発生した場合、トランザクションは完全にロールバックする必要があります。そして、取引の開始前の状態にシステムを返却します（勘定aから、お金が取り除かれたときに状況はありませんが、アカウントBに到着しませんでした）。 OLTPアプリケーションでのデータベースへのほとんどすべての要求は、コマンドの挿入、更新、削除で構成されています。したがって、OLTPアプリケーションにとって重要なのは、短いデータ更新操作の実装の速度と信頼性です。 OLTPアプリケーションでのデータ正規化のレベルが高いほど、通常は速くて信頼性が高いという事実。

別の種類のアプリケーションはいわゆるアプリケーションです OLAPアプリケーション(オンラインの分析処理(オラプス。) -運用分析データ処理 ）。これは建設原理を特徴付ける一般的な用語です。 意思決定支援支援システム (意思決定支援システム-DSS),データウェアハウス(データウェアハウス。),インテリジェントデータ解析システム (データマイニング。）。そのようなシステムは、データ間の依存関係を見つけるように設計されています（たとえば、潜在的な買い手の特性を持つ商品の販売がどのように関連しているかを決定しようとする可能性があります）。

OLAPアプリケーションは、スプレッドシートまたは他のデータソースから撮影されたOLTPアプリケーションにすでに蓄積されている大規模なデータアレイで動作します。そのようなシステムは以下の特徴によって特徴付けられる。

新しいデータのシステムに追加すると、比較的めったに大きいブロックが発生します（たとえば、四半期のデータはOLTPアプリケーションからの四半期販売の結果についてダウンロードされます）。

システムに追加されたデータは通常削除されません。

ダウンロードする前に、データは、同じ概念に対して異なるプレゼンテーションフォーマットを持つ多くのソースからのデータが間違っている可能性があるという事実に関連して、さまざまな「クリーニング」手順を経験しています。誤ったデータを1つのシステムに入力できます。

システム要求は選択されていない、ルールとして、かなり複雑です。

クエリの速度は重要ですが、重要ではありません。

OLAPアプリケーションは通常、1つ以上のハイパーキューブとして表され、その測定値は参照データであり、ハイパーキューブ自体のセルではデータ自体が格納されます。たとえば、ハイパーキューブを構築することができます。その寸法は、時刻（ブロック、年）、商品の種類と会社の分離、セル内で販売のために保存されます。このようなハイパーキューブには、四半期および単位の各種品種の販売に関するデータが含まれています。このデータに基づいて、「当社は現在の年度の最善の販売量はどのような販売数量であるか」と答えることも、「前年度比で南西地域の販売の動向は何ですか？」と答えることもできます。

データ正規化の問題に戻ると、リレーショナルデータモデル（ROLAP）を使用するOLAPシステムでは、事前計算された主な最終データを含む正規化された関係としてデータが保存することをお勧めします。ここでの大きな冗長性と関連する問題は怖くない、更新は、データの新しい部分をダウンロードする際にのみ発生します。この場合、新しいデータを追加して結果の再計算の両方が発生します。