Karmaşık OLTP sistemlerinin uygulanması uygulaması. Açık Kütüphane - Açık Eğitim Kütüphanesi

Her şey, üç yıl önce, bir perakende mağazası ağı olan bir şirkette, Kırgızistan'da çalıştığımda profesyonel kariyerinde gerçekleştiği bir hikayeyle başladı. Öyleyse, "Denis," Denis, önemli, kritik operasyonlardan birine sahibiz, gişede "Kontrol" bir belge yürütmektir. Operasyonel kalıntıları elde ederken bu işlemi mümkün olduğunca, paralel olarak nasıl hızlandırabiliriz? "

Hemen o zamanlar 8.1 platformu ve otomatik kilitleri kullandığını söyleyeceğim. Sonra ona evet olarak cevapladım, yönetilen kilitlere geçebiliriz ve bu işlemi isimlendirme düzeyinde paraleldir. Bana doğal bir soru sorduğu: "Aynı anda bir tane ve aynı isimlendirmemiz olursa ne olur?" Sonra bu soruya anlaşılır bir cevap veremedim, ama umarım şimdi benim için çalışacak.

Donanım Geliştirme Trendleri

Bakırsak endüstri GeliştirmeSon birkaç yıldakesin göreceğiz donanımdaki Eğilimler:

• İlk trend hafıza ile ilgilidir. Kimse, hafızanın zaman içinde daha ucuz olduğu haber değil ve Şu anda biz zaten nispeten az para için oldukça büyük miktarda bellek alabiliriz..
• İkinci eğilim - işlemcilere göre. Herkes, Moore Hukukuna göre, verimlilik artışının, güç tüketilen gücü ve işlemci sıcaklığının sıcaklığını bildirir. Belli bir noktada, bir çekirdeğin seviyesindeki bu yazışma bitti (şimdi uzun süre bir çekirdeğimiz var. basit kullanım Öncekinden daha hızlı), ancak birçok çekirdeğin seviyesinde (çok çekirdekli işlemciler) devam etti. Bu nedenle, tüm umutlarımız ve düşüncelerimiz paralel bilgi işlem alanına gider ve bizGeliştiriciler ve Mimarlar DBMS olarak, uygulamalarımızın performansını iyileştirmek için, içinde planlanmalıdır..

İşletme Uygulama Geliştirme Trendleri

Ve şu anda neler oluyor İş düzeyinde? Gözlemliyoruz: daha fazla kullanıcıdan daha fazladaha fazla kullanan bu aygıtlarArtan bir miktarın yapıldığı programve hepsi sırayla artan bir miktar oluşturur veri.

Burada bu işlemlerin çoğu bulutlar tarafından desteklenmektedir..

Bulutlara ek olarak, hepsinin bir kombinasyonu olan mobilite gibi hala bir öz var. mobil cihazlarProgramların ve verilerin yanı sıra üretilirler.

Bulutlar ve mobilite her zaman birbirine bağlandı ve bu iki varlığın gelecekteki etkileşimlerinden, bazı atılımlar alabiliyoruz. Bu etkileşim, Batı'da bilinen bir stratejinin görünümüne yol açtı: Mobile-First - Cloud-First (başlangıçta mobil ve başlangıçta bulutlu).

BT endüstrisi her zaman değişti ve şimdi değişti, dönüşümü test ediyor. Ve bu dünyada, başlangıçta mobil ve başlangıçta bulut, sürekli olarak oluşumun hızını arttırır Bunlar veri ve bunun büyümesi - üstel. Buna dayanarak korunma, birikim ve bilgi güncelleme sorunu vardır.Sürekli artan hızda, sistemlerimize düşer.

Sırasıyla, Özel teknolojilere ihtiyaç var. Ve eğer özellikle bellek içi OLTP'sinin bulunması durumunda, bu şu anda BT endüstrisinin daha da gelişmesini sağlamak için tasarlanan birçok teknolojinin sadece biridir.

Bellek içi OLTP teknolojisi

Bellek içi OLTP teknolojisi neden ortaya çıktı? Ve neden önemlidir?

• Gerçek şu ki, işin tüm büyük gereksinimleri yer vermesidir:
  • birden fazla bant genişliğine:
  • beklenen OLTP sürecine, öngörülen hız ve minimum gecikmeler ve küçük paralar için.
• Buna karşılık, donanım, Donanım mimarisinde en son değişikliklere uymaları için ilişkisel veritabanları için gereklilikleri yapar.

Sırasıyla, İçinde-hafıza.Oltp. - bu: yüksek performanslı mekanizma, hangisi modern donanımla buluşuyor vemaksimum hafıza ile çalışmak için optimize edilmiş.

Ve en önemlisi, bellek içi OLTP, bir tür ayrı ürün değildir (ödemeniz gereken ayrı bir lisans değildir). İle başlayanSqlSunucu 2014.Bellek içi OLTP - bu çekirdeğin bir parçasıbu ürünün editörlük ofisinin bir parçası olarak hangisiİşletme.

Burada görüyorsun teknoloji olan üç ana bileşenİçinde-hafıza.Oltp.. Böyle bir atılım etkisi yapmasına izin verirler:

• Birincisi, gerçeği açık bir kurulumdur. tüm veriler bellekti.
• İkincisi, önemli olan: bunlar veri bulunurözel dizayn edildi veri yapılarını engellemeden ücretsiz.
• Üçüncüsü, yerli, yerel bir derlemedir. Temsil ediyor bellekte makine koduna derlenen iş mantığını içeren saklı yordamlarSQL Server.

Etkileşim altyapısının karşılaştırılması (geleneksel şema ve hafıza dışı OLTP)

Eğer biz geleneksel müşterinin etkileşimi şemasını ve DBM'lerini görelim, sonra her şey açıktır:

• Sahibiz müşteri zorlukları ile müşteri,
• var sunucu 1c: Kurumsal, hangisi tüm iş mantıklarını barındırır.
• Ve bir dBMS Sunucusu. Genellikle geleneksel şemada kullanılır veri ile manipülasyon için (ve özellikle - dört işlem için: numune, birikim, değişim ve silme).

Bir şema durumundaİçinde-Hafıza.Oltp. 1C platformun bir parçası olarak, şema biraz değişir:

• Kalmak Aynısı müşteri zorluklarıyla müşteriler.
• Ancak bu durumda sunucu 1c: Kurumsal Çok az dönüştürülmüş. Genel olarak, tüm işlevleri ve randevu tamamen kalır, ancak şimdi mevcut tüm iş mantıklarını tam olarak kontrol ettiği söylenemez. Burada, yazılım sunucusunun bir katmanını aradım. Neden?
  • Çünkü dBMS'ye ek bir dış doğrudan bağlantı belirir, saklı yordamların zorlandığıDaha önce konuştum.
  • Öz Bunlar saklı yordamlar Şimdi oluşur veri işlemlerini uygun şekilde üretmek içinoyuncak İş mantığıDBMS seviyesinde yer aldınız.

Katmandaki "Sweep" fiziksel tabakasının nasıl mantıksal olduğuna dair canlı bir örnek.

Bellek içi OLTP'nin ana avantajı

Burada slaytta, bellek içi OLTP teknolojisinin temel özelliklerinden bazılarını listeler. Bunu internette daha ayrıntılı olarak (çoğunlukla Microsoft web sitesinde ve ayrıca Batı geliştiricilerinin çok sayıda blogunda) okuyabilirsiniz. Burada henüz söylemediğim bir nüansı netleştirmek istiyorum: Bellek içi OLTP'de tamamen yeni bir şey ortaya çıktı paralel yürütmenin multivororesional iyimser kontrolü. Çerçevesinde yok hiç verilerle çalışırken kilitler kavramı. Çalıştığında, farklı akvarjler arasındaki çatışmalar nadirdir, ancak eğer olurlarsa, hızlı bir şekilde çözülürler ve standart bir engelleme mekanizması kullanılması durumunda olduğu gibi çok uzun süre beklemek gerekli değildir.

1C platformda bellek içi OLTP teknolojisini kontrol etmek için test komut dosyası

Hafızada Teknoloji Veren fırsatları analiz etme, bu teknolojinin işini 1C platformun bir parçası olarak doğrulamak için oldukça basit bir test senaryosu uygulamaya karar verdim. Gösteri ortamısonuç olarak ortaya çıktım buna benzer:

• aldım Çok basit Bir birikim kayıtlı yapılandırmaAdlandırmanın kalıntılarının, miktarı bağlamında kalıntıları dikkate alındı.
• Ayrıca bu yapılandırmada İki Belge - Varış ve TüketimAşağıdaki iş mantığının uygulandığı:
  • Varış belgesi minimum kalıntı için destek sağladı.
  • Ve bir belge iletirken, akış sıfır kalıntıların yokluğuyla kontrol edildi.
• İçin rekabetçi simüle etmek çok dişli yük Bu belgeleri gerçekleştirirken, ben arka plan işlemleri ile standart bir yaklaşım kullandıAkışın akışını gerçekleştirecek ezici çoğunluk olandı.
• Gösteri ağımda kullandığım da belirtilmelidir. İki sanal makine:
  • Bir - sunucu 1c için: Kurumsal,
  • Ve diğer - içinSQL Server.

Ancak her iki sanal makine bir sanallaştırma ev sahibi içinde.

İlk Ölçüm - Temel Gösterge

Bu şema uygulandıktan sonra geçirdim standart, geleneksel için temel göstergelerin kontrolü ölçümü Yönetilen kilitleri kullanarak 1C olan belgeler. İlk ölçümün bir sonucu olarak ne aldım?

Slayt, aldığım göstergenin değerini vurgulandı. : Saniyede 120 belge 64 arka plan işlemi ile, bu sahip olduğum temel gösterge.

SQL Server. - İşlemciler dinleniyor, yalnızca yönetilen kilitler.

İkinci ölçüm yalnızca bellek içi yalnızca tablolarda geçiştir.

Bir sonraki adım, standart verilerin depolandığı yapıların göçünü yapmaya karar verdim.İçinde-hafıza tabloları. Ve onları göç ettikten sonra, standart testimi başlattım. Hepsi aynı oldu: 1C platformun araçları belgeler gerçekleştirildi, ancak şimdi bellek içi tablolarda zaten saklandılar (platformun kendisi hakkında bilmiyordu).

Sonuç Bölgede çıktı Saniyede 150 belgeBu nedenle, küçük bir artış hala gerçekleşti, ancak önemsiz ve bazı sistemlerde bu artışı bile göremezsiniz. Genel olarak, bu durumda İşlemciler üzerindeki yük hiçbir şekilde değişmedi, bu yüzden onları burada bile vermiyorum.

Birisi aynı görevi gerçekleştirmeye çalıştıysa, genellikle sorunlara neden olursa, biraz sonra bu sorunların nasıl çözüldüğünü söyleyeceğim.

Üçüncü ölçüm - bellek içi ve tablolarda göç ve iş mantığı

Üçüncü adımda, veri yapılarının göçünün yanı sıraİçinde-bellek tablosu, tamamen oyulmuştu veta iş mantığıBelgeleri yürütmek için gerekli olan - gerekli tüm eylemler:

• Belgeleri ve tablo parçalarını şekillendirme;
• Kayıtları;
• Belgelerin Belgelerinin Oluşumu;
• Ve mevcut artıklardaki değişiklikler.

Sonuç olarak, alındı sonuç 250 saniyede belge. Aslında, baz göstergesi 120 ve 250 ile ilgili olarak, iki kereden biraz daha fazladır.

Burada biraz gülebilir ve iki kat daha güçlü demir alabileceğimizi ve yaklaşık olarak aynı sonucu alabileceğini söyleyebiliriz. Ancak bu durumda işlemciye bakarsanız her şey açıklanmıştır:

• Sunucu 1c: İşletmeler tamamen yüklendi;
• Süre sunucuSQL sadece üçte biri tarafından meşgul.

Bu yükün sunucu 1c üzerindeki bu yükü bulmayı başardım: Şirket, bu, sineydeki bu belge sayısını üretmek için zamanınız olmadığını ve ayrıca SQL Server'ı tam olarak indirmek için vermelerini sağlamak için zamanımız olmadığını gösterdi. o.

Daha sonra SQL Server'ı tam olarak indirmek için öğrenmek mümkündü. bu örnekyaklaşık sekiz benzer olurdu sanal makineler. Ancak bunun anlamı olmazdı, çünkü sadece bir tane sanallaştırma kullandım ve herhangi bir ek demir özel teçhizatım yoktu. Ancak gelecekte gerekli değildi.

Dördüncü Ölçüm - Bir arama için 15 belge transferi

Dördüncü dondu Bir ağ çağrısında bir SQL Server'da daha fazla iş vermenin mümkün olacağı umuduyla yaptım. Bunun için, iş mantığı yeniden yazılmıştır. bir arama için bir kerede 15 belge verin. Sonuç olarak hız saniyede 550 belgeye yükseldi.

Aynı zamanda, çizelgelerde görülebileceği gibi, sunucu 1c: Kurumsal İdi her şey de tamamen yüklenmiştir, ancakSQL Server "dinlenmeye" devam etti.

Aslında, bu senaryo oldukça sahtedir, çünkü hiç pratik bir faydası yoktur ve sadece bir inceleme olarak uygulanmıştır. Ancak her durumda, tam olarak indirmek için SQL Server'a yeterli yük aktarma problemini açıkça görüyoruz.

Beşinci Ölçüm - SQL Server tarafındaki hazırlanan yükün başlatılması

Bir sonraki adım, daha önce tüm yükleri oluşturmaya karar verdim.. Bu yük baktı oluşan 64 dosya şeklinde700 megabayt için SQL scriptleri. ben onları hareket ettirdiSQL Server.ve bu dosyaları paralel yükü başlatmak için "yükseltebileceğiniz" iyi bilinen Ostress Utility programını kullanmak, aşağıdaki sonucu alınır.

• İşlemciyi yükleyerek - Sonuçta verilen test süresi standart görev gönderme penceresine yerleştirildi: Yükün başlangıcı var, sonra tamamen tüm işlemciler neredeyse
• Sonuç olarak, yük oluşturuldu 112 bin belge Aynı zamanda, "tüketim" belgelerini yürüten tüm bu süreçler tamamen korunmuştur: tüm artıklar kontrol edildi, tüm eylemler yapıldı.
• Yük işgal edildi 53 Sık sık saniye.
• Bazı hesaplamalar yaparsanız, ortalama süre Bir belge yarım milisaniyeden az,
• fakat belgelerin ortalama hızı saniyede 2000'den fazla belgedeydi..

Bu sonucu ilk kez aldığımda - inanamadım. Sadece sizin için hangi hacimlerin bulunduğunu hayal edin, şimdi tamamen farklı kategorilerde düşünebilirsiniz. Ve şimdi eski direktörümü yanıtlayabilirim, çünkü kutu ofisinde "Kontrol" belgelerinin tutulmasını hızlandırabiliriz. Ve bazı çatışmalarımız olsa bile, engelleme, sürecin kendisi şimdi çok hızlı geçecek.

Göç metodolojisi

Göç metodolojisine geri dönerseniz İçinde-Hafıza.Oltp.o zaman o not edilmeli tüm durumlar için uygun değil.Hızlı veri erişiminin garanti edildiği, yalnızca sisteminizin bazı darboğazları için kullanmak gerekir. bu nedenle bu teknolojiyi uygulamadan önce, kapsamlı bir analiz yapmanız gerekir.:

• Örneğin, yürütme yığınlarını (geleneksel ve hafızalı OLTP) karşılaştırırsanız, o zaman ağ etkileşim seviyesinde değişmedi. Bu nedenle, programınız (uygulamanız) çok "konuşkan" ise, bir DBMS sunucusuyla çok sayıda mesajla değiştirirse, bellek içi teknolojiye yardım etmeyeceksiniz - burada iyileştirme yok.
• Ayrıca, bakarsak veritabanı Kayıt Günlüğü, sonra burada ayrıcaÖzellikle hiçbirşey değişmedi. Kayıt günlüğünün boyutu, bellek içi OLTP'si azaltılsa da, bu günlüğe yazarken minimum işlem gecikmesi aynı kalır.
• Ana fayda sen sadece isteklerin yürütülmesi ve verilere erişim seviyesine ulaşabilecektir..

Teknolojinin avantajıİçinde-hafıza.Oltp. değil oradaVerilerin hafızada bulunduğunu. Teknolojinin bellek olarak adlandırılmasına rağmen, kazançlar bundan gelmiyor - ivme nedeniyle oluşur veritabanının altyapısını ne değiştirdi?:

• kullanılmışyeni, özel olarak tasarlanmış Kilitlerden mahrum edilmiş veri yapıları,
• hem de makine kodlarında derlenen depolanan saklı prosedürlerKritik iş mantığınızı koruyun.

Ve standart sisteme bakarsak, o zaman eklenmesi durumunda Çok sayıda Konular, sonunda birbirlerine müdahale etmeye başlarlar, böylece sisteminizin bant genişliği azalır. Aynı zamanda, bellek içi OLTP teknolojisini kullanırken, sistem ölçeklenmeye devam eder, çünkü kilitlenme (yeni veri yapıları kullanılması, yoksun olan) ve hızlı bir şekilde derlenmiş depolanan prosedürler kullanılır.

En çok ne diyebilirim göç Süreci B.İçinde-hafıza.? Genelde iki adımdan oluşurBu dönüşümlü olarak tekrar eder:

• İlk adım veri yapılarının göçü.
• Ve ikinci adım göç Senin kritik.

Hafızada 1C'den yazma sorununu çözme

1C'den geçişli DBMS veri yapılarıyla çalışırken, bazı zorluklar mümkündür. Örneğin, eğer 1C platform çerçevesinde bazı varlık varsa, tablodaki veya belgelerin (varış veya tüketim) herhangi bir girişi varsa, göreceksiniz. standart hata mesajı genel olarak yalıtım seviyelerinde bazı sorunlardan bahseder.

İlişkili hata nedir? Standart yürütme şeması beş yalıtım seviyesini destekler ve bellek içi OLTP mekanizması sadece üç seviyedir. Burada varsayılan platform yalıtım seviyesini kullanırOkundu, hangisadece değil mekanizmaya uygunlukİçinde-Hafıza.Oltp.. Buna göre, bu izolasyon düzeyleri arasındaki tutarlılık sorunu ortaya çıkar.

Bu görevi çözmeye çalışıyor, çok zaman geçirdim. Ve çözüm arayışı bana ters mühendislikte ("Tersine Mühendislik"), bana platformdan DBMS'ye giden istekleri dinamik olarak engellemenize ve metnini sırayla değiştirmek zorunda kalacağınız gibi görünüyordu. Bellek içi sözdizimini eşleştirmek için. Ancak çözümün yüzeyde olduğu ortaya çıktı - önemsiz ve basittir.

Çok SQL Server 2014, bellek içi teknolojinin ortaya çıktığı, var veritabanı özelliği, gibi dIR-DİR_hafıza_optimized_yükseltmek_to_enstantane fotoğraf_açık.. Varsayılan olarak, etkin değil, kapatılır - bu, slaytta gösterilen sorgu ile kontrol edilebilir.

Sırasıyla, bu özelliği etkinleştiren bir komut yürütürsenizT. yalıtım seviyelerinin tutarlılığıyla ilgili hiçbir sorun olmayacak.

Aynı zamanda, DBMS varsayılan olarak kullandığı yalıtım seviyesini yükselteceksiniz ve anlık görüntü yalıtım seviyesine uygun olacak, varsayılan olarak bellek içi tablolar için kullanılır. Böylece, DBMS'nin yan tarafındaki küçük manipülasyonlar yapılması, herhangi bir belge ve herhangi bir veri bellek içi tablolarda kaydedilecektir.

DBMS tarafındaki iş mantığının göçünün genel şeması

Ne söyleyebilirim genel Göç Şeması ile İlgili Samoa dBMS tarafında iş mantığı?

O içerirkendine İki nesne:

• İlk önce derlenmiş prosedürbu doğrudan yapılır.
• Ve en üstünde. uygulanan sarmalayıcılafta Retrylogic. (emek mantığı). Neden? Çünkü saklı yordamınızın yürütüldüğü garanti yoktur. Yürütme sürecinde, bazı çatışmalar meydana gelebilir, bu yüzden yapılması gerekebilir Böylece sonuç olarakbelirli bir ağ araması prosedürİş mantığınızı zorunlu olarak uygulamak sonuna kadar tamamlandı.

Buraya yaklaşık Şema Uygulaması "Sarma". Burada ekli, harici bir standartt-SQL- (sarmalayıcı). Döngünün içinde zaten makine kodlarına derlenmiş bir prosedür var. Görülen deneme (yeniden deneme) bloğu. Buna göre, bir çatışma varsa, bir geliştirici olarak, bir bekleme süresini ortaya koyduğunuzda bir istisna vardır, böylece çelişkili işlemin yürütülmeyi başardığı ve daha sonra, uygulamanız.

Sonuç

Sonuç olarak, bunu söyleyebiliriz. masalarda Göçİçinde-Hafıza.OltProductory 1C'ye gerekecek:

• Çok sayıda entelektüel ve finansal kaynak,
• Çok sayıda uzman bağlama.
• Eh, en temel soru şudur. destek teknolojisiİçinde-Hafıza.OLTP şu anda platformda eksikVe bu konuda sadece 1C'ye bakılabilir. En azından, umarım bu teknolojiyi platform içinde kullanma olasılığının ortaya çıkmasına neden olurlar.

*****************

Sizi yeni bir konferansa davet ediyoruz.

Önceki alt bölümde, konu alanının yeterli temsil edilmesinin, veritabanının geliştirilmesinin ve bakımı basitliğinin, ilişkinin üçüncü normal forma verilmesi gerektiği belirtildi (normalleşme ve daha yüksek siparişler var, ancak Uygulamada oldukça nadiren kullanılır), yani, normalleştirilmiş. Aynı zamanda, zayıf normalleştirilmiş ilişkilerin de avantajları da vardır, bunlar, esrarengizler, özellikle veritabanı yalnızca yalnızca istekleri ve değişiklikleriyle uygulanırsa ve çok nadiren yürütmek için veri eklerse, örnekleri çok daha hızlı yapılır. Bu, zayıf normalleştirilmiş ilişkilerde, zaten birleşmelerinin bir kombinasyonu olduğu ve bu işlemci zamanı harcanmamış olması gerçeğiyle açıklanmaktadır. Normalleştirilmiş ilişkilerin daha yeterince ve zayıf olduğu için iki sistem sınıfı ayırt edilir.

Kesinlikle normalize edilmiş veri modelleri OLTP uygulamaları için uygundur - Çevrimiçi işlem işleme (OLTP) - Uygulamalar operasyonel tedavi işlemler. OLTP uygulamalarının tipik örnekleri, depo muhasebesi sistemleri, işletim bankacılığı sistemleri ve diğerleridir. Bu tür sistemlerin ana işlevi çok sayıda kısa işlem yapmaktır. İşlemlerin kendileri oldukça basittir, ancak sorunlar bu tür işlemlerin çok fazla olması, aynı anda yapıldığı ve işlem gerçekleştiğinde, işlemin geri dönmesi ve sistemi işlemden önce olduğu bir duruma geri getirmesi gerektiğidir. OLTP uygulamalarındaki hemen hemen tüm veritabanı istekleri, komutları takma, güncelleme ve silmeden oluşur. Örnekleme istekleri, esas olarak kullanıcı örnekleme kullanıcılarının çeşitli referans kitaplarından sağlaması amaçlanmaktadır. Τᴀᴋᴎᴍ ᴏϭᴩᴀᴈᴏᴍ, taleplerin çoğu sistem tasarımında önceden bilinmektedir. OLTP uygulamaları için kritik, kısa veri güncelleme işlemlerinin uygulanmasının hızı ve güvenilirliğidir. OLTP uygulamalarında veri normalleştirme seviyesi ne kadar yüksek olursa, o kadar hızlı ve daha güvenilir. Bu kuraldan gelen geri çekilme, ilişkilerin bir kombinasyonunu ve bu kuralın geliştirilmesindeki uygulamaların çalışmasını gerektiren bazı sıklıklarla yapılan talepler olduğunda oluşabilir.

Başka bir uygulama türü OLAP uygulamalarıdır - Çevrimiçi analiz işleme (OLAP) - Operasyonel analitik veri işleme uygulaması. Bu, Bina Karar Destek Sistemlerinin İlkeleri - Karar Destek Sistemi (DSS), Veri Ambarı - Veri Ambarı, Veri Akıllı Sistemler - Veri Madenciliği. Bu sistemler, "ne ise ..." ve olasılıklar ilkesi üzerine dinamik analiz için veriler arasındaki bağımlılıkları bulmak için tasarlanmıştır. OLAP uygulamaları, işletmede biriken büyük veri dizileri ile çalışır veya diğer kaynaklardan alınır. Bu tür sistemler aşağıdaki özelliklerle karakterize edilir:

Yeni veri sistemine eklemek, örneğin ayda bir veya çeyrekte nispeten nadiren büyük bloklar oluşur;

Sisteme eklenen veriler genellikle asla silinmez;

İndirmeden önce, veriler onları tanımlanmış formatlara getirmekle ilgili çeşitli hazırlık prosedürlerine tabi tutulur;

Sistem talepleri seçilmemiş ve oldukça karmaşıktır;

sorguların hızı önemlidir, ancak kritik değildir.

OLAP uygulamaları veritabanları genellikle bir veya daha fazla hiperkube olarak temsil edilir, ölçümler referans verileri olan ve bu verilerin değerleri hipercube kendisinin hücrelerinde depolanır. Fiziksel olarak, hipercube özel bir çok boyutlu veri modeli temelinde inşa edilebilir - Çok boyutlu OLAP. (Molap) veya ilişkisel bir veri modeli ile temsil edilir - İlişkisel olap (ROLAP).

Bir ilişkisel veri modeli kullanarak OLAP sistemlerinde, verilerin önceden hesaplanmış büyük nihai verileri içeren kötü normalleştirilmiş ilişkiler olarak depolanması amaçlanmıştır. Verilerin fazlalığı ve bununla ilişkili problemler burada korkunç değildir, çünkü güncellemeleri nadiren nadirdir ve sonuçlar veri güncellemesiyle birlikte yeniden hesaplanır.

- Su temini sisteminin güvenilirliğini sağlama yolları

Su tedarik sisteminin güvenilirliğini ve diğer kitlesel bakım sistemlerinin güvenilirliğini sağlamak, tasarım olduklarında ana görevlerden biridir. Sistem, çalışma sürecinde işlevlerini belirtilenden gerçekleştirecek şekilde tasarlanmalı ve inşa edilmelidir ... [Devamını Oku]

- I. Koruma Sistemi Güvenlik Kavramı

Geliştirilmekte olan sistemin güvenliği konsepti, "Bu yasa, kurallar ve davranış normları, organizasyonun nasıl sürdürdüğünü, bilgileri nasıl korur ve dağıtır. Özellikle, kuralların hangi durumlarda kullanıcının çalışma hakkına sahip olduğunu belirler ... [Devamını Oku]

- Ana kararları ısıtma sisteminin tasarımında yaptıktan sonra

Su ısıtma sisteminin tasarlanması. Isıtma sistemini açık ve kapalı devrelerle bağlarken termal düğüm şemalarına talimat verin. Birkaç binanın ısı temini ile kendi kendine test için sorular. Pompalar ve diğer ekipman yüklü ... [Devamını Oku]

- Yangın önleme sisteminin yangın güvenliği gereksinimleri.

Teknolojik süreçlerin yangın güvenliğini sağlamak için temeller. Soru 2. Nesnenin dış önlenmesi (25 dakika.) Yangın önleme, insanların güvenliğini sağlamayı amaçlayan organizasyonel ve teknik önlemlerin bir kompleksini içerir ... [Devamını Oku]

- Hayvan organlarının Kumaşları ve Organları

Hayvan kumaşları. Hayvanlar ayrıca birkaç doku türünü de ayırt eder. Bunlardan en önemlisi aşağıdakilerdir. Epitelyal Naturets, vücudu dışardan, karaciğer, akciğerlerin, bezlerin bir parçası olan iç boşlukları ve organları kaplayan sınırlı kumaşlardır .... [Devamını Oku]

Yüksek ökaryotların genomlarında çok sayıda tekrarlayan DNA dizisi vardır. İnsanlarda, örneğin, bu tür tekrarlar toplam genomun% 40'ından fazlasını işgal ediyor. Ve bu, bir DSB'ler oluştururken, birkaç boşluktan eşzamanlı eğitim olasılığı ... [Devamını Oku]

- Avo Zolloni Anti-A, Anti-V ve Anti-AV sisteminin kan gruplarının tanımı

Kan gruplarının tanımı Bu kurala göre, tüm hastalar grubun kan o (1) kanını taşır, çünkü aglutinojen içermez ve diğer grupların grupları, içermediği gibi diğer grupların bantlarını taşır. aglutinojen. Dolayısıyla kavramlar tanıtıldı ...

OLAP SİSTEMLERİ

OLAP (ENG. Online analitik işleme, analitik tedavi Gerçek zamanlı olarak) - Çok boyutlu ilke ile yapılandırılmış büyük veri dizilerine dayanan toplam (toplanmış) bilginin hazırlanmasından oluşan veri işleme teknolojisi. OLAP teknolojisi uygulamaları iş zekası yazılımı çözümlerinin bileşenleridir.

Olap - Edgar CODD teriminin kurucusu, 1993 yılında "Gerçek zamanlı olarak 12 analitik işleme yasaları".

Genellikle şirketlerde çeşitli bilgilendirme sistemleri vardır - depo muhasebesi sistemleri, muhasebe sistemleri, ERP sistemleri, bireysel üretim süreçlerini otomatikleştirmek için, şirket bölümleriyle ilgili sistemler, çalışan bilgisayarlar aracılığıyla dağılmış birçok dosyaya sahiptir.

Çok fazla farklı bilgi kaynağına sahip olmak, şirketin faaliyetlerinin temel sorunlarına cevap almak ve genel resmi görmek genellikle çok zordur. Ve istenen bilgiler hala kullanılan sistemlerden birinde veya yerel dosyanın birinde olduğunda, genellikle eski veya başka bir sistemden elde edilen bilgilere aykırı olduğu ortaya çıkıyor.

Bu sorun, OLAP teknolojileri temelinde (diğer isimler: OLAP sistemi, iş zekası sistemi, iş zekası) temelinde inşa edilen bilgi ve analitik sistemlerin yardımıyla etkili bir şekilde çözülür. OLAP Systems, zaten mevcut muhasebe sistemlerini entegre edin, kullanıcı araçlarını büyük miktarda gerçek zamanlı veri, dinamik raporlama, izleme ve öngören anahtar iş göstergelerini sağlar.

OLAP Sistemlerinin Avantajları

Şirketin yönetimindeki kilit rolü bilgi oynar. Kural olarak, küçük şirketler bile çeşitli faaliyet alanlarını otomatikleştirmek için birkaç bilgi sistemi kullanırlar. Geleneksel veritabanlarına dayanan bilgi sistemlerinde analitik raporlar elde etmek, birkaç kısıtlama ile ilişkilidir:

Her raporun geliştirmek bir programcı çalışması gerektirir.

Raporlar, tüm bilgi sisteminin çalışmalarını yavaşlatan çok yavaş (genellikle birkaç saat) oluşturulur.

Şirketin çeşitli yapısal unsurlarından elde edilen veriler birleştirilmemiş ve sıklıkla çelişkili değildir.

OLAP sistemleri, yapımının ideolojisi, büyük miktarda bilgiyi analiz etmek için tasarlanmıştır, geleneksel bilgi sistemlerinin sınırlamalarının üstesinden gelmenizi sağlar.

Kurumsal bir OLAP sistemi oluşturmak için izin verilir:

· Gerçeğin tek bir versiyonunu oluşturarak verileri çeşitli bilgi sistemlerinden entegre edin

· Programcılar olmadan birden fazla fare tıklamasıyla yeni raporlar tasarlayın.

· Herhangi bir detay seviyesinde herhangi bir kategori ve iş göstergesindeki verileri gerçek zamanlı analiz edin.

Anahtar iş göstergelerinin izlenmesi ve öngörülmesi

OLAP sistemiyle çalışırken, her zaman hızlı bir şekilde cevap bulabilir, ortaya çıkan sorular, resmi bir bütün olarak görebilir, iş durumunun sürekli izlenmesini sağlamak. Aynı zamanda sadece ilgili bilgileri kullandığınızdan emin olabilirsiniz.

OLAP sisteminin uygulanmasının sonuçları

Yönetim, durumun tam bir vizyonunu ve tek bir muhasebe, kontrol ve analiz mekanizması yapar.

İç iş süreçlerinin otomasyonu ve çalışan verimliliğinin arttırılması nedeniyle, insan kaynaklarına ihtiyaç duyulması azalır.

Olap eylemi

Sorgu işleme için OLAP kullanmanın nedeni hızdır. İlişkisel Veritabanları Varlıkları genellikle iyi normalleştirilmiş ayrı tablolarda saklayın. Bu yapı, işletim veritabanı (OLTP sistemleri) için uygundur, ancak içinde karmaşık çoklu saatli talepler nispeten yavaştır.

Çalışma verilerinden oluşturulan OLAP yapısı OLAP CUBE olarak adlandırılır. Küp, yıldız veya kar tanesi şemasını kullanarak tablo bağlantısından oluşturulur. Yıldız Şeması'nın merkezinde, taleplerin yapıldığı temel gerçekleri içeren bir gerçek tablosudur. Gerçek tablosuna çoklu ölçüm tabloları tutturulur. Bu tablolar, toplanmış ilişkisel verilerin nasıl analiz edilebileceğini göstermektedir. Olası agregasyonların sayısı, başlangıç \u200b\u200bverilerinin hiyerarşik olarak görüntülenebileceği yöntemlerin sayısı ile belirlenir.

Örneğin, tüm müşteriler şehirler ve ülkenin (Batı, Doğu, Kuzey, vb.) Tarafından gruplandırılabilir (Batı, Doğu, Kuzey vb.), Bu nedenle, 50 şehir, 8 bölge ve 2 ülke 60 üyeli 3 kişilik hiyerarşi seviyesi olacaktır. Ayrıca, müşteriler ürünlerle ilgili olarak birleştirilebilir; 2 kategoride 250 ürün, 3 ürün grubu ve 3 üretim birimi varsa, agrega sayısı 16.560 olacaktır. Şemaya ölçümler eklerken, sayı muhtemel Seçenekler Hızlıca onlarca milyon ya da daha fazlasına ulaşır.

OLAP CUBE, temel veri ve ölçüm bilgisi (agregalar) içerir. Küp potansiyel olarak, herhangi bir isteğin cevapları için gerekli olabilecek tüm bilgileri içerir. Muazzam sayıda agrega sayesinde, genellikle sadece bazı ölçümler için, dinlenme için "talep üzerine" yapılır.

Temel konsept ile birlikte üç tür OLAP vardır:

Birçok ölçüm ile OLAP (çok boyutlu olap - molap);

İlişkisel OLAP (Rolap);

hybrid OLAP (Hibrit OLAP - Holap).

Molap klasik bir OLAP formudur, böylece genellikle sadece OLAP olarak adlandırılır. Mekansal veritabanı işlemcisinin özel bir sürümü olan bir toplama veritabanı kullanır ve hem temel verileri hem de agregaları kaydetmek için gerekli mekansal veri şemasını oluşturur.

Rolap doğrudan ilişkisel depolama ile çalışır, gerçekler ve ölçüm tabloları ilişkisel tablolarda depolanır ve birimler depolamak için ek ilişkisel tablolar oluşturulur.

Holap, temel veri depolamak için ilişkisel tabloları ve agregalar için çok boyutlu tabloları kullanır.

Özel bir rolap durumu ROLAP gerçek zamanlıdır (gerçek zamanlı Rolap - R-Rolap). R-Rolap'taki Rolap'ın aksine, agregaların saklanması için ek ilişkisel tablolar oluşturulmaz ve birimler istek sırasında hesaplanır. Bu durumda, OLAP sistemine çok boyutlu istek otomatik olarak ilişkisel veriler için bir SQL isteğine dönüştürülür.

Her depolama türü, farklı üreticilerden değerlendirilmesinde anlaşmazlıklar olmasına rağmen, bazı avantajlara sahiptir. MAILAP, küçük veri kümeleri için en uygun, agregaları hızla hesaplar ve cevapları döndürür, ancak büyük veri hacimleri üretilir. ROLAP, mümkün olan en küçük alanı kullanan daha ölçeklenebilir bir çözüm olarak tahmin edilmektedir. Bu durumda, işlem hızı önemli ölçüde azalır. Holap, bu iki yaklaşımın ortasında, oldukça iyi bir şekilde ölçeklendirildi ve çabucak işlendi. R-Rolap mimarisi, gerçek zamanlı olarak çok boyutlu OLTP veri analizine izin verir.

OLAP uygulamasındaki karmaşıklık, modern OLAP ürünlerinin çoğunun çok sayıda önceden yapılandırılmış sorgu ile tedarik edildiği sonucuyla sorgular, temel veri ve gelişme seçimi, temel veri ve gelişme seçimi oluşturmaktır. Başka bir problem temel verilerdedir. Tam ve tutarlı olmaları gerekir

Satış OLAP

Tarihsel olarak, ilk çok boyutlu veritabanı yönetim sistemi temel olarak OLAP uygulaması, 1970 yılında IRI tarafından geliştirilen ekspres sistemidir (daha sonra ürünün sağlanması, Oracle Corporation tarafından satın alındı \u200b\u200bve Oracle veritabanı için bir OLAP seçeneğine dönüştü). OLAP terimi, Edgar CODD'yi 1993'te, 1993'te, analitik işleme prensiplerinin 12'sini, daha önce önerilen bir referans ürünü olarak, önerilen bir referans ürünü olarak, analitik işleme prensiplerini önerdi. İlkeler, kod, Kod, Arbor'un Essbase sistemini belirtti (1997'de Hyperion tarafından emilen, bu da 2007'de Oracle'ı satın aldı). Daha sonra, yayınlanmanın, muhtemel bir çıkar çatışması nedeniyle ComputerWorld arşivlerinden çekildiği dikkat çekicidir. Kod daha sonra Arbor'a danışmanlık hizmeti verdi.

Diğer ünlü OLAP ürünleri: Microsoft Analysis Services (daha önce OLAP Services, Part SQL Server), SAS OLAP Server, TM1, PowerPlay, SAP BW, MicroStrateji Ingelligence Server, Mondrian, Analitik Kompleks Tahmini.

C Uygulama bakış açısı "Fiziksel OLAP" ve "sanal" (ilişkisel, İngilizce ilişkisel OLAP, ROLAP) bölünmüştür. "Fiziksel", sırayla, uygulamaya bağlı olarak, çok boyutlu (eng. Çok boyutlu OLAP, MAIL) ve HYBRID - (ENG. Hibrit OLAP, Holap) bölümüne bölünmüştür.

İlk durumda, OLAP'teki ön yükleme aşamasında, agregaların bir ön hesaplamasını gerçekleştiren bir program var (birkaç kaynak değerdeki hesaplamalar, örneğin bir ayda ", örneğin bir ayda hesaplamalar) Hızlı çıkarma ve uygun maliyetli depolama sağlayan özel çok boyutlu veritabanı. Bu tür ürünlerin örnekleri, Microsoft Analysis Services, Oracle OLAP seçeneği, Essbase, SAS OLAP sunucusu, TM1, PowerPlay.

Hybrid OLAP bir kombinasyondur. Verilerin kendisi ilişkisel veritabanında saklanır ve agregalar çok boyutludur.

Rolap uygulamalarında, tüm veriler, ilişkisel veritabanı yönetim sistemleri tarafından depolanır ve işlenir ve birimler herhangi bir şekilde bulunamayabilir veya Analitik Yazılımların DBM'lerdeki veya önbelleğinde ilk talepte bulunamazlar. Bu tür ürünlerin örnekleri - SAP BW, MicroStrateGy Intelligence Server, Mondrian.

Kullanıcının bakış açısından, tüm seçenekler yeteneklere benziyor. OLAP'in en büyük kullanımı finansal planlama, veri depoları, iş zekası sınıfı çözümleri için ürünler bulunur.

OLTP Sistemleri (İşlem Operasyonel Sistemleri)

OLTP (çevrimiçi işlem işleme), işlem sistemi - gerçek zamanlı işlem işleme. Sistemin büyüklüğünde küçük işlemlerle çalıştığı, ancak büyük akışa giderken, ancak büyük akışa giderken, bir veritabanı düzenleme yöntemi ve aynı zamanda müşteri sistemden minimum cevap süresi gerekir.

OLTP terimi ayrıca sistemler için geçerlidir (uygulamalar). OLTP sistemi, gerçek zamanlı olarak bilgi (işlem, belgeler) (işlem, belgeler) girecek şekilde, yapılı bir şekilde depolanacak şekilde tasarlanmıştır.

Bütünlük sorunu, veritabanı verilerinin doğruluğunu istediğiniz zaman sağlamaktır. Bir iz içine ayrılabilir: 1. Yanlış bilgi uygulandığında, girerken ve güncellenirken. 2. Veriler aynı anda birkaç kullanıcıyı kullandığında. 3. APS arızasında.

Bütünlük problemlerini çözmek, bir yazılım ve organizasyon açısından dikkate alınmalıdır. Zorluklar için 1. Bir dizi etkinlik organizatörü gereklidir (aşağıdaki gibi), kullanıcı giriş ve kısıtlamaların kurallarını bilmelidir. Problemler için 2-3 - standart demek DBMS veya özel yazılım modülleri. DBMS - 2 Temel Bütünlük Sınırlamaları: 1. Yapısal kısıtlamalar (fonksiyonel bağlarla tanımlanır ve veritabanı değerlerinin eşitliğini kontrol ederek kontrol edilir) 2. Gerçek değerler üzerindeki kısıtlamalar. Alan değerlerinin bir aralıkta ait olmasını veya bazı alanların değerleri arasındaki bu ilişkiye aittir. (Veri türleri ve giriş maskeleri). Kısıtlamalar herhangi bir zamanda reklamla ayarlanabilir, ancak DBM'ler kısıtlamayı kabul etmeyebilir (eğer bir sürü kayıt artık memnun değilse), eğer bir uyum varsa - sözlüğe yazılmış ve kullanılmıştır. Kısıtlamalar karmaşıklık açısından farklılık gösterir:

2. Dizenin niteliklerinin ayarlanmasında kısıtlamalar. (Pozisyon - deşarj oranları, kenarlar - şehirler).

3. Eşzamanlı olarak birçok satıra kısıtlamalar.

Tüm bu istatistiksel kısıtlamalar, ancak veritabanını 1 durumdan diğerine değiştirirken, tüm değişikliklerden önce ve herkesin bitiminden önce bütünlük kısıtlamalarını tatmin etmek gerekir. Bu tür kısıtlamalar ertelenmiş ve bunlara göre işlemler kavramını tanıtıyor. İşlem - Veritabanındaki Usser Eyleminin bakış açısından tamamlandı. Aynı zamanda, bu mantıksal bir sistem birimidir. İşlem, örneğin, bankacılık sisteminde bir hesaptan diğerine para aktaran bazı uygulama işlevlerini uygular.

4 özellikleri olmalıdır: 1. Atomiklik (Etkinlik): Veritabanına bir erişimin tek bir çalışması olarak gerçekleştirilir, tamamen gerçekleştirilmelidir veya gerçekleştirilmemelidir. 2. Tutarlılık - İşleme işleminin sonundan sonra karşılıklı veri bütünlüğünü garanti eder. 3. İzolasyon (her işlem, geçici olarak tutarsız durumda olan bunu değiştirebilir). Bu durumda, işlem tamamlanana kadar diğer işlemlerin bu verilere erişimi yasaktır. 4. Dayanıklılık - İşlem başarılı olursa, değişiklikler kaybolmaz. İşlemin sonucu, fiksasyonu (veritabanındaki değişikliklerin düzeltilmesi üzerine eylem) veya geri alma (işlemin iptali ve veritabanının başlamadan önce duruma geri dönüşünü) olabilir. Fiksasyon mekanizması ve geri alma, durumun önce (birkaç yinelemede) ve sonrasında durumun korunduğu bir işlem günlüğünün kullanımına dayanır. Bazı SQL lehçeleri, ara sabitleme operatörleri (noktadan noktaya kadar geri alma) içerir.

İşlem İşleme Monitörü (TPM) İşleme İşleme Monitörleri (TPM) yazılım sistemleridir (ara veya ara yazılıma bakın) etkili yönetim Dağıtılmış bir sistemde bilgi ve hesaplamalı kaynaklar. Onlar gelişme ve yönetim için esnek, açık bir ortamdır. mobil uygulamalarDağıtılmış işlemlerin operasyonel işlemine odaklanmıştır. TPM'nin en önemli özellikleri arasında - Ölçeklenebilirlik, uygulamaların fonksiyonel eksiksizliği ve bütünlüğü desteği, düşük maliyetli bir ortamda veri bütünlüğünü destekleyen düşük maliyetli göstergelerdeki verileri işleme koyarken maksimum performans sağlar. TPM, "Client-Server" üç kişilik modeline güveniyor

Üzerinde modern pazar İşlem Monitörler Ana "Oyunculuk İnsanları" ACMS (Ara), CICS (IBM), üst ucu (NCR), Smokin Sytem (Novell) gibi sistemlerdir.

Bölgede bilişim Teknolojileri Karşılıklı olarak tamamlayıcı varış noktası vardır:

Teknolojiler operasyonel (işlemsel) veri işleme konusundaki odaklanmıştır. Bu teknolojiler, operasyonel veri işleme için tasarlanan ekonomik bilgi sistemlerinin altını çizer. Benzer sistemler denir - Oltp. (Çevrimiçi işlem işleme) sistemler;

Veri analizi odaklı teknolojiler ve karar verme. Bu teknolojiler, analiz amaçlı ekonomik bilgi sistemlerinin altını çizer.

birikmiş veriler. Benzer sistemler denir - Olap.

(Çevrimiçi analitik işleme) sistemler.

Ana randevu olap-sistemler- Dinamik Çok Yıl

tarihsel ve güncel verilerin zamanında kararlı analizi, analiz

geleceğin modellenmesi ve tahmin edilmesi eğilimleri. Böyle

sistemler genellikle rastgele işlemeye odaklanır,

önceden talepleri ayarlamadı. Temel olarak

bu sistemlerin özellikleri aşağıdaki gibi not edilebilir:

Çok boyutlu veri gösterimi, tüm ölçümlerin eşitliği, ölçüm sayısındaki verimlilik bağımsızlığı;

Kullanıcı yapısı, depolama ve işleme yöntemleri için şeffaflık;

Mantıksal veri yapısının harici sistemlere otomatik olarak gösterilmesi;

Deşarjlı matrislerin etkili bir şekilde dinamik işlenmesi.

OLAP terimi nispeten yenidir ve farklı edebi kaynaklarda bazen farklı şekillerde yorumlanır. Bu terim genellikle karar verme desteği (DSS (karar destek sistemleri) - karar destek sistemleri) ile tanımlanır. Ve son dönem için bir eşanlam olarak, verilerin veri depolama depolama (depoları), son dönem için eşanlamlı olarak kullanılır, Örgütsel çözümler, yazılım ve donanım kümesini anlamak. Düşük seviye işlem işleme sistemlerinden ve diğer kaynaklardan gelen verilere dayanarak analistler sağlıyordum.

"Veri Kıvrımları", uzun süre boyunca biriken verileri işleme koymanıza izin verir. Bu veriler heterojendir (ve mutlaka yapılandırılmış değildir). Taleplerin çok boyutlu doğasında var olan "Veri Ambalajları" için. Çok miktarda veri, yapının veri ve istek olarak karmaşıklığı, bilgiye özel erişimin kullanımını gerektirir.

Diğer kaynaklarda, karar destek sistemi (SPRD) kavramı daha geniş olarak kabul edilir. Veri depoları ve operasyonel analitik işleme aletleri, SPRD mimarisinin bileşenlerinden biri olarak görev yapabilir.

OLAP, her zaman isteklerin etkileşimli işlenmesini ve ardından bir çeşitliliği tanımlamanıza izin veren, her zaman açık olmayan trendleri tanımlamanıza olanak sağlayan çok hacimli bilgi analizi içerir.

Bazen "OLAP dar bir anlamda" ayırt ediyorlar, sadece çeşitli kesimlerde veri örneği olan sistemlerdir ve "geniş bir anlamda OLAP" ya da sadece OLAP:

Veritabanlarını düzenleyen birden fazla kullanıcı için destek.

Türev sonuçları elde etmek için hesaplama mekanizmalarının yanı sıra toplamlık ve veri birleştirilmesi;

Tahmin, trendlerin tanımlanması ve istatistiksel analiz.

Doğal olarak, bu tür IP türlerinin her biri özel bir veri organizasyonu ve özel olarak yazılımDaimi görevlerin verimli performansını sağlamak.

OLAP - araçlar, ürünün türü, alıcının coğrafi konumu, her biri bir temsil hiyerarşisinin oluşturulmasını sağlayan, alıcının coğrafi konumu gibi birden fazla parametre hakkındaki ticari bilgilerin analizini sağlamak anlamına gelir. Öyleyse, zaman için yıllık, üç aylık, aylık ve hatta haftalık ve günlük aralıkları kullanabilirsiniz; Coğrafi bölüm, tüm yarım küreler için şehirler, eyaletler, bölgeler, ülkeler veya gerekirse gerçekleştirilebilir.

OLAP - sistemler üç sınıfa ayrılabilir.

En karmaşık ve pahalı, tescilli teknolojilere dayanmaktadır. sunucular Çok Boyutlu Veritabanı. Bu sistemler tam bir döngüyü sağlayın OLAP-SETve ayrıca, Sunucu bileşenine ek olarak, kendi entegre istemci arayüzü ya veri harici çalışma programlarını elektronik tablolarla analiz etmek için kullanılır. Bu sınıfın ürünleri, en büyük bilgi depolarındaki uygulamanın koşullarına uygundur. Hizmetleri için, personelin tüm personeli hem sistemin kurulumunda hem de bakımında bulunan ve son kullanıcılar için veri görünümlerinin oluşumu gereklidir. Genellikle benzer paketler oldukça pahalıdır. Bu sınıfın örnekleri olarak, Arbor Yazılımının Essbase System, Express Express Company (şimdi Oracle'da gelen), pilot yazılım ve diğerleri tarafından üretilen yıldırım.

Onları analiz ederken hızlı veri işleme sağlama yollarından birinin, çok boyutlu veritabanları (MDD) formundaki verilerin organizasyonu olduğu belirtilmelidir. MDD'deki bilgiler, tablolarda dizinlenmiş kayıtlar biçiminde saklanmaz, ancak mantıklı olarak sıralanmış diziler şeklindedir. Birleştirilmiş genel olarak kabul edilen çok boyutlu depolama modeli mevcut değildir. MDD'nin standart bir veri erişimi yöntemi yoktur ve belirli analitik veri işleme gereksinimlerini karşılayabilirler.

Yukarıdakilerin hepsini dikkate alarak, farklı MDD ürünler arasındaki karşılaştırma sadece en genelleştirilmiş kategorilerden gerçekleştirilebilir. Pazarın daha ucuz bir sektöründe sadece tek kullanıcı var ve küçük için tasarlanmıştır. yerel ağlar Çok boyutlu veri görüntüleyiciler. Her ne kadar güzel olmasına rağmen yüksek seviyeler İşlevsellik ve kullanımı kolay, bu sistemler ölçeklerinde sınırlıdır. Ve OLAP'nin uygulanması için gerekli fonlardan yoksundurlar - geniş bir anlamda işleme. Bu kategori PowerPlay Cognos Corporation, Andyne ve Mercury Pablo Company Company gibi ürünler içerir. Pahalı pazar sektörü, Kenan Teknolojileri, Express Corporation, Gensum of Plan Plan Planlama Bilimleri ve Holos Şirketi Bütünsel Sistemleri şirketinin akumat ES sistemleri tarafından temsil edilmektedir. Herhangi birinin ayrı bir kategoride güvenli bir şekilde tahsis edilebileceği yeteneklerinden çok farklılar. Son olarak, MDD-Systems saf formda: Essbase Corporation Arbor Yazılımı, Hafiflik Sunucusu Pilot Yazılımı ve TM / 1 Şirket Sinper [N. Raden (Yazılım Piyasası)].

İkinci sınıf OLAP - Kuruluşlar - İlişkisel Olap Sistemleri (ROLAP). Burada, eski ilişkisel DBMS'ler veri depolamak için ve veritabanı ile istemci arayüzü arasında, meta veri katmanı yönetici tarafından düzenlenir. Bu ara katman sayesinde, istemci bileşeni çok boyutlu olarak ilişkisel bir veritabanı ile etkileşime girebilir. Birinci sınıf fonlar gibi, ROLAP, büyük bilgi depolama tesisleriyle çalışmak için iyi bir şekilde adapte edilir, bilgi bölümlerinin uzmanları tarafından önemli miktarda bakım maliyetleri gerektirir ve çok oyunculu modda çalışma sağlar. Bu tür ürünleri arasında IQ / Vision IQ Yazılımı, DSS / Sunucu ve DSS / Ajan, MicroStrategy ve CarSuite Avantajıdır.

ROLAP - İlişkisel bir veritabanı işlemcisi üzerinden eklentilerle ilgili karar vermeyi desteklemek için çözümler uygulamak anlamına gelir.

Bu tür yazılım ürünleri, özellikle de birkaç gereksinime cevap vermelidir:

Olap için optimize edilmiş güçlü bir SQL jeneratörüne sahip olmak, çok frekanslı SQL operatörleri ve / veya korelasyonlu alt sorguların seçilmesine izin veren;

Önemsiz bir işleme için yeterince gelişmiş, sıralama, karşılaştırmalı analiz ve sınıf içindeki faiz oranlarının hesaplanması;

İçinde bulunan uzantılar için destek dahil olmak üzere, hedef ilişkisel DBM'ler için optimize edilmiş SQL-Beklentileri oluşturun;

Meta verileri kullanarak veri modelini tanımlamak için mekanizmalar sağlar ve bu meta verileri gerçek zamanlı sorgular oluşturmak için kullanmayı mümkün kılar;

Bina konsolide tablolarının kalite kalitesini hesaplama oranı açısından değerlendirebilmesini sağlayan bir mekanizma ekleyin, kullanımlarıyla ilgili istatistiklerin birikimi ile arzu edilir.

Üçüncü, nispeten yeni OLAP türü - Kuruluşlar - masaüstü PC'ler için istek ve raporlar üretme aletleriOlap tarafından desteklenen veya özellikleri gerçekleştiren dış araçlarla entegre edilmiştir. Bu son derece gelişmiş sistemler, kaynak kaynaklarından veri örneklemeyi gerçekleştirir, bunları dönüştürür ve son kullanıcının PC'de çalışan bir dinamik çok boyutlu veritabanına yerleştirilir. Bu yaklaşım, pahalı bir çok boyutlu veritabanı sunucusu olmadan ve Rolap fonları için gerekli olan karmaşık bir ara meta veri katmanı olmadan, aynı anda yeterli analiz verimliliğini sunar. Masaüstü PC için bu tablolar, küçük, sadece organize edilmiş veritabanları ile çalışmak için en uygundur. Onlar için nitelikli bakım gereksinimi, diğer OLAP-sistemlerden daha düşüktür ve yaklaşık olarak geleneksel sorgu işleme ortamları seviyesine karşılık gelir. Brio teknolojisindeki bu pazarın ana katılımcıları arasında Brio Teknolojisi, Brio Query Enterprise, İş Nesneleri Sistemi ile PowerPlay ile aynı isim ve Cognos.

Halen, web dışı OLAP ürünlerinin sayısı artmaktadır.

OLAP'ü yazılımın geri kalanına ayarlamak önemlidir. OLAP sağlayıcıları, SQL -Subd ve diğer araçlarla etkileşime girmeleri için bazı yollar sunmaya başlasa da, ancak kullanıcılar ve analistler, entegrasyon seviyesinin farklı olabileceğini ve muhtemelen SQL sorguları yazma da dahil olmak üzere önemli miktarda kodlama gerektireceğini uyarıyor. Ayrıca, OLAP'nin işletmenin yazılımının geri kalanıyla entegrasyonu için endüstriyel bir standart yoktur.

Bu sorunun çözümü aşağıdakilerden oluşabilir. Örneğin, birçok şirket veri tabanlarını Olap ile veri depolarının müşteri parçaları olarak konumlandırır. Bu depolama yaklaşımıyla, kullanıcıların hızlı bir şekilde kapsamlı istekleri yerine getirebilecekleri çok boyutlu OLAP veri örneklerinin çekirdeği ile. Aynı zamanda, amaç, kullanıcının konumunu kullanıcının konumunu gizleyen bir sorgu oluşturmaktır. Bu ortamda, çok boyutlu işleme çekirdeğinde kapsamlı sorgular veya ayrıntılı bilgi ve ilişkisel sunucular için basit talepler otomatik olarak gerçekleştirilecektir. Bu şekilde gidemeyen şirketler için, Olap Aletleri ile diğer yazılımlar arasındaki bağlantıların kurulmasında önemli bir rol, danışmanlık firmaları tarafından oynanır.

OLTP SistemleriOperasyonel tedaviyi uygulamak için oldukça verimli bir araç olmak, analitik işlemlerin görevleri için çok az uygun olduğu ortaya çıktı. Bu aşağıdakilerden kaynaklanır:

1. Geleneksel OLTP sistemlerinin fonları, analitik bir rapor ve hatta herhangi bir karmaşıklığın tahmini, ancak önceden düzenlenebilir. Yan taraftaki herhangi bir adım, herhangi bir iltihaplanmamış son kullanıcı gereksinimi, kural olarak, veri yapısının bilgisini ve programcının yeterince yüksek niteliğini gerektirir;

2. Operasyonel sistemler için gerekli olan çoğu fonksiyonellik Analitik görevler için gereksizdir ve aynı zamanda konu alanını yansıtmayabilir. Çoğu analitik görevi çözmek için, analiz, tahmin ve modelleme için dış özel enstrümantal rezervuarların kullanımı gereklidir. Tabanın sert yapısı, karmaşık numuneler ve sıralama durumunda kabul edilebilir performans elde etmesine izin vermez ve bu nedenle, ağ geçitlerini organize etmek için yüksek zaman maliyetleri gerektirir.

3. Analitik sistemlerin aksine, analitik sistemler gerekli değildir ve buna göre, verilerin bütünlüğünü, rezervasyonlarını ve iyileşmesini sağlama araçları için sağlamaz. Bu, yalnızca uygulama araçlarını kolaylaştırmayı, aynı zamanda iç ek yükü azaltmayı da sağlar ve bu nedenle, veri seçerken üretkenliği artırır.

Görevler aralığı, sistemlerin her biri tarafından etkili bir şekilde çözülür, temelinde tanımlarız. karşılaştırmalı Özellikler OLTP - ve OLAP-SYSTEMS (Tablo 8).

Normalize edilmiş veri modellerinin daha zayıf olduğu, bazı sistem sınıfları ayırt edilebilir.

Kesinlikle normalize edilmiş veri modelleri sözde için çok uygundur OLTP Uygulamaları(Çevrimiçi işlem işleme (Oltp.)-İşlemlerin Operasyonel İşlenmesi ). OLTP uygulamalarının tipik örnekleri, Depo Muhasebesi, Bilet Siparişleri Sistemi, İşlem İşlemi İşlemlerini Gerçekleştiren Bankacılık Sistemleri, vb. Sistemlerdir.

Bu tür sistemlerin ana işlevi çok sayıda kısa işlem yapmaktır. İşlem kendileri, örneğin "Hesaptaki para miktarını kaldırmak, bu miktarı hesaba eklemek için")

Sorun şu ki, öncelikle, ikincisi, ikinci olarak, aynı zamanda yapıldılar (birkaç bin, aynı anda işletilen kullanıcılar sisteme bağlanabilir), üçüncüsü, bir hata oluşursa, işlem tamamen geri dönmelidir. ve sistemi işlemin başlamasından önce olan devlete iade edin (paranın A hesaptan kaldırıldığında durum olmamalı, ancak B hesabına gelmedi). OLTP uygulamalarındaki veritabanına hemen hemen tüm talepler komutlardan oluşur, güncelleştirmeler, sil. Böylece, OLTP uygulamaları için kritik, kısa veri güncelleme işlemlerinin uygulanmasının hızı ve güvenilirliğidir. OLTP uygulamasında veri normalizasyonu seviyesi ne kadar yüksek olursa, genellikle daha hızlı ve daha güvenilir olması.

Başka bir uygulama türü sözde OLAP uygulamaları(Çevrimiçi analiz işleme(Olap.) -operasyonel Analitik Veri İşleme ). Bu, inşaat ilkelerini karakterize eden genelleştirilmiş bir terimdir. karar Destek Destek Sistemleri (Karar destek sistemi-DSS.),veri depoları(Veri deposu.),akıllı Veri Analiz Sistemleri (Veri madenciliği.). Bu tür sistemler, veriler arasındaki bağımlılıkları bulmak için tasarlanmıştır (örneğin, potansiyel alıcıların özelliklerine sahip malların nasıl ilişkili olduğunu belirlemeye çalışmak mümkündür), "Ne ise ..." analiz etmek için.

OLAP uygulamaları, elektronik tablolarından veya diğer veri kaynaklarından alınan OLTP uygulamalarında birikmiş büyük veri dizileri ile çalışır. Bu tür sistemler aşağıdaki özelliklerle karakterize edilir:

Yeni verilerin sistemine eklenmesi nispeten nadiren büyük bloklar ortaya çıkar (örneğin, çeyrekteki veriler, OLTP uygulamasından üç aylık satış sonuçlarına indirilir).

Sisteme eklenen veriler genellikle asla silinmez.

İndirmeden önce, veriler, aynı kavramlar için farklı sunum formatlarına sahip birçok kaynaktan gelen verilerin yanlış olabileceği gerçeğiyle ilişkili çeşitli "temizlik" prosedürlerine maruz kalır, hatalı veri hatalı olabilir.

Sistem talepleri seçilmemiştir ve bir kural olarak oldukça karmaşıktır.

Sorguların hızı önemlidir, ancak kritik değildir.

OLAP uygulamaları genellikle bir veya daha fazla hiperkube olarak temsil edilir, ölçümler referans verisi olan ve hipercube'nin hücrelerinde verinin kendisi saklanır. Örneğin, bunların boyutları olan bir hypercube oluşturabilirsiniz: zaman (bloklar, yıllar), mal türü ve şirketin ayrılması ve hücrelerde satışlar için saklanabilir. Böyle bir hipercube, çeyrek ve birimlerde çeşitli mal türlerinin satışları hakkında veri içerecektir. Bu verilere dayanarak, "Cari yıldaki en iyi satış hacimleri nedir?" Veya "Güneybatı bölgelerinin satışlarındaki trendlerin bir önceki yıla göre satışlarındaki eğilimler nelerdir?" Gibi soruları cevaplayabilirsiniz.

Veri normalizasyonu problemine geri dönme, bir ilişkisel veri modeli (Rolap) kullanan OLAP sistemlerinde, verilerin önceden hesaplanmış ana nihai verileri içeren kötü normalleştirilmiş ilişkiler olarak saklanması önerilir. Buradaki büyük fazlalık ve ilgili sorunlar korkutucu değil, çünkü Güncelleme yalnızca yeni bir veri bölümünü indirme sırasında oluşur. Bu durumda, hem yeni veri eklenmesi hem de sonuçların yeniden hesaplanması.

• < Назад
• İleri\u003e