Anwendungssysteme basierend auf dem Paradigma der großen Daten. Große Markttrends. Wie gelten Big Data-Technologien, wo sie stammen?

Die dauerhafte Beschleunigung des Datenwachstums ist ein integraler Bestandteil moderner Realitäten. Soziale Netzwerke, mobile Geräte, Daten von Messgeräten, Geschäftsinformationen sind nur ein paar Arten von Quellen, die gigantische Datenarrays erstellen können.

Derzeit der Begriff Große Daten. (Große Daten) ist ziemlich üblich geworden. NICHT WEITERN ÜBER WENN WIRKLICH UND TIEFE TECHNOLOGIE FÜR DIE VERARBEITUNG Große Datenarrays die unterschiedlichsten Aspekte der Gesellschaft ändern. Änderungen treten in verschiedenen Kugeln auf, wodurch neue Probleme und Herausforderungen erzeugen, einschließlich der Informationssicherheit, in denen solche wesentlichen Aspekte wie Vertraulichkeit, Integrität, Verfügbarkeit usw. erfolgen sollten.

Leider greifen viele moderne Unternehmen auf eine große Datentechnologie zurück, ohne eine ordnungsgemäße Infrastruktur zu erstellen, die eine zuverlässige Speicherung von riesigen Datenarrays gewährleisten kann, die sie sammeln und speichern. Andererseits entwickelt sich eine Blockchain-Technologie schnell schnell, was darauf ausgelegt ist, dieses und viele andere Probleme zu lösen.

Was ist große Daten?

Im Wesentlichen liegt die Definition des Begriffs auf der Oberfläche: "Big Data" bedeutet das Management von sehr großen Datenmengen sowie deren Analyse. Wenn Sie breiter aussehen, sind dies Informationen, die aufgrund seiner großen Bände nicht von klassischen Methoden verarbeitet werden können.

Der Begriff große Daten selbst erschienen relativ kürzlich. Laut dem Google Trends-Service fällt das aktive Wachstum der Beliebtheit des Begriffs Ende 2011 ein:

Im Jahr 2010 wurden bereits die ersten Produkte und Lösungen, die direkt mit der Verarbeitung großer Daten zusammenhängen, bereits erschienen. Bis 2011 nutzen die meisten der größten IT-Unternehmen, einschließlich IBM, Oracle, Microsoft und Hewlett-Packard, den Begriff große Daten in ihren Geschäftsstrategien aktiv. Allmählich beginnen Analysten des Informationstechnologie-Marktes aktive Studien dieses Konzepts.

Derzeit hat dieser Begriff erhebliche Beliebtheit gewonnen und wird aktiv in einer Vielzahl von Kugeln eingesetzt. Es ist jedoch unmöglich, mit Zuversicht zu sagen, dass große Daten einige grundsätzlich neue Phänomen sind - im Gegenteil, die große Datenquellen seit vielen Jahren existieren. Im Marketing können sie die Datenbanken für Käufe, Kreditgeschichten, Lifestyle usw. anrufen. Im Laufe der Jahre haben Analysten diese Daten verwendet, um die zukünftigen Kundenbedürfnisse zu prognostizieren, Risiken, Formen der Verbraucherpräferenzen usw.

Derzeit hat sich die Situation in zwei Aspekten geändert:

- erschienen komplexerer Werkzeuge und Methoden für Analyse und Vergleich verschiedene Sets Daten;
- Analysewerkzeuge wurden mit vielen neuen Datenquellen ergänzt, was auf den weit verbreiteten Übergang zu digitalen Technologien sowie auf neue Datenerfassung und Datenmessmethoden zurückzuführen ist.

Die Forscher prognostizieren, dass große Datentechnologien in der Produktion, Gesundheit, Handel, öffentlichen Verwaltung und in anderen verschiedenen Bereichen und Industrien tätiger sind.

Große Daten sind kein bestimmtes Datenanschluss, sondern ein Satz von Methoden ihrer Verarbeitung. Das entscheidende Charakteristik für große Daten ist nicht nur ihr Volumen, sondern auch andere Kategorien, die die zeitaufwendigen Verarbeitungs- und Datenanalyseprozesse kennzeichnen.

Als Quelldaten zur Verarbeitung, zum Beispiel:

- Protokolle des Verhaltens von Internetnutzern;
- Internet der Dinge;
- sozialen Medien;
- meteorologische Daten;
- digitalisierte Bücher der größten Bibliotheken;
- GPS-Signale von Fahrzeugen;
- Informationen zu Transaktionen von Banken der Kunden;
- Daten an der Position von Mobilfunknetz-Abonnenten;
- Informationen zu Käufen in großen Retail-Netzwerken usw.

Im Laufe der Zeit wächst die Datenmenge und die Anzahl ihrer Quellen kontinuierlich, und auf diesem Hintergrund werden neue und bereits vorhandene Iangezeigt.

Grundprinzipien Big Data:

- Horizontale Skalierbarkeit - Datenarrays können riesig sein, und dies bedeutet, dass das Verarbeitungssystem großer Daten dynamisch mit einer Erhöhung ihrer Volumina erweitern sollte.
- Geflügeltoleranz - selbst mit dem Ausfall einiger Geräteelemente muss das gesamte System funktionsfähig bleiben.
- Ort der Daten. In großen verteilten Systemen werden Daten normalerweise auf eine beträchtliche Anzahl von Maschinen verteilt. Soweit möglich, und um Ressourcen zu sparen, werden die Daten jedoch häufig auf demselben Server wie gespeichert behandelt.

Für einen stabilen Betrieb aller drei Prinzipien und dementsprechend erfordert die hohe Speichereffizienz und die Verarbeitung großer Daten neue Durchbruchtechnologien, wie zum Beispiel Blockchain.

Warum brauchst du große Daten?

Der Umfang der großen Daten wächst ständig:

- Große Daten können in der Medizin verwendet werden. So ist es möglich, die Diagnose des Patienten zu ermitteln, der sich nicht nur auf die Analyse der Geschichte der Krankheit verlassen, sondern auch unter Berücksichtigung der Erfahrungen anderer Ärzte, Informationen über die ökologische Situation des Patientenbereichs und viele andere Faktoren.
- Big Data-Technologien können verwendet werden, um die Bewegung von unbemannten Fahrzeugen zu organisieren.
- Die Bearbeitung großer Datenarrays können von Gesichtern auf Foto- und Videomaterialien erkannt werden.
- Big Data Technologies können von Einzelhändlern verwendet werden - Handelungsunternehmen können Datenanordnungen aktiv von sozialen Netzwerken verwenden, um ihre Werbekampagnen effektiv zu konfigurieren, die maximal in einem bestimmten Verbrauchersegment ausgerichtet werden können.
— Diese technologie Aktiv in der Organisation von Wahlkampagnen eingesetzt, einschließlich der Analyse der politischen Präferenzen in der Gesellschaft.
- Die Verwendung von Big Data-Technologien ist für die Entscheidungen der Einkommensgarantieklasse (RA) relevant, darunter Inkonsistenzen-Erkennungswerkzeuge und eine detaillierte Datenanalyse, so dass die wahrscheinlichen Verluste rechtzeitig identifiziert werden können oder Informationen verzerren, die führen können zu einem Rückgang der Finanzergebnisse.
- Telekommunikationsanbieter können große Daten zusammenfassen, einschließlich der Geountation; Diese Informationen können wiederum anwerflich für Werbeagenturen sein, die es nutzen können, um gezielte und lokale Werbung sowie für Einzelhändler und Banken anzuzeigen.
- Big Data können eine wichtige Rolle bei der Lösung der Eröffnung eines Handelspunkts an einem bestimmten Ort basierend auf Daten über die Anwesenheit eines leistungsstarken Zielflusses von Personen spielen.

Somit liegt die offensichtlichste praktischste Anwendung der Big Datentechnologie in Marketing. Dank der Entwicklung des Internets und verteilen Sie alle möglichen Kommunikationsgeräte, Verhaltensdaten (z. B. die Anzahl der Anrufe, Kaufgewohnheiten und Einkäufe) in Echtzeit.

Die große Datentechnologie kann auch effektiv in der Finanzen, für soziologische Studien und in vielen anderen Bereichen eingesetzt werden. Experten argumentieren, dass alle diese Möglichkeiten der Verwendung großer Daten nur ein sichtbarer Bestandteil des Eisbergs sind, da in viel größeren Bänden diese Technologien in Intelligenz und Gegenkontaktelligenz in einem militärischen Geschäft sowie in allem verwendet werden, was üblich ist, um Informationen Kriege anzurufen .

Im Allgemeinen besteht die Reihenfolge der Arbeit mit BIG-Daten aus der Datenerhebung, Strukturierung empfangene Informationen mit Berichten und Dashboards sowie der anschließenden Formulierung von Empfehlungen zur Aktion.

Betrachten Sie kurz den Einsatz von Big Data-Technologien im Marketing. Wie Sie wissen, ist für die Vermarkterinformation das Hauptwerkzeug zum Vorhersagen und Erstellen einer Strategie. Die Analyse großer Daten ist lang und erfolgreich angewendet, um die Zielgruppe, die Interessen, die Nachfrage und die Aktivität der Verbraucher zu bestimmen. Mit der Analyse großer Daten können Sie insbesondere eine Werbung ausgeben (basierend auf dem RTB-Auktionsmodell - Echtzeitbadierung) nur an Verbraucher, die sich für das Produkt oder die Dienstleistung interessieren.

Die Verwendung großer Daten in Marketing ermöglicht Geschäftsleute:

- Es ist besser, Ihre Verbraucher zu erkennen, ein ähnliches Publikum im Internet anzuziehen;
- Bewerten Sie den Grad der Kundenzufriedenheit;
- um zu verstehen, ob der vorgeschlagene Dienst die Erwartungen und Bedürfnisse erfüllt;
- Neue Wege finden und umsetzen, um das Vertrauen der Kunden zu erhöhen;
- Erstellen Sie Projekte mit Bedarf usw.

Zum Beispiel kann Google.trends-Service die Prognose des Vermarkters für die saisonale Nachfrage nach einem bestimmten Produkt, Schwankungen und Geographie von Klicks hinweisen. Wenn Sie diese Informationen mit statistischen Daten vergleichen, mit statistischen Daten, die vom entsprechenden Plugin auf Ihrer eigenen Website erhoben werden, können Sie einen Plan für die Verteilung des Werbebudgets erstellen, das den Monats-, Region und anderen Parametern angibt.

Nach vielen Forschern ist es in der Segmentierung und der Verwendung großer Daten, die der Erfolg der Prampa-Kampagne abgeschlossen ist. Das Team der Zukunft des US-Präsidenten konnte das Publikum richtig teilen, ihre Wünsche verstehen und genau diesen Messenger zeigen, der Wähler sehen und hören möchte. Laut Irina Beljheva von der datenzentralen Allianz wurde der Sieg von Trump dank eines nicht standardmäßigen Ansatzes für das Internet-Marketing vielfach möglich, was auf Big-Daten, psychologischer Verhaltensanalyse und personalisierter Werbung basierte.

Politische Technologi- und Tram-Vermarkter haben ein speziell entwickeltes mathematisches Modell eingesetzt, das es uns ermöglichte, die Daten aller US -Wähten zu analysieren, um sie zu systematisieren, indem sie nicht nur von geografischen Anzeichen, sondern auch von Absichten, Interessen der Wähler, sondern auch von Absichten, Interessen der Wähler, ihre Psychotische, Verhaltensmerkmale usw. Nach diesen Vermarktern organisierten diese Vermarkter eine personalisierte Kommunikation mit jeder der Bürgergruppen, die auf ihren Bedürfnissen, Stimmungen, politischen Ansichten, psychologischen Merkmalen und sogar Hautfarben unter Verwendung fast jeden einzelnen Wählers aus ihrer Mission organisierten.

Was Hillary Clinton anschließt, dann in seiner Kampagne "bewährte Zeit" -Methoden, die auf soziologischen Daten und Standard-Marketing basieren, und teilen die Wähler nur auf formal homogene Gruppen (Männer, Frauen, Afroamerikaner, lateinische Amerikaner, arme, reich usw.).

Infolgedessen gewann er denjenigen, der das Potenzial neuer Technologien und Analysemethoden schätzte. Es ist bemerkenswert, dass die Kosten der Wahlkampagne Hillary Clinton doppelt so viel waren wie ihr Gegner:

Daten: Pew Research

Große Probleme der Verwendung große Daten

Zusätzlich zu hohen Kosten ist ein der Hauptfaktoren, das die Einführung großer Daten in verschiedenen Kugeln hemmt, das Problem, dass Daten aus der Bearbeitung von Daten ausgewählt werden: dh die Definitionen, deren Daten entfernt, gespeichert und analysiert werden müssen, und welche nicht sind berücksichtigt werden

Ein weiteres Problem große Daten sind ethisch. Mit anderen Worten, eine natürliche Frage stellt sich: Kann diese Datenerfassung (insbesondere ohne das Wissen des Benutzers) als Verstoß gegen private Grenzen angesehen?

Es ist kein Geheimnis, dass die Informationen in gespeichert sind suchmaschinen Google und Yandex ermöglicht es den Giants, ihre Dienste ständig zu verbessern, sie für Benutzer praktisch zu machen und neue interaktive Anwendungen zu erstellen. Dazu sammeln Suchmaschinen Benutzerdaten in der Internetaktivität im Internet, IP-Adressen, Geolocation-Daten, Zinsen und Online-Shopping, personenbezogene Daten, postmeldungen Sowohl. All dies ermöglicht es Ihnen, kontextuelle Werbung gemäß dem Verhalten des Benutzers im Internet zu demonstrieren. In diesem Fall bittet in der Regel die Zustimmung der Benutzer nicht darum, und die Möglichkeit der Wahl, welche Informationen über sich selbst nicht angegeben sind. Das ist standardmäßig große Daten zu allen, die dann auf Site-Datenservern gespeichert werden.

Dies impliziert das folgende wichtige Problem in Bezug auf die Sicherheit der Datenspeicherung und Verwendung. Gibt es beispielsweise eine sichere analytische Plattform, in der die Verbraucher in automatischer Modus Senden Sie Ihre Daten? Darüber hinaus bemerken viele Geschäftsvertreter einen Mangel an hochqualifizierten Analysten und Vermarktern, die in großen Datenbeträgen effektiv arbeiten können und spezifische Geschäftsaufgaben mit ihrer Hilfe lösen können.

Trotz aller Schwierigkeiten mit der Einführung großer Daten beabsichtigt das Geschäft, die Investition in diese Richtung zu steigern. Laut Gartner-Forschung sind die Investitionsführer in Big Data Industries Medien, Einzelhandel, Telekommunikation, Bankensektor und Dienstleistungsunternehmen.

Aussichten für das Zusammenspiel von Technologiesperre und Big Data

Die Integration mit Big Data trägt einen synergistischen Effekt und eröffnet ein breites Spektrum neuer Funktionen, einschließlich der Erlaubnis:

- Erhalten Sie Zugriff auf detaillierte Informationen zu den Präferenzen der Verbraucher, auf deren Grundlage Sie detaillierte analytische Profile für bestimmte Lieferanten, Waren- und Produktkomponenten erstellen können;
- Integrieren Sie detaillierte Daten auf Transaktionen und Statistiken des Verbrauchs bestimmter Warengruppen durch verschiedene Kategorien von Benutzern;
- Erhalten Sie detaillierte analytische Daten zu Liefer- und Konsumketten, steuern Sie den Produktverlust während des Transports (zum Beispiel Gewichtsverlust aufgrund von Trocknen und Verdampfen bestimmter Warenarten);
- Produktverschluss entgegenwirken, die Wirksamkeit der Bekämpfung von Geldwäsche und Betrug usw. erhöhen usw.

Der Zugang zu den detaillierten Daten zur Nutzung und des Warenverbrauchs wird weitgehend das Potenzial der Big Data-Technologie zur Optimierung der wichtigsten Geschäftsprozesse offenbart, regulatorische Risiken reduzieren, neue Möglichkeiten für die Monetarisierung und Produktkreation offenbaren, was die relevanten Verbraucherpräferenzen maximieren wird.

Wie bekannt, Vertreter der größten Finanzinstitute, einschließlich usw., in der Stellungnahme von Oliver Bussmann, IT-Manager der Schweizer Financial Holding UBS, IT-Manager der Swiss Financial Holding, ist blockierte Technologie in der Lage, die Transaktion zu reduzieren Bearbeitungszeit von mehreren Tagen auf mehrere Minuten ".

Das Analysepotential des Blockchains mit Hilfe der Big Data-Technologie ist riesig. Die verteilte Registrierungstechnologie gewährleistet die Integrität der Informationen sowie die zuverlässige und transparente Speicherung der gesamten Geschichte der Transaktion. Big Data liefern wiederum neue Instrumente für eine effektive Analyse, Prognose, wirtschaftliche Modellierung und eröffnet dementsprechend neue Möglichkeiten, um stärkere Managemententscheidungen zu tätigen.

Tandem Blockchain und große Daten können in der Gesundheitsfürsorge erfolgreich eingesetzt werden. Wie Sie wissen, erhöhen unvollkommene und unvollständige Daten zum Gesundheitszustand des Patienten das Risiko einer Formulierung einer falschen Diagnose und falsch vorgeschriebenen Behandlung. Kritisch wichtige Daten zur Gesundheit von Kunden von medizinischen Institutionen sollten maximal geschützt werden, die Eigenschaften der Immutabilität besitzen, überprüft werden, und sollten keine Manipulationen unterliegen.

Die Informationen im Blockchalter erfüllen alle aufgelisteten Anforderungen und können als hochwertige und zuverlässige Quelldaten für die tiefe Analyse mit neuen Big-Datentechnologien dienen. Außerdem könnten medizinische Institutionen mit Hilfe des Blockchains zuverlässige Daten mit Versicherungsgesellschaften, Justizbehörden, Arbeitgebern, wissenschaftlichen Einrichtungen und anderen Organisationen, die medizinische Informationen benötigen, austauschen.

Große Daten- und Informationssicherheit

In einem weiten Sinne ist Informationssicherheit die Sicherheit von Informationen und zur Unterstützung der Infrastruktur von zufälligen oder vorsätzlichen negativen Auswirkungen auf natürliche oder künstliche Natur.

Im Bereich der Informationssicherheit sind Big Data den folgenden Herausforderungen gestellt:

- Probleme des Datenschutzes und sorgen für ihre Integrität;
- das Risiko von Außenstehenden und Leckagen vertraulicher Informationen;
- unsachgemäße Lagerung vertraulicher Informationen;
- das Risiko, Informationen zu verlieren, beispielsweise aufgrund einer Art böswilliger Handlungen;
- das Risiko eines Missbrauchs von personenbezogenen Daten durch Dritte usw.

Eines der Hauptprobleme großer Daten, die der Blockchain zur Lösung sei, ist im Bereich der Informationssicherheit. Durch die Einhaltung aller Grundprinzipien kann die verteilte Registrierungstechnologie die Integrität und Genauigkeit der Daten garantieren, und dank der Fehlen eines einzelnen Weigerungspunkts macht der Blockkail einen stabilen Betrieb von Informationssystemen. Die verteilte Registrierungstechnologie kann dazu beitragen, das Problem des Vertrauens in den Daten zu lösen, sowie die Möglichkeit eines universellen Austauschs von ihnen.

Informationen sind ein wertvolles Asset, was bedeutet, dass im Vordergrund das Thema sein sollte, um die wichtigsten Aspekte der Informationssicherheit sicherzustellen. Um in einem wettbewerbsfähigen Kampf zu stehen, sollten Unternehmen mit der Zeit mithalten, was bedeutet, dass sie nicht von den möglichen Chancen und Vorteilen ignoriert werden können, die die Blockchain-Technologie und die Big-Daten-Tools in sich betreten.

Große Daten (oder große Daten) sind ein Satz von Arbeitsmethoden mit riesigen Mengen strukturierter oder unstrukturierter Informationen. Spezialisten bei der Arbeit mit großen Daten sind in der Verarbeitung und Analyse tätig, um visuelle, wahrgenommene Ergebnisse zu erhalten. Schau mich an, sprach mit Fachleuten und fand heraus, was die Situation mit der Verarbeitung großer Daten in Russland ist, wo und was besser ist, um denjenigen zu lernen, die in diesem Bereich arbeiten wollen.

Alexey Rupin auf den Hauptrichtungen im Bereich großer Daten, Kommunikation mit Kunden und der Welt der Zahlen

Ich studierte am Moskau-Institut für Elektrotechnik. Die Hauptsache, die ich herausnehmen konnte, ist grundlegendes Wissen über Physik und Mathematik. Gleichzeitig arbeitete ich im Forschungs- und Entwicklungszentrum, wo er mit der Entwicklung und Implementierung von noblestatischen kodierenden Algorithmen für die Mittel der geschützten Datenübertragung tätig war. Nach dem Ende des Bachelors betrat ich die Magistratie der Geschäftsinformatik der höheren Wirtschaftsschule. Danach wollte ich in IBs arbeiten. Ich hatte das Glück, dass es damals ein zusätzliches Praktikum in Verbindung mit einer großen Anzahl von Projekten gab, und nach mehreren Interviews begann ich mit der Arbeit bei IBS, einem der größten russischen Unternehmen in diesem Bereich. Drei Jahre lang ging ich vom Zug vor dem Architekten von Unternehmenslösungen weg. Jetzt beteiligte ich mich daran, große Datentechnologien für Kundenunternehmen aus dem Finanz- und Telekommunikationssektor zu entwickeln.

Es gibt zwei Hauptspezialisierungen für Menschen, die mit großen Daten arbeiten möchten: Analysten und IT-Berater, die Technologien für die Arbeit mit großen Daten erstellen. Darüber hinaus können Sie auch über den Beruf des Big Data-Analysts sprechen, d. H. Personen, die direkt mit den Daten mit der IT-Plattform des Kunden zusammenarbeiten. Zuvor waren es gewöhnliche Mathematikanalytiker, die Statistiken und Mathematik wussten und die statistische Software verwenden, um die Datenanalyseaufgaben zu lösen. Heute ist auch neben dem Wissen über Statistiken und Mathematik ein Verständnis der Technologie und eines Lebenszyklus von Daten erforderlich. In dieser Meinung nach ist meiner Meinung nach der Unterschied zwischen den modernen Datenanalyst aus diesen analytischen Analysten, die zuvor waren.

Meine Spezialisierung ist der IT-Beratung, das heißt, ich erfähre und bietet Kunden, wie man Geschäftsaufgaben mit IT-Technologien lösen kann. Menschen kommen mit verschiedenen Erfahrungen zur Beratung, aber die wichtigsten Eigenschaften dieses Berufs sind jedoch die Fähigkeit, die Bedürfnisse des Kunden zu verstehen, den Wunsch, Menschen und Organisationen, gute Kommunikation und Teamkenntnisse zu helfen (da es immer mit dem Kunden arbeitet In einem Team) gute analytische Fähigkeiten. Interne Motivation ist sehr wichtig: Wir arbeiten in einem wettbewerbsintensiven Umfeld, und der Kunde wartet ungewöhnliche Lösungen und Interesse an der Arbeit.

Meistens muss ich mit Kunden kommunizieren, um ihre Geschäftsbedürfnisse und Unterstützung bei der Entwicklung der am besten geeigneten technologischen Architektur zu formalisieren. Die Auswahlkriterien haben hier ihre eigenen Funktionen: Neben der Funktionalität und TSO (Gesamtkosten des Eigentums - die Gesamtkosten des Eigentums) sind sehr wichtige, nicht funktionsfähige Anforderungen an das System, ärgerlich ist dies die Antwortzeit, Informationsverarbeitung Zeit. Um den Kunden zu überzeugen, verwenden wir oft den Nachweis des Konzeptansatzes - wir bieten kostenlose Technologie für einige Task, auf ein engeres Datensatz, um sicherzustellen, dass die Technologie funktioniert. Die Entscheidung sollte einen Wettbewerbsvorteil für den Kunden auf Kosten von zusätzlichen Vorteilen (z. B. X-Sell, CRESS SALE) erstellen oder einige Art von Geschäftsproblemen lösen, sagen Sie den hohen Kreditbetrug.

Es wäre viel einfacher, wenn Kunden von der fertigen Aufgabe kamen, Solange sie nicht verstehen, dass eine revolutionäre Technologie erschienen ist, die den Markt für ein paar Jahre ändern kann.

Welche Probleme müssen sich stellen? Der Markt ist nicht bereit, "Big Data" -Technologie zu verwenden. Es wäre viel einfacher, wenn Kunden aus einer fertigen Aufgabe kamen, aber bis sie verstehen, dass eine revolutionäre Technologie für ein paar Jahre den Markt ändern könnte. Deshalb arbeiten wir in der Tat im Startup-Modus - nicht nur Technologie verkaufen, aber jedes Mal, wenn wir Kunden davon überzeugen, dass Sie in diese Lösungen investieren müssen. Dies ist eine solche Visionsstellung - wir zeigen Kunden, wie Sie Ihr Geschäft mit der Anziehungskraft von Daten und damit ändern können. Wir schaffen diesen neuen Markt - den Markt für kommerzielle IT-Beratung im Big-Datenbereich.

Wenn eine Person an der Datenanalyse oder der IT-Beratung im Bereich der großen Daten teilnehmen möchte, ist das erste, was wichtig ist, dass das erste, was wichtig ist, mathematische oder technische Ausbildung mit einer guten mathematischen Vorbereitung. Es ist auch hilfreich, bestimmte Technologien zu meistern, sagen wir SAS, Hadoop, R-Sprache oder IBM-Lösung. Darüber hinaus ist es notwendig, sich aktiv an den Anwendungsaufgaben für große Daten zu interessieren, da sie beispielsweise für eine verbesserte Kreditbewertung in einer Bank oder einem Management des Lebenszyklus des Kunden verwendet werden können. Diese und andere Kenntnisse können aus verfügbaren Quellen erhalten werden: z. B. Cursera und Big Data University. Es gibt auch eine Kundenanalyseinitiative in der Wharton University of Pennsylvania, die viele interessante Materialien veröffentlicht hat.

Ein ernstes Problem für diejenigen, die in unserem Bereich arbeiten möchten, ist ein explizites Mangel an Informationen über große Daten. Sie können nicht in die Buchhandlung oder in die Buchstätte gehen und zum Beispiel eine erschöpfende Spalte von Fällen für alle Anwendungen großer Datentechnologien in Banken erhalten. Es gibt keine solchen Bezugsbücher. Ein Teil der Informationen ist in den Büchern, ein anderer Teil wird bei Konferenzen gesammelt, und an etwas, das Sie sich erreichen müssen.

Ein weiteres Problem ist, dass sich Analysten in der Welt der Zahlen wohl fühlen, aber sie sind im Geschäft nicht immer vertraut. Solche Menschen sind oft introvertiert, es ist schwierig, dass sie kommunizieren, und daher ist es schwierig, dass sie überzeugend, dass Kunden Informationen über Forschungsergebnisse vermitteln können. Für die Entwicklung dieser Fähigkeiten würde ich solche Bücher als "Pyramid-Prinzip" empfehlen, "in Diagrammen sprechen". Sie helfen, Präsentationsfähigkeiten, konfektionell und eindeutig ihre Gedanken zu entwickeln.

Ich war sehr hilfreich für die Teilnahme an verschiedenen Fallmeisterschaften beim Studium bei HSE. Fallmeisterschaften sind intelligente Wettbewerbe für Studenten, in denen Sie Geschäftsprobleme studieren müssen und ihre Entscheidung anbieten. Sie sind zwei Arten: Consulting-Firm-Fallmeisterschaften wie McKinsey, BCG, Accenture sowie unabhängige Fallmeisterschaften von Chaiserge. Während der Beteiligung an ihnen lernte ich, komplexe Aufgaben zu sehen und zu lösen - von der Identifizierung des Problems und seiner Strukturierung des Schutzes der Empfehlungen für seine Lösung.

Oleg Mikhalsky über den russischen Markt und die Besonderheiten des Erstellens eines neuen Produkts im Bereich großer Daten

Bevor ich nach Acronis kam, war ich bereits an der Einführung neuer Produkte an den Markt in anderen Unternehmen tätig. Es ist immer interessant und schwer gleichzeitig, also war ich sofort an der Möglichkeit interessiert, an der Arbeit zu arbeiten cloud-Services und Lösungen für den Datenspeicher. In diesem Bereich waren alle meine bisherigen Erfahrungen in der IT-Industrie nützlich, einschließlich eines eigenen Startup-Projekts I-Accelerator. Die Anwesenheit von Business Education (MBA) half auch zusätzlich zum Basistechnik.

In Russland, Großunternehmen - Banken, Mobilfunkbetreiber usw. - müssen Sie große Daten analysieren, also gibt es in unserem Land Perspektiven für diejenigen, die in diesem Bereich arbeiten möchten. Tat, viele Projekte integrieren nun, dh auf der Grundlage ausländischer Entwicklungen oder Open-Source-Technologien. In solchen Projekten werden grundsätzlich neue Ansätze und Technologien nicht erstellt, sondern eher bestehende Entwicklungen sind angepasst. In Acronis gingen wir auf andere Weise und beschlossen, nach der Analyse der bestehenden Alternativen, in unsere eigene Entwicklung zu investieren, um ein System mit zuverlässiger Lagerung für große Daten zu erstellen, das beispielsweise nicht in den Kosten ergibt, beispielsweise Amazon S3, aber es funktioniert jedoch zuverlässig und effizient auf wesentlich kleinerer Maßstab. Die eigene Entwicklung für große Daten gehört auch zu großen Internetunternehmen, sie konzentrieren sich jedoch eher auf interne Bedürfnisse als die Zufriedenheit der Bedürfnisse externer Kunden.

Es ist wichtig, Trends und Wirtschaftskräfte zu verstehen, die den Bereich der Verarbeitung großer Daten beeinflussen. Um dies zu tun, lesen Sie viel, hören Sie die Aufführungen maßgeblicher Spezialisten in der IT-Branche, besuchen Sie thematische Konferenzen. Nun hat fast jede Konferenz einen großen Datenbereich, aber alle sprechen in verschiedenen Winkeln darüber: aus Sicht von Technologie, Wirtschaft oder Marketing. Sie können für Designarbeiten oder Praktikum in der Firma gehen, die bereits Projekte zu diesem Thema durchführt. Wenn Sie in Ihren Fähigkeiten zuversichtlich sind, ist es nicht zu spät, um einen Startup in der Sphäre der großen Daten zu organisieren.

Ohne ständiger Kontakt mit dem Markt Neue Entwicklungsrisiken zu nicht beansprucht

True, wenn Sie für ein neues Produkt verantwortlich sind, geht viel Zeit zur Analyse des Marktes und der Kommunikation mit potenziellen Kunden, Partnern, professionellen Analysten, die viel über Kunden und ihre Bedürfnisse kennen. Ohne ständigen Kontakt mit dem Markt werden die neuen Entwicklungsrisiken nicht beansprucht. Es gibt immer viel Unsicherheit: Sie müssen verstehen, wer die ersten Nutzer (frühe Anwender) werden, die Sie für sie wertvoll haben und dann ein Massenpublikum anziehen. Die zweitwichtigste Aufgabe besteht darin, Entwicklern eine klare und ganzheitliche Vision des Endprodukts zu bilden und zu vermitteln, um sie zu motivieren, unter solchen Bedingungen zu arbeiten, wenn sich einige Anforderungen noch ändern können, und die Prioritäten abhängen feedbackvon den ersten Kunden kommend. Daher ist es eine wichtige Aufgabe, Kundenerwartungen auf einer Seite und Entwicklern auf der anderen Seite zu verwalten. So dass weder andere Interesse verloren haben und das Projekt vor der Fertigstellung gebracht haben. Nach dem ersten erfolgreichen Projekt wird es einfacher, und die Hauptaufgabe wird das richtige Wachstumsmodell für das neue Unternehmen finden.

Moscow_Exchange 6. Mai 2015 um 20:38 Uhr

Big Data Market Analytical Review

Firma Blog Moskau Austausch,
Große Daten.

"Große Daten" - Das Thema, das von technologischen Unternehmen aktiv diskutiert wird. Einige von ihnen gelang es, in großen Daten enttäuscht zu sein, andere - im Gegenteil, nutzen sie so viel wie möglich für das Geschäft ... frische analytische Übersicht über den Inlands- und Weltmarkt "Big Data", zusammen mit dem Moskau-Austausch, zusammen mit IPoboard-Analysten, zeigt, welche Trends jetzt auf dem Markt am besten relevant sind.. Wir hoffen, dass die Informationen interessant und nützlich sein werden.

Was ist große Daten?

Hauptmerkmale

Große Daten sind im Moment eine der wichtigsten Treiber für die Entwicklung von Informationstechnologien. Diese Richtung ist relativ neu im russischen Geschäft, ist in westlichen Ländern weit verbreitet. Dies ist auf die Tatsache zurückzuführen, dass in der Ära der Informationstechnologien, insbesondere nach dem Ausleger sozialer Netzwerke, für jeden Internetbenutzer, ein erheblicher Betrag an Informationen ansammelte, was letztendlich die Entwicklung großer Daten ergab.

Der Begriff "Big Data" verursacht viele Streitigkeiten, viele glauben, dass es nur den Betrag der angesammelten Informationen bedeutet, aber die technische Seite nicht vergessen, dieses Gebiet enthält Speichertechnologien, Berechnungen und auch dienstleistungen.

Es sei darauf hingewiesen, dass sich die Kugel auf die Verarbeitung einer großen Menge an Informationen bezieht, die schwierig ist, traditionelle Methoden zu verarbeiten *.

Nachfolgend finden Sie eine Vergleichstabelle der traditionellen und großen Datenbasis.

Der Umfang großer Daten zeichnet sich durch folgende Funktionen aus:
VOLUMEN. - Das Volumen der angesammelten Datenbank ist eine große Menge an Informationen, die auf traditionelle Weise mühsam gehandhabt und lagern, erfordern sie einen neuen Ansatz und die fortgeschrittenen Tools.
Geschwindigkeit. - Geschwindigkeit, dieses Merkmal zeigt sowohl die zunehmende Datenansammlungsrate an (90% der Informationen wurden in den letzten 2 Jahren erhoben) und die Dhat sich in letzter Zeit wesentlicher gewonnene Real-Time-Datenverarbeitung geworden.
Vielfalt. - vielfältig, d. H. Die Möglichkeit der gleichzeitigen Verarbeitung strukturierter und unstrukturierter Varianzinformationen. Der Hauptunterschied strukturierter Informationen ist, dass es klassifiziert werden kann. Ein Beispiel für solche Informationen sind Informationen zu Client-Transaktionen.
Unstrukturierte Informationen enthalten Video-, Audiodateien, kostenloser Text, Informationen aus sozialen Netzwerken. Bislang sind 80% der Informationen in der Gruppe unstrukturiert enthalten. Diese Informationen benötigen eine umfassende Analyse, um sie zur Weiterverarbeitung nützlich zu machen.
Richtigkeit. - Datengenauigkeit, die zunehmende Bedeutung sind, sind zur Wichtigkeit der Genauigkeit der verfügbaren Daten geworden. Also haben Internet-Unternehmen ein Problem für die Trennung von Handlungen, die von einem Roboter und einer Person auf der Website des Unternehmens gehalten werden, die letztendlich zu der Schwierigkeit der Datenanalyse führt.
Wert. - Wert der angesammelten Informationen. Große Daten sollten für das Unternehmen nützlich sein und einen bestimmten Wert darauf bringen. Um beispielsweise die Verbesserung der Geschäftsprozesse zu unterstützen, um die Berichterstattung zu erstellen oder die Kosten zu optimieren.

Unter der Einhaltung der oben genannten 5 Bedingungen können die angesammelten Datenvolumina auf die Anzahl der großen zurückzuführen sein.

Der Umfang der Verwendung großer Daten

Der Umfang der Nutzung von Technologie großer Daten ist umfangreich. Mit Hilfe großer Daten können Sie mit Hilfe großer Daten über Kundeneinstellungen, der Wirksamkeit von Marketingkampagnen erfahren oder Risiken führen. Nachfolgend finden Sie die Ergebnisse der IBM Institute Survey, über die Anwendungen großer Daten in Unternehmen.

Wie aus dem Diagramm ersichtlich ist, nutzen die meisten Unternehmen große Daten im Bereich des Kundenservice, der zweite in der Popularität der Richtung ist eine operative Effizienz, auf dem Gebiet des Risikomanagements. Große Daten sind im Moment weniger üblich.

Es sei auch darauf hingewiesen, dass große Daten eines der am schnellsten wachsenden Bereichen der Informationstechnologien sind, gemäß Statistiken, der Gesamtbetrag der erhaltenen und gespeicherten Daten wird alle 1,2 Jahre verdoppelt.
Für den Zeitraum von 2012 bis 2014 der Datenbetrag monatlich übermittelt mobile Netzwerkestieg um 81%. Laut Cisco-Schätzungen im Jahr 2014 betrug das Volumen des Mobilfunkverkehrs 2.5 Exbaytes (die Einheit der Messung des Informationsbetrags von 10 ^ 18 Standard-Bytes) pro Monat, und bereits 2019 ist es gleich 24.3 Exabyte.
So sind große Daten das bereits etablierte Technologiefeld, auch trotz des relativ jungen Jahren, der in vielen Geschäftsbereichen verteilt ist und eine wichtige Rolle bei der Entwicklung von Unternehmen spielt.

Große Datentechnologie

Technologien zum Sammeln und Prozess großer Daten können in 3 Gruppen unterteilt werden:

Software;
Ausrüstung;
Dienstleistungen.

Die häufigsten Datenverarbeitungsansätze (Software) umfassen:
SQL. - Sprache strukturierter Abfragen, die mit Datenbanken arbeiten können. Mit SQL können Sie die Daten erstellen und ändern, und das entsprechende Datenbankverwaltungssystem ist mit der Steuerung des Datenarrays aktiviert.
Noql. - Der Begriff entschlüsselt als nicht nur SQL (nicht nur SQL). Enthält eine Reihe von Ansätzen, die zur Implementierung einer Datenbank mit Unterscheidung von Modellen, die in traditioneller relationaler DBMs verwendet werden, zur Implementierung von Modellen abzielen. Es ist praktisch, sie mit einer ständig ändernden Datenstruktur zu verwenden. Zum Beispiel zum Sammeln und Speichern von Informationen über sozialen Netzwerken.
Karte verkleinern. - Computerverteilungsmodell. Wird für parallele Rechenrechnung über sehr große Datensätze (Petabytes * oder mehr) verwendet. In der Programmierschnittstelle werden die Nicht-Daten an die Verarbeitung des Programms und das Datenprogramm übertragen. Somit ist die Anforderung ein separates Programm. Das Prinzip des Betriebs besteht in der konsistenten Datenverarbeitung mit zwei Karten- und Reduziermethoden. Die Karte wählt vorläufige Daten aus, reduzieren sie die Aggregate.
Hadoop - Wird verwendet, um Such- und Kontextmechanismen von hochgeladenen Sites zu implementieren - Facebook, eBay, Amazon usw. Ein unverwechselbares Merkmal Es ist, dass das System vor einem Ausfall eines der Clusterknoten geschützt ist, da jede Einheit auf einem Minimum eine Kopie der Daten auf einem anderen Knoten aufweist.
SAP HANA. - Hochleistungs-NewsQL-Plattform zum Speichern und Verarbeiten von Daten. Bietet schnelle Geschwindigkeit Bearbeitung anfordern. Ein weiteres Unterscheidungsmerkmal ist, dass SAP HANA die Systemlandschaft vereinfacht, wodurch die Kosten für die Unterstützung analytischer Systeme reduziert werden.

Die technologische Ausstattung umfasst:

server;
infrastrukturausrüstung.

Zu den Servern gehören Data Warehouses.
Infrastrukturgeräte umfassen Mittel, um Plattformen, unterbrechungsfreie Stromquellen, Sätze von Serverkonsolen usw. zu erhalten.

Dienstleistungen.
Dienstleistungen umfassen Dienstleistungen für den Aufbau einer Datenbanksystemarchitektur, um die Infrastruktur zu verbessern und den Datenspeicher sicherzustellen.

Software, Ausrüstung sowie Service Services bilden zusammen umfassende Plattformen zum Speichern und Analysieren von Daten. Unternehmen wie Microsoft, HP, EMV bieten Entwicklungsdienste und Bereitstellen großer Daten- und Managementlösungen.

Anwendung in Branchen.

Große Daten waren in vielen Geschäftszweigen weit verbreitet. Sie werden in Gesundheit, Telekommunikation, Handel, Logistik, Finanzunternehmen sowie in der öffentlichen Verwaltung eingesetzt.
Nachfolgend finden Sie mehrere Beispiele für die Anwendung großer Daten in einigen Industrien.

Einzelhandel
In den Datenbanken der Einzelhandelsgeschäfte können viele Informationen über Kunden, Aktienverwaltungssysteme, kommerzielle Liefersysteme, kumuliert werden. Diese Informationen können in allen Einkäufen nützlich sein.

Mit Hilfe von angesammelten Informationen können Sie also die Lieferung von Waren, deren Speicher und Verkauf steuern. Basierend auf den angesammelten Informationen können Sie die Nachfrage und die Lieferung von Waren vorhersagen. Das Verarbeitungs- und Datenanalysesystem kann auch durch andere Händlerprobleme gelöst werden, z. B. Optimierung der Kosten oder Berichterstattung vorbereiten.

Finanzdienstleistungen.
Große Daten ermöglichen es, die Kreditwürdigkeit des Kreditnehmers zu analysieren, sie sind auch nützlich für die Kreditbewertung * und das Underwriting **. Die Einführung großer Datentechnologien reduziert die Zeitabnahme von Kreditanwendungen. Mit Hilfe großer Daten können Sie die Vorgänge eines bestimmten Kunden analysieren und die entsprechenden Bankdienstleistungen anbieten.

Telekom
In der Telekommunikationsbranche waren große Daten von zellulären Betreibern weit verbreitet.
Betreiber zelluläre Kommunikation Neben Finanzorganisationen hat eine der größten voluminösen Datenbanken, die es ihnen ermöglicht, die tiefgreifendste Analyse der angesammelten Informationen durchzuführen.
Der Hauptzweck der Datenanalyse ist es, bestehende Kunden zu halten und neue anzuziehen. Für dieses Unternehmen, der Kundensegmentierung, analysiert ihren Verkehr, bestimmen Sie die soziale Zugehörigkeit des Abonnenten.

Neben der Verwendung von großen Daten in Marketingzwecken wird die Technologie verwendet, um betrügerische Finanztransaktionen zu verhindern.

Bergbau- und Ölindustrie
Big Data werden sowohl im Bergbau als auch in der Verarbeitung sowie in der Marketing- und Marketing verwendet. Unternehmen können auf der Grundlage von empfangenen Informationen, um Schlussfolgerungen zur Effizienz der Entwicklung des Feldes zu ziehen, das Diagramm der wichtigsten Reparaturen und des Ausrüstungszustands zu verfolgen, die Nachfrage nach Produkten und Preisen vorhersagen.

Gemäß der Tech Pro Research Survey erhielt die größte Verteilung großer Daten in der Telekommunikationsbranche sowie in den Ingenieurwissenschaften, der Finanz- und Staatsunternehmen. Nach den Ergebnissen dieser Umfrage sind große Daten in der Bildung und Gesundheitsfürsorge weniger beliebt. Die Ergebnisse der Umfrage werden unten dargestellt:

Beispiele für die Verwendung von großen Daten in Unternehmen

Bislang werden große Daten aktiv in ausländischen Unternehmen eingeführt. Unternehmen wie Nasdaq, Facebook, Google, IBM, Visa, Master Card, Bank of America, HSBC, AT & T, Coca Cola, Starbucks und Netflix verwenden bereits große Datenressourcen.

Der Anwendungsbereich von verarbeiteten Informationen ist vielfältig und variiert je nach Industrie und den Aufgaben, die ausgeführt werden müssen.
Als Nächstes werden Beispiele für die Verwendung von Big Datentechnologien in der Praxis dargestellt.

HSBC. Verwendet große Datentechnologie, um betrügerische Operationen mit Plastikkarten entgegenzuwirken. Mit Hilfe der großen Daten steigerte das Unternehmen die Wirksamkeit des Sicherheitsdienstes dreimal, anerkannte betrügerische Vorfälle - 10-mal. Die wirtschaftliche Wirkung der Einführung dieser Technologien übertraf 10 Millionen US-Dollar.

Antifrod * Visa. Ermöglicht den automatischen Modus, um betrügerische Operationen zu berechnen, das System momentan hilft, betrügerische Zahlungen jährlich 2 Milliarden US-Dollar zu verhindern.

Supercomputer Watson-Unternehmen. IBM. analysen in Echtzeit den Datenfluss zu Geldtransaktionen. Gemäß IBM stieg Watson um 15%, um die Anzahl der erkannten betrügerischen Operationen zu erhöhen, wobei 50% der falschen Reaktion des Systems verringert und den von Transaktionen eines solchen Charakters geschützten Fonds erhöht.

Procter & Gamble. Mit Hilfe von großen Daten, neuen Produkten entwerfen und globale Marketingkampagnen erstellen. P & G erstellte Geschäftsbereiche Spezialisierte Büros, in denen Sie Echtzeitinformationen anzeigen können.
So hat das Management der Gesellschaft die Möglichkeit, Hypothesen sofort zu überprüfen und Experimente zu verhalten. P & G glauben, dass große Daten bei der Vorhersage der Aktivitäten des Unternehmens hilfreich sind.

Einzelhändler Bürobedarf. OfficeMax. Mit Hilfe der generischen Daten analysiert das Kundenverhalten. Big Data-Analyse ermöglichte es, den B2B-Umsatz um 13% zu erhöhen, die Kosten von 400.000 US-Dollar pro Jahr zu senken.

Nach der Meinung Raupe. Ihre Vertriebspartner werden jährlich von 9 auf 18 Milliarden US-Dollar überwunden. US-Dollar kamen nur an, weil sie keine generischen Datenverarbeitungstechnologien einführen. Große Daten würden es den Kunden ermöglichen, die Flotte von Autos effektiver zu verwalten, da Informationen anhand der an den Maschinen installierten Sensoren installiert werden.

Bislang ist es bereits möglich, den Zustand der wichtigsten Knoten, ihres Verschleißgrads, um Kraftstoffkosten und Wartung zu analysieren.

Luxottica-Gruppe. Es ist ein Hersteller von Sportbrillen, solchen Marken wie Ray-Ban, Persol und Oakley. Große Datentechnologie Das Unternehmen gilt für das Analysieren des Verhaltens potenzieller Kunden und "intelligentes" SMS-Marketing. Daher hat die große Daten-Luxottic Group mehr als 100 Millionen wertvollste Kunden zugewiesen und die Wirksamkeit der Marketingkampagne um 10% erhöht.

Verwenden von Yandex-Datenfabrik-Spielentwicklern Welt der Panzer. Analysieren Sie das Verhalten der Spieler. Große Datentechnologie dürfte das Verhalten von 100 Tausend World of Tanks-Spielern mit mehr als 100 Parametern analysieren (Informationen zu Einkäufen, Spielen, Erfahrung usw.). Infolge der Analyse wurde eine Prognose des Nutzungsabflusss empfangen. Mit diesen Informationen können Sie die Benutzerpflege reduzieren und mit den Teilnehmern der Spieladresse arbeiten. Das entwickelte Modell war 20-30% effizienter als Standardinstrumente zur Analyse der Gaming-Industrie.

Arbeitsministerium Deutschland Verwendet große Daten in der Arbeit in Bezug auf die Analyse von Anwendungen für die Ausgabe von Arbeitslosengeld. Nach der Analyse der Information wurde klar, dass 20% der Vorteile unverdient bezahlt wurden. Mit Hilfe von großen Daten sank das Arbeitsministerium die Kosten von 10 Milliarden Euro.

Kinderkrankenhaus Toronto Implementiertes Projekt Artemis-Projekt. Dies ist ein Informationssystem, das die Daten zu Echtzeit-Babys sammelt und analysiert. Das System jedes zweiten Tracks von 1260 Indikatoren des Zustands jedes Kindes. Das Projekt Artemis ermöglicht es Ihnen, den instabilen Zustand des Kindes vorherzusagen und mit der Verhinderung von Krankheiten bei Kindern zu beginnen.

Überprüfung des globalen Marktmarktes

Der derzeitige Zustand des globalen Marktes

Im Jahr 2014 wurden große Daten gemäß dem Datenkollektiv zu einem der Prioritätsbereiche der Investitionsbereiche auf dem Gebiet der Venture-Industrie. Nach den Daten informationsportal. Der Computer ist mit der Tatsache verbunden, dass die Entwicklung dieser Richtung für ihre Benutzer erhebliche Ergebnisse begann. Im vergangenen Jahr stieg die Anzahl der Unternehmen mit umgesetzten Projekten auf dem Gebiet der Verwaltung großer Daten um 125%, das Marktvolumen stieg im Vergleich zu 2013 um 45%.

Der größte Teil der Big Data-Markterlöse, laut Wikibon, im Jahr 2014, belief sich 2014 Service-Services, ihre Anteil betrug 40% im Gesamtumsatz (siehe Abbildung unten):

Wenn Sie große Daten für 2014 auf Subtypen in Betracht ziehen, wird der Markt so aussehen:

Laut Wikibon beträgt die Anwendungen und Analysen im Jahr 2014 36% der großen Dateneinnahmen im Jahr 2014 mit Anwendungen und Analysen großer Daten, 17% - Rechenausstattung und 15% - Datenspeichertechnologie. Der geringste Umsatz wurde von NoSQL-Technologien, Infrastrukturgeräten und Vernetzung von Unternehmen (Unternehmensnetzwerke) erstellt.

Big Data-Technologien sind am beliebtesten, wie in der Memory-Plattformen des SAP, HANA, der Oracle und anderer Unternehmen. Die Ergebnisse der T-Systems-Umfrage zeigten, dass 30% der befragten Unternehmen ausgewählt wurden. Die zweit beliebtesten NOSQL-Plattformen (18% der Benutzer), auch Unternehmen, die SPLINK und DELL Analytische Plattformen verwendet wurden, wurden 15% der Unternehmen ausgewählt. Am wenigsten nützlich, um die Probleme großer Daten zu lösen, erwies sich die Ergebnisse der Umfrage als Produkte von Hadoop / MapReduce.

Gemäß der ACCENURE SERVICE in mehr als 50% der Unternehmen mit großer Datentechnologie reichen große Datenkosten zwischen 21% auf 30%.
Nach der folgenden Analyse der Akzentanalyse, von 76% der Unternehmen, glauben, dass diese Aufwendungen 2015 steigen werden, und 24% der Unternehmen werden ihr Budget nicht auf große Datentechnologie ändern. Dies deutet darauf hin, dass in diesen Unternehmen große Daten zu einem IT-Federal-Gerät geworden sind, das zu einem wesentlichen Bestandteil der Entwicklung des Unternehmens wurde.

Die Ergebnisse der Ökonomen Intelligence Unit Survey Survey-Ergebnisse bestätigen den positiven Effekt der Big Data-Implementierung. 46% der Unternehmen erklären, dass sie mit Hilfe von Technologie großer Daten den Kunden in Höhe von mehr als 10% um mehr als 10% verbessert haben, 33% der optimierten Reserven und verbessert die Produktivität der wichtigsten Vermögenswerte, 32% der Unternehmen haben die Planungsprozesse verbessert.

Große Daten in verschiedenen Ländern der Welt

Bislang wird die große Datentechnologie meistens in US-Unternehmen eingeführt, aber jetzt begannen andere Länder der Welt, Interesse zu zeigen. 2014, laut IDC, in den Ländern Europas, dem Nahen Osten, Asien (mit Ausnahme von Japan) und Afrika 45% der Software, Dienstleistungen und Ausrüstung in den großen Daten.

Laut der CIO-Umfrage entwickeln Unternehmen aus den Ländern der Asien-Pazifik-Region auch rasch neue Lösungen im Bereich Großanalyse, sicherer Lagerung und cloud-Technologie. Lateinamerika ist in Bezug auf die Anzahl der Investitionen in die Entwicklung großer Datentechnologien, vor Europa und den Vereinigten Staaten, an zweiter Stelle.
Als nächstes werden eine Beschreibung und Prognosen der Entwicklung eines großen Datenträgers für mehrere Länder vorgestellt.

China
Chinas Informationen beträgt 909 Exbaytes, was 10% der Gesamtinformationen der Welt beträgt, bis 2020 die Informationsmenge 8060 Exabytes, der Anteil an Informationen in globaler Statistiken steigt, und in 5 Jahren wird es in 5 Jahren in Höhe von 18% liegen. . Das potenzielle Wachstum großer Daten China hat einen der schnellsten wachsenden Lautsprecher.

Brasilien
Brasilien zu den Ergebnissen von 2014 hat angesammelte Informationen über 212 Exabytes, die 3% des globalen Volumens beträgt. Bis 2020 wächst der Informationsbetrag bis zu 1600 Exabyte, was 4% der Informationen der gesamten Welt betragen wird.

Indien
Nach Angaben des EMC beträgt der Betrag der angesammelten Daten von Indien nach den Ergebnissen von 2014 326 Exbaytes, was 5% der Gesamtinformationen beträgt. Bis 2020 wird der Informationsbetrag auf 2.800 Exabyte wachsen, was 6% der Informationen der ganzen Welt beträgt.

Japan
Die Höhe der angesammelten Daten von Japan nach den Ergebnissen von 2014 beträgt 495 Exbaytes, was 8% der Gesamtinformationen beträgt. Bis 2020 wird der Informationsbetrag auf 2.200 Exhaba wachsen, der Anteil des japanischen Marktes wird jedoch sinken und beträgt 5% der gesamten Informationen der ganzen Welt.
Daher wird das Volumen des japanischen Marktes auf mehr als 30% sinken.

Deutschland
Nach EMC beträgt der Betrag der angesammelten Daten in Deutschland Ende 2014 230 exbaytes, was 4% der Gesamtinformationen der Welt beträgt. Bis 2020 wächst der Informationsbetrag auf 1100 Exabyte und beträgt 2%.
In der deutschen Markt wird ein großer Teil der Umsatzanteil, laut Experton Group, dem Servicesegment, dessen Aktie im Jahr 2015 54% betragen wird, und wird 2019 auf 59% steigen, der Anteil an Software und Ausrüstung, im Gegenteil, wird verringern.

Im Allgemeinen wird das Marktvolumen 2015 von 1, 345 Milliarden Euro im Jahr 2015 auf 3,198 Milliarden Euro im Jahr 2019 wachsen, die durchschnittliche Wachstumsrate beträgt 24%.
Auf der Grundlage der Analytik CIO und EMC kann daher der Schluss gezogen werden, dass die Entwicklungsländer der Welt in den kommenden Jahren zu den Märkten für die aktive Entwicklung großer Datentechnologien werden.

Hauptmarkttrends.

Laut IDG Enterprise, im Jahr 2015, werden die Kosten von Unternehmen auf dem Bereich großer Daten durchschnittlich 7,4 Mio. USD für das Unternehmen betragen, große Unternehmen beabsichtigen, etwa 13,8 Mio. USD, kleine und mittlere - 1,6 Millionen US-Dollar auszugeben..
Die meisten werden in Bereichen wie Analyse und Visualisierung von Daten und deren Sammlung investiert.
Nach aktuellen Trends und Nachfrage auf dem Markt werden Investitionen im Jahr 2015 zur Verbesserung der Datenqualität, der Verbesserung der Planung und Prognose sowie der Erhöhung der Datenverarbeitungsrate verwendet.
Die Unternehmen des Finanzsektors, laut Bain Company Insights-Analysis, werden an erhebliche Investitionen erstellt, so dass 2015 in der Big Datentechnologie von 6,4 Milliarden US-Dollar in Höhe von 6,4 Milliarden US-Dollar ausübt, wobei die durchschnittliche Investitionswachstumsrate 22% bis 2020 betragen wird. Die Internetgesellschaften planen, 2,8 Milliarden US-Dollar auszugeben, die durchschnittliche Wachstumsrate für große Daten beträgt 26%.
Bei der Durchführung einer Umfrage zur Vermessung einer Ökonomen Intelligenzeinheit wurden die Prioritätsanweisungen der Big Data-Entwicklung im Jahr 2014 identifiziert, und in den nächsten 3 Jahren ist die Verteilung von Antworten wie folgt:

Nach Angaben der IDC-Prognosen sehen die Marktentwicklungstrends so aus:

In den nächsten 5 Jahren werden die Kosten für Cloud-Lösungen in der Technologie großer Daten dreimal schneller wachsen als die Kosten für lokale Lösungen. Die Hybridplattformen zum Speichern von Daten werden beliebt.
Das Anwendungswachstum mit komplexer und prognostizierter Analysen, einschließlich Maschinenlernen, wird 2015 beschleunigt, der Markt solcher Anwendungen wächst schneller um 65% schneller als Anwendungen, die keine Prognoseanalysen verwenden.
Die Medienanalyse wird im Jahr 2015 verdreifachen und wird ein wichtiger Treiber für den Wachstumsmarkt für große Datentechnologie.
Die Tendenz, Lösungen einzuführen, um den ständigen Informationsfluss zu analysieren, der auf das Internet der Dinge anwendbar ist.
Bis 2018 interagieren 50% der Benutzer mit Diensten, die auf der kognitiven Berechnung basieren.

Markttreiber und Begrenzer

IDC-Experten wurden 3 große Data-Markttreiber 2015 hervorgehoben:

Gemäß der ACCENURE-Umfrage sind Datensicherheitsfragen nun die Hauptbarriere auf dem Weg zur Umsetzung großer Datentechnologien, mehr als 51% der Befragten bestätigten, dass sie sich Sorgen um den Datenschutz und deren Vertraulichkeit sorgen. 47% der Unternehmen berichteten über die Unmöglichkeit, große Daten im Zusammenhang mit einem begrenzten Budget umzusetzen, 41% der Unternehmen zeigten das Fehlen von qualifiziertem Personal als Problem.

Wikibon sagt voraus, dass der Big Data-Markt 2015 auf 38,4 Milliarden US-Dollar wachsen wird und im Vergleich zum Vorjahr um 36% steigen wird. In den kommenden Jahren wird 2017 ein Rückgang der Wachstumsraten auf 10% eingehalten. Unter Berücksichtigung der Daten der Prognosen beträgt das Marktvolumen im Jahr 2020 68,7 Milliarden US-Dollar.

Die Verteilung des globalen Marktes großer Daten zu den Geschäftskategorien wird so aussehen:

Wie aus dem Diagramm ersichtlich ist, wird der Großteil des Marktes von dem Umfang der Verbesserung des Kundenservice einnehmen. Punkt-Marketing wird dem Unternehmen bis 2019 in der zweiten Priorität in der zweiten Priorität sein, im Jahr 2020, nach starker Lesung wird es Lösungen geben, um die betriebliche Effizienz zu verbessern.
Die höchste Wachstumsrate wird auch auf der "Verbesserung des Client Service" sein, deren Anstieg jährlich 49% beträgt.
Die Marktprognose für Big Data-Subtypen sieht so aus:

Der vorherrschende Marktanteil, wie aus dem Diagramm ersichtlich ist, belegen professionelle Dienstleistungen, das höchste Ratewachstum wird bei Anwendungen mit Analysen sein, deren Aktie von den gegenwärtigen 12% bis 18% im Jahr 2020 wachsen wird und das Volumen dieses Segments sein wird In Höhe von 12,3 Milliarden US-Dollar wird der Anteil der Rechenausstattung im Gegenteil von 20% auf 14% sinken und 2020 in etwa 9,3 Milliarden US-Dollar betragen. Der Markt für Cloud Technologies wird schrittweise erhöhen und werden 6,3 Milliarden US-Dollar erreichen, die Anteil Der Markt der Lösungsmarkt wird 6,3 Milliarden US-Dollar erreichen. Die Datenspeicherung wird im Gegenteil von 15% im Jahr 2014 auf 13% im Jahr 2020 rückläufig und bei monetären Bedingungen 8,9 Milliarden US-Dollar betragen.
Nach Analyse von Bain & Company's Insights wird die Big Data-Marktverteilung von der Industrie im Jahr 2020 so aussehen:

Die Finanzbranche wird die Kosten von Big-Daten in Höhe von 6,4 Milliarden US-Dollar mit einer mittleren Wachstumsrate von 22% pro Jahr ausüben.
Internet-Unternehmen verbringen 2,8 Milliarden US-Dollar und die durchschnittliche Kostenwachstumsrate wird in den nächsten 5 Jahren 26% betragen.
Die Kosten des öffentlichen Sektors werden durch die Kosten von Internetunternehmen proportioniert, aber die Wachstumsrate ist niedriger - 22%;
Der Telekommunikationssektor wächst mit einer durchschnittlichen Wachstumsrate von 40% und erreicht im Jahr 2020 in Höhe von 1,2 Milliarden US-Dollar.

Energieunternehmen investieren in diese Technologien, in diese Technologien ein relativ kleiner Betrag - 800 Millionen US-Dollar, aber die Wachstumsrate wird jedoch eines der höchsten - 54% jährlich sein.
Daher wird der große Anteil des Big Data-Marktes im Jahr 2020 die Finanzbranche des Unternehmens einnehmen, und Energie wird der am schnellsten wachsende Sektor sein.
Nach den Prognosen der Analysten wird das Gesamtmarktvolumen in den kommenden Jahren zunehmen. Das Marktwachstum wird durch die Einführung großer Datentechnologie in Entwicklungsländern der Welt sichergestellt, wie aus dem untenstehenden Zeitplan ersichtlich ist.

Das projizierte Marktvolumen hängt davon ab, wie die Entwicklungsländer große Datentechnologie wahrnehmen werden, unabhängig davon, ob sie auch wie in Industrieländern beliebt sind. Im Jahr 2014 besetzten die Entwicklungsländer der Welt 40% der gesamten angesammelten Informationen. Nach Angaben der Prognose EMC wird sich die derzeitige Marktstruktur mit einer Vorherrschaft der entwickelten Länder bereits 2017 ändern. Laut dem EMC-Analyst im Jahr 2020 wird der Anteil der Entwicklungsländer mehr als 60% betragen.
Laut Cisco und EMC werden die Entwicklungsländer der Welt aktiv mit großen Daten zusammenarbeiten, da sie in vielerlei Hinsicht mit der Verfügbarkeit von Technologie verbunden sind und ausreichende Informationen an große Daten ansammeln. Auf der Karte der auf der nächsten Seite dargestellten Welt wird eine Prognose für einen Anstieg der Volumen- und Wachstumsrate großer Daten nach Region gezeigt.

Analyse des russischen Marktes

Der aktuelle Status des russischen Marktes

Nach den Ergebnissen der Studie von CNEWS Analytics und Oracle ist das Niveau der Reife des russischen Big Data-Marktes im vergangenen Jahr gestiegen. Die Befragten, die 108 große Unternehmen aus verschiedenen Branchen vertreten, haben ein höheres Bewusstsein für diese Technologien sowie das derzeitige Verständnis des Potenzials solcher Lösungen für ihr Geschäft gezeigt.
Seit 2014 wurden in Russland 155 erhebliche Informationen laut IDC angesammelt, was nur 1,8% der globalen Daten beträgt. Die Informationsbetrag bis 2020 wird 980 Exabyte erreichen und dauert 2,2%. Somit beträgt die durchschnittliche Wachstumsrate in der Informationsbetrag 36% pro Jahr.
IDC bewertet den russischen Markt mit 340 Millionen US-Dollar, von denen 100 Millionen US-Dollar - SAP-Lösungen, rund 240 Millionen US-Dollar - ähnliche Lösungen Oracle, IBM, SAS, Microsoft usw. aus.
Die Wachstumsrate des russischen größten Datenträgers beträgt mindestens 50% pro Jahr.
Die Erhaltung der positiven Dynamik in diesem Sektor des russischen IT-Marktes wird vorausgesagt, selbst bei Bedingungen der allgemeinen Stagnation der Wirtschaft. Dies ist darauf zurückzuführen, dass das Geschäft nach wie vor die Nachfrage nach Entscheidungen zur Verbesserung der Arbeitseffizienz sowie der Kostenoptimierung und der Verbesserung der Genauigkeit der Prognose und Minimierung der möglichen Risiken des Unternehmens.
Die wichtigsten Anbieter von Dienstleistungen auf dem Gebiet großer Daten auf dem russischen Markt sind:

Orakel
Microsoft.
Cloudera.
HortonWorks.
Teradata.

Marktübersicht von Industrie und Erfahrung in der Anwendung großer Daten in Unternehmen

In Russland zufolge begannen in Russland nur 10% der Unternehmen, eine große Datentechnologie zu nutzen, wenn der Anteil solcher Unternehmen in der Welt etwa 30% beträgt. Die Bereitschaft für große Datenprojekte wächst in vielen Sektoren der russischen Wirtschaft, die vom Bericht von CNEWS Analytics und Oracle belegt wird. Mehr als ein Drittel der befragten Unternehmen (37%) begann mit großen Datentechnologien zu arbeiten, darunter 20% bereits solche Lösungen, und 17% beginnen mit ihnen zu experimentieren. Der zweite Drittel der Befragten betrachte derzeit eine solche Gelegenheit.

In Russland wird in Russland in der Bankensektor und Telecom beliebt, jedoch in der Gefragung, aber sie sind auch im Bereich der extraktiven Industrie, der Energie, dem Einzelhandel, in Logistikunternehmen und dem öffentlichen Sektor gefragt.
Als nächstes werden Beispiele für die Anwendung großer Daten in russischen Realitäten in Betracht gezogen.

Telekom
Telekommunikationsbetreiber verfügen über eine der voluminösen Datenbanken, mit der sie die tiefgreifendste Analyse der angesammelten Informationen durchführen können.
Eine der Anwendungen großer Datentechnologie besteht darin, die Loyalität von Abonnenten zu steuern.
Der Hauptzweck der Datenanalyse ist es, bestehende Kunden zu halten und neue anzuziehen. Für dieses Unternehmen, der Kundensegmentierung, analysiert ihren Verkehr, bestimmen Sie die soziale Zugehörigkeit des Abonnenten. Neben der Verwendung von Informationen in Marketingzwecken werden in Telekommunikations-Telekommunikationszwecken verwendet, um betrügerische Finanztransaktionen zu verhindern.
Eines der hellen Beispiele dieser Branche ist Vimpelcom. Das Unternehmen wendet große Daten an, um die Servicequalität auf dem Niveau jedes Teilnehmers, der Berichterstattung, der Datenanalyse für die Entwicklung des Netzwerks, der Bekämpfung von Spam und der Personalisierung von Dienstleistungen zu verbessern.

Banken
Experten der Finanzbranche sind ein erheblicher Anteil an Big Data-Benutzern. Eine der erfolgreichen Experimente fand in der Uralbank für Wiederaufbau und Entwicklung statt, wo informationsbasis Begann, um Kunden zu analysieren, begann die Bank spezialisierte Kreditvorschläge, Einlagen und andere Dienstleistungen anzubieten. Im Laufe des Jahres der Verwendung dieser Technologien wuchs das Einzelhandelsportfolio des Unternehmens um 55%.
Eine Alpha Bank analysiert Informationen aus sozialen Netzwerken, Prozessanwendungen für ein Darlehen, analysiert das Verhalten der Website des Unternehmens.
Die Sberbank begann auch mit der Verarbeitung des Datenangebots, um den Kunden segmentierte, betrügerische Maßnahmen, Kreuzverkaufs- und Risikomanagement zu verhindern. In Zukunft ist es geplant, den Service zu verbessern und Kundenaktionen in Echtzeit zu analysieren.
Die All-Russische Regionalentwicklungsbank analysiert das Verhalten von Plastikkarteninhabern. Auf diese Weise können Sie atypische Operationen für einen bestimmten Kunden identifizieren, wodurch die Wahrscheinlichkeit erhöht wird, dass der Diebstahl von Bargeld mit Plastikkarten erkennt.

Einzelhandel
In Russland wurde die große Datentechnologie von Unternehmen sowohl online als auch Offline-Handel eingeführt. Bislang verwendet Big Data nach CNEWS Analytics 20% der Einzelhändler. 75% der Einzelhandelsspezialisten berücksichtigen große Daten, die für die Entwicklung einer Wettbewerbsunternehmens-Förderungsstrategie erforderlich sind. Nach der Einführung einer großen Datentechnologie wächst nach Hadoop-Statistiken nach der Einführung einer großen Datentechnologie in kommerziellen Organisationen um 7-10%.
Spezialisten M.Video sprechen von der Verbesserung der Logistikplanung nach der Umsetzung von SAP HANA, infolge seiner Umsetzung, die Vorbereitung der Jahresberichterstattung hat sich von 10 Tagen auf 3 verringert, ist die Rate der täglichen Datenlast von 3 Stunden auf 30 gesunken Protokoll.
Wikimart nutzt Datentechnologie, um Empfehlungen an Website-Besucher zu bilden.
Einer der ersten Offline-Shops wurde die Analyse großer Daten in Russland eingeführt, die in Russland in Russland war. Mit Hilfe von Big Data begann der Einzelhandel, Informationen über Käufer von Kassenprüfungen zu studieren. Der Einzelhändler sammelt Informationen, um Verhaltensmodelle zusammenzustellen, was es ermöglicht, auf der Ebene der operativen und kommerziellen Aktivitäten vernünftigerweise Entscheidungen zu treffen.

Öl-und Gasindustrie
In dieser Branche ist der Umfang der Verwendung großer Daten ziemlich groß. Während des Mineralabbaus von Subsolen kann eine große Datentechnologie angewendet werden. Mit ihrer Hilfe ist es möglich, den Produktionsprozess und effektivste Wege zu analysieren, um sie zu extrahieren, den Bohrprozess, die Analyse der Rohstoffqualität sowie die Verarbeitung und Vermarktung von Endprodukten zu verfolgen. In Russland sind diese Technologien bereits Transneft und Rosneft geworden.

Staatskörper
In Ländern wie Deutschland, Australien, Spanien, Japan, Brasilien und Pakistan-Technologie von großen Daten werden zur Behebung von Fragen der nationalen Maßstab verwendet. Diese Technologien helfen den Regierungsbehörden effizienter Dienstleistungen der Bevölkerung, bieten zielgerichtete soziale Unterstützung.
In Russland begannen diese Technologien, solche Staatsorgane als Pensionskasse, Bundessteuerdienst und der obligatorischen Krankenversicherungsfonds zu entwickeln. Das Potenzial zur Durchführung von Projekten mit großen Daten ist groß, diese Technologien könnten dazu beitragen, die Qualität der Dienstleistungen zu verbessern, und infolgedessen den Lebensstandard der Bevölkerung.

Logistik und Transport.
Große Daten können auch von Transportunternehmen genutzt werden. Mit Hilfe von Big Data-Technologien können Sie den Parkplatz verfolgen, Kraftstoffkosten berücksichtigen, Kundenanwendungen überwachen.
Die Eisenbahnen führten Big Data-Technologien in Verbindung mit SAP ein. Diese Technologien tragen dazu bei, den Berichtszeitraum von 43,5-fachen (von 14,5 Stunden auf 20 Minuten) zu reduzieren, erhöhen die Genauigkeit der Kostenverteilung 40-mal. Auch große Daten wurden in Planungs- und Tarifregulationsprozesse eingeführt. Die gesamten Unternehmen verwenden mehr als 300 Systeme, die auf SAP-Lösungen basieren, 4 Rechenzentren sind beteiligt, und die Anzahl der Benutzer betrug 220.000.

Hauptfahrer und Marktbegrenzer

Die Entwicklung großer Datentechnologien auf dem russischen Markt ist:

Erhöhte Interesse von den Benutzern auf die Möglichkeiten großer Daten, als Methode zur Erhöhung der Wettbewerbsfähigkeit des Unternehmens;
Entwicklung von Meauf globaler Ebene;
Übertragen von Servern, die persönliche Informationen in das Gebiet Russlands verarbeiten, gemäß dem angenommenen Gesetz über die Lagerung und Verarbeitung personenbezogener Daten;
Implementierung des sektoralen Planes für die Ersetzung des Software-Imports. Dieser Plan beinhaltet staatliche Unterstützung für inländische Softwarehersteller sowie die Bereitstellung von Vorlieben der inländischen IT-Produkte in der Beschaffung für das Staatskonto.
In der neuen wirtschaftlichen Situation wird, als der Dollarsatz fast zweimal gewachsen ist, ein Trend in immer mehr Nutzung russischer Cloud-Dienstleister, eher ausländisch, beobachtet.
Die Schaffung von Technoparks, die die Entwicklung des Informationstechnologiemarktes fördern, einschließlich des Marktes großer Daten;
Staatliches Programm zur Einführung von Gittersystemen, die Basis, für die die Technologie großer Daten verwendet wird.

Die Hauptbarrieren für die Entwicklung großer Daten auf dem russischen Markt sind:

Sicherstellung der Sicherheit und Vertraulichkeit von Daten;
Mangel an qualifiziertem Personal;
Insuffizienz von kumulierten Informationsressourcen zu großen Daten in den meisten russischen Unternehmen;
Die Komplexität der Einführung neuer Technologien in etablierten Informationssystemen von Unternehmen;
Hohe Kosten von Big Data-Technologien, die zu einem begrenzten Unternehmen der Unternehmen führen, der diese Technologie umsetzen kann;
Politische und wirtschaftliche Unsicherheit, die zum Abfluss von Kapital und Einfrieren von Investitionsprojekten in Russland führte;
Die steigenden Preise für importierte Produkte und einen Anstieg der Inflation, je nach IDC, hemmen die Entwicklung des gesamten IT-Marktes.

Prognose des russischen Marktes

Ab heute ist der russische größte Datenträger nicht so beliebt wie in Industrieländern. Die meisten russischen Unternehmen interessieren sich dafür, aber sie werden nicht gelöst, um ihre Fähigkeiten zu nutzen.
Beispiele für große Unternehmen, die bereits von der Verwendung großer Datentechnologie profitiert haben, erweitern das Bewusstsein dieser Technologien.
Analysten haben auch ziemlich optimistische Prognosen in Bezug auf den russischen Markt. IDC ist der Ansicht, dass der Anteil des russischen Marktes für die nächsten 5 Jahre im Gegensatz zum deutschen Markt und Japan steigen wird.
Bis 2020 wächst das Volumen der Big-Daten Russlands von der aktuellen 1,8% bis 2,2% des globalen Datenvolumens. Der Informationsbetrag wird laut EMC von der aktuellen 155 Exabyte bis 980 Exbaytes im Jahr 2020 wachsen.
Im Moment setzt sich die Anhäufung von Informationen auf das Niveau großer Daten in Russland fort.
Laut CNEWS Analytics-Umfrage arbeiten 44% der befragten Unternehmen mit nicht mehr als 100 Terabyte * und nur 13% mit Volumina über 500 Terabyte.

Trotzdem wird der russische Markt nach globalen Trends zunehmen. Der IDC-Markt wird ab 2014 auf 340 Millionen US-Dollar geschätzt.
Die Wachstumsrate des Marktes für die Vorjahre betrug 50% pro Jahr, wenn er auf demselben Niveau bleibt, dann wird 2018 das Marktvolumen von 1,7 Milliarden Dollar erreicht. Der Anteil des russischen Marktes der Welt beträgt etwa 3%, vorausgesetzt, dass er von den aktuellen 1,2% gestiegen ist.

Die aufnehmendsten Zweige zur Verwendung großer Daten in Russland umfassen:

Einzelhandel und Banken, für sie, in erster Linie wichtige Analyse der Kundenbasis, die Bewertung der Wirkung von Marketingkampagnen;
Telekommunikation - Segmentierung der Kundenbasis und der Verkehrsmonetisierung;
Güte - Berichterstattung, Analyse von Anwendungen aus der Bevölkerung usw.;
Ölunternehmen - Überwachung der Arbeit und Planung von Produktion und Umsatz;
Energieunternehmen sind die Erstellung von intelligenten elektrischen Stromsystemen, der operativen Überwachung und Prognose.

In den entwickelten Ländern waren große Daten in den Bereichen Gesundheit, Versicherung, Metallurgie, Internetunternehmen und Fertigungsunternehmen, die höchstwahrscheinlich in naher Zukunft, weit verbreitet waren, russische Unternehmen aus diesen Bereichen auch den Effekt der Implementierung von Big Data und werden diese Technologie anpassen in ihren Branchen.
In Russland sowie in der Welt wird in naher Zukunft ein Trend beobachtet, um Daten, Analyse von Mediendateien und die Entwicklung des Internets der Dinge zu visualisieren.
Trotz der allgemeinen Stagnation der Wirtschaft, in den kommenden Jahren prognostizieren Analysten ein weiteres Wachstum auf dem großen Data-Markt, in erster Linie ist es an der Tatsache, dass die Verwendung großer Datentechnologien seinen Benutzern einen Wettbewerbsvorteil für die Verbesserung der Geschäftswirksamkeit ergibt , zusätzliche Kundenströme anziehen, Risiken minimieren und das Risiko minimieren, um die Implementierung von Datenprognose-Technologien zu minimieren.
So kann der Schluss gezogen werden, dass das große Datensegment in Russland in der Bildungsstufe ist, aber die Nachfrage nach dieser Technologie steigt jedes Jahr an.

Hauptergebnisse Marktanalyse

Weltmarkt

Ende 2014 zeichnet sich der große Data-Markt durch die folgenden Parameter aus:

das Volumen des Marktes betrug 28,5 Milliarden US-Dollar, ein Anstieg von 45% gegenüber dem Vorjahr;
die meisten der Big Data-Markterlöse waren Dienstleistungen von Dienstleistungen, deren Anteil entsprach 40% im Gesamtumsatz;
36% der Umsatzerlöse erhoben Anwendungen und Analysen großer Daten, 17% - Rechenausrüstung und 15% - Datenspeichertechnologie;
in-Memory-Plattformen wie SAP, HANA und Oracle sind am beliebtesten, um die Probleme großer Daten zu lösen.
125% erhöhten die Anzahl der Unternehmen mit umgesetzten Projekten im Bereich Großes Datenmanagement;

Die Marktprognose für die folgenden Jahre ist wie folgt:

im Jahr 2015 wird das Marktvolumen von 38,4 Milliarden US-Dollar in 2020 - 68,7 Milliarden US-Dollar erreicht.
die durchschnittliche Wachstumsrate betrug 16% jährlich;
die durchschnittlichen Kosten des Unternehmens in der großen Datentechnologie beträgt 13,8 Mio. USD für große Unternehmen und 1,6 Mio. USD für kleine und mittlere Unternehmen.
technologien werden die größte Prävalenz in den Kugeln des Kundenservice und des Point-Marketings haben;
im Jahr 2017 wird die globale Struktur des Marktes in Richtung der Prävalenz von Nutzerunternehmen aus Entwicklungsländern ändern.

Russischer Markt

Der russische größte Datennarkt ist auf der Formationsphase, die Ergebnisse von 2014 sehen so aus:

das Marktvolumen erreichte 340 Millionen US-Dollar.
die durchschnittliche Marktwachstumsrate in den Vorjahren betrug in den Vorjahren jährlich 50%;
der Gesamtbetrag der angesammelten Informationen betrug 155 Exabyte;
10% der russischen Firmen wurden mit der Verwendung großer Datentechnologie verwendet.
in der Bankensektor, Telekommunikation, Internetunternehmen und Einzelhandel genossen eine beliebte Technologie der großen Daten.

Die Prognose des russischen Marktes für die kommenden Jahre ist wie folgt:

das Volumen des russischen Marktes im Jahr 2015 wird 500 Millionen US-Dollar erreichen, und 2018 - 1,7 Milliarden US-Dollar;
der Anteil des russischen Marktes der Welt wird 2018 etwa 3% betragen.
die Anzahl der angesammelten Daten im Jahr 2020 beträgt 980 Exabyte;
die Datenmenge erhöht sich auf 2,2% der globalen Daten der Daten im Jahr 2020;
die größte Beliebtheit wird Datenvisualisierungstechnologien, die Analyse von Mediendateien und das Internet der Dinge erwerben.

Nach den Ergebnissen der Analyse kann der Schluss gezogen werden, dass der Big Data-Markt noch in den frühen Entwicklungsstadien ist, und in naher Zukunft werden wir das Wachstum beobachten und die Fähigkeiten dieser Technologien erweitern.

Vielen Dank, dass Sie sich die Zeit genommen haben, um diese Bulk-Arbeit zu lesen, unser Blog abonnieren - versprechen viele neue interessante Publikationen!

Was ist große Daten?

Hauptmerkmale

Der Begriff "Big Data" verursacht viele Streitigkeiten, viele glauben, dass es nur die Menge an angesammelten Informationen bedeutet, aber die technische Seite nicht vergessen, diese Richtung umfasst Speichertechnologien, Berechnungen sowie Dienstleistungen.

Es sei darauf hingewiesen, dass sich die Kugel auf die Verarbeitung einer großen Menge an Informationen bezieht, die schwierig ist, traditionelle Methoden zu verarbeiten *.

Nachfolgend finden Sie eine Vergleichstabelle der traditionellen und großen Datenbasis.

Unter der Einhaltung der oben genannten 5 Bedingungen können die angesammelten Datenvolumina auf die Anzahl der großen zurückzuführen sein.

Der Umfang der Verwendung großer Daten

Es sei auch darauf hingewiesen, dass große Daten eines der am schnellsten wachsenden Bereichen der Informationstechnologien sind, gemäß Statistiken, der Gesamtbetrag der erhaltenen und gespeicherten Daten wird alle 1,2 Jahre verdoppelt.
Für den Zeitraum von 2012 bis 2014 stieg der monatliche Datenbetrag von mobilen Netzwerken um 81%. Laut Cisco-Schätzungen im Jahr 2014 betrug das Volumen des Mobilfunkverkehrs 2.5 Exbaytes (die Einheit der Messung des Informationsbetrags von 10 ^ 18 Standard-Bytes) pro Monat, und bereits 2019 ist es gleich 24.3 Exabyte.
So sind große Daten das bereits etablierte Technologiefeld, auch trotz des relativ jungen Jahren, der in vielen Geschäftsbereichen verteilt ist und eine wichtige Rolle bei der Entwicklung von Unternehmen spielt.

Große Datentechnologie

Technologien zum Sammeln und Prozess großer Daten können in 3 Gruppen unterteilt werden:

Software;
Ausrüstung;
Dienstleistungen.

Die häufigsten Datenverarbeitungsansätze (Software) umfassen:
SQL. - Sprache strukturierter Abfragen, die mit Datenbanken arbeiten können. Mit SQL können Sie die Daten erstellen und ändern, und das entsprechende Datenbankverwaltungssystem ist mit der Steuerung des Datenarrays aktiviert.
Noql. - Der Begriff entschlüsselt als nicht nur SQL (nicht nur SQL). Enthält eine Reihe von Ansätzen, die zur Implementierung einer Datenbank mit Unterscheidung von Modellen, die in traditioneller relationaler DBMs verwendet werden, zur Implementierung von Modellen abzielen. Es ist praktisch, sie mit einer ständig ändernden Datenstruktur zu verwenden. Zum Beispiel zum Sammeln und Speichern von Informationen über sozialen Netzwerken.
Karte verkleinern. - Computerverteilungsmodell. Wird für parallele Rechenrechnung über sehr große Datensätze (Petabytes * oder mehr) verwendet. In der Programmierschnittstelle werden die Nicht-Daten an die Verarbeitung des Programms und das Datenprogramm übertragen. Somit ist die Anforderung ein separates Programm. Das Prinzip des Betriebs besteht in der konsistenten Datenverarbeitung mit zwei Karten- und Reduziermethoden. Die Karte wählt vorläufige Daten aus, reduzieren sie die Aggregate.
Hadoop - Wird verwendet, um Such- und Kontextmechanismen mit hochgeladenen Sites zu implementieren - Facebook, eBay, Amazon usw. Eine Unterscheidungsmerkmale ist, dass das System vor einem Scheitern eines der Clusterknoten geschützt ist, da jeder Block mindestens eine Kopie von die Daten auf dem anderen Knoten.
SAP HANA. - Hochleistungs-NewsQL-Plattform zum Speichern und Verarbeiten von Daten. Bietet hohe Geschwindigkeitsbearbeitungsgeschwindigkeiten. Ein weiteres Unterscheidungsmerkmal ist, dass SAP HANA die Systemlandschaft vereinfacht, wodurch die Kosten für die Unterstützung analytischer Systeme reduziert werden.

Die technologische Ausstattung umfasst:

server;
infrastrukturausrüstung.

Zu den Servern gehören Data Warehouses.
Infrastrukturgeräte umfassen Mittel, um Plattformen, unterbrechungsfreie Stromquellen, Sätze von Serverkonsolen usw. zu erhalten.

Dienstleistungen.
Dienstleistungen umfassen Dienstleistungen für den Aufbau einer Datenbanksystemarchitektur, um die Infrastruktur zu verbessern und den Datenspeicher sicherzustellen.

Anwendung in Branchen.

Telekom
In der Telekommunikationsbranche waren große Daten von zellulären Betreibern weit verbreitet.
Mobile Betreiber in einem Par mit Finanzorganisationen verfügen über eine der größten voluminösen Datenbanken, mit der sie die tiefgreifendste Analyse der angesammelten Informationen durchführen können.
Der Hauptzweck der Datenanalyse ist es, bestehende Kunden zu halten und neue anzuziehen. Für dieses Unternehmen, der Kundensegmentierung, analysiert ihren Verkehr, bestimmen Sie die soziale Zugehörigkeit des Abonnenten.

Neben der Verwendung von großen Daten in Marketingzwecken wird die Technologie verwendet, um betrügerische Finanztransaktionen zu verhindern.

Beispiele für die Verwendung von großen Daten in Unternehmen

Bislang ist es bereits möglich, den Zustand der wichtigsten Knoten, ihres Verschleißgrads, um Kraftstoffkosten und Wartung zu analysieren.

Überprüfung des globalen Marktmarktes

Der derzeitige Zustand des globalen Marktes

Im Jahr 2014 wurden große Daten gemäß dem Datenkollektiv zu einem der Prioritätsbereiche der Investitionsbereiche auf dem Gebiet der Venture-Industrie. Nach Angaben des Informationsportals des Computers ist dies darauf zurückzuführen, dass die Entwicklung dieser Richtung für ihre Benutzer erhebliche Ergebnisse begann. Im vergangenen Jahr stieg die Anzahl der Unternehmen mit umgesetzten Projekten auf dem Gebiet der Verwaltung großer Daten um 125%, das Marktvolumen stieg im Vergleich zu 2013 um 45%.

Der größte Teil der Big Data-Markterlöse, laut Wikibon, im Jahr 2014, belief sich 2014 Service-Services, ihre Anteil betrug 40% im Gesamtumsatz (siehe Abbildung unten):

Wenn Sie große Daten für 2014 auf Subtypen in Betracht ziehen, wird der Markt so aussehen:

Große Daten in verschiedenen Ländern der Welt

Gemäß der CIO-Umfrage entwickelt das Unternehmen aus den Ländern der Asien-Pazifik-Region auch rasch neue Lösungen im Bereich der großen Datenanalyse, sicheren Speicher- und Cloud-Technologien. Lateinamerika ist in Bezug auf die Anzahl der Investitionen in die Entwicklung großer Datentechnologien, vor Europa und den Vereinigten Staaten, an zweiter Stelle.
Als nächstes werden eine Beschreibung und Prognosen der Entwicklung eines großen Datenträgers für mehrere Länder vorgestellt.

Hauptmarkttrends.

Nach Angaben der IDC-Prognosen sehen die Marktentwicklungstrends so aus:

In den nächsten 5 Jahren werden die Kosten für Cloud-Lösungen in der Technologie großer Daten dreimal schneller wachsen als die Kosten für lokale Lösungen. Die Hybridplattformen zum Speichern von Daten werden beliebt.
Das Anwendungswachstum mit komplexer und prognostizierter Analysen, einschließlich Maschinenlernen, wird 2015 beschleunigt, der Markt solcher Anwendungen wächst schneller um 65% schneller als Anwendungen, die keine Prognoseanalysen verwenden.
Die Medienanalyse wird im Jahr 2015 verdreifachen und wird ein wichtiger Treiber für den Wachstumsmarkt für große Datentechnologie.
Die Tendenz, Lösungen einzuführen, um den ständigen Informationsfluss zu analysieren, der auf das Internet der Dinge anwendbar ist.
Bis 2018 interagieren 50% der Benutzer mit Diensten, die auf der kognitiven Berechnung basieren.

Markttreiber und Begrenzer

IDC-Experten wurden 3 große Data-Markttreiber 2015 hervorgehoben:

Die Verteilung des globalen Marktes großer Daten zu den Geschäftskategorien wird so aussehen:

Die Finanzbranche wird die Kosten von Big-Daten in Höhe von 6,4 Milliarden US-Dollar mit einer mittleren Wachstumsrate von 22% pro Jahr ausüben.
Internet-Unternehmen verbringen 2,8 Milliarden US-Dollar und die durchschnittliche Kostenwachstumsrate wird in den nächsten 5 Jahren 26% betragen.
Die Kosten des öffentlichen Sektors werden durch die Kosten von Internetunternehmen proportioniert, aber die Wachstumsrate ist niedriger - 22%;
Der Telekommunikationssektor wächst mit einer durchschnittlichen Wachstumsrate von 40% und erreicht im Jahr 2020 in Höhe von 1,2 Milliarden US-Dollar.

Analyse des russischen Marktes

Orakel
Microsoft.
Cloudera.
HortonWorks.
Teradata.

Marktübersicht von Industrie und Erfahrung in der Anwendung großer Daten in Unternehmen

Banken
Experten der Finanzbranche sind ein erheblicher Anteil an Big Data-Benutzern. Eine der erfolgreichen Experimente fand in der URAL-Bank für Wiederaufbau und Entwicklung statt, in der die Informationsbasis zur Analyse von Kunden anfing, begann die Bank spezialisierte Kreditvorschläge, Einlagen und andere Dienstleistungen anzubieten. Im Laufe des Jahres der Verwendung dieser Technologien wuchs das Einzelhandelsportfolio des Unternehmens um 55%.
Eine Alpha Bank analysiert Informationen aus sozialen Netzwerken, Prozessanwendungen für ein Darlehen, analysiert das Verhalten der Website des Unternehmens.
Die Sberbank begann auch mit der Verarbeitung des Datenangebots, um den Kunden segmentierte, betrügerische Maßnahmen, Kreuzverkaufs- und Risikomanagement zu verhindern. In Zukunft ist es geplant, den Service zu verbessern und Kundenaktionen in Echtzeit zu analysieren.
Die All-Russische Regionalentwicklungsbank analysiert das Verhalten von Plastikkarteninhabern. Auf diese Weise können Sie atypische Operationen für einen bestimmten Kunden identifizieren, wodurch die Wahrscheinlichkeit erhöht wird, dass der Diebstahl von Bargeld mit Plastikkarten erkennt.

Hauptfahrer und Marktbegrenzer

Die Entwicklung großer Datentechnologien auf dem russischen Markt ist:

Erhöhte Interesse von den Benutzern auf die Möglichkeiten großer Daten, als Methode zur Erhöhung der Wettbewerbsfähigkeit des Unternehmens;
Entwicklung von Meauf globaler Ebene;
Übertragen von Servern, die persönliche Informationen in das Gebiet Russlands verarbeiten, gemäß dem angenommenen Gesetz über die Lagerung und Verarbeitung personenbezogener Daten;
Implementierung des sektoralen Planes für die Ersetzung des Software-Imports. Dieser Plan beinhaltet staatliche Unterstützung für inländische Softwarehersteller sowie die Bereitstellung von Vorlieben der inländischen IT-Produkte in der Beschaffung für das Staatskonto.
In der neuen wirtschaftlichen Situation wird, als der Dollarsatz fast zweimal gewachsen ist, ein Trend in immer mehr Nutzung russischer Cloud-Dienstleister, eher ausländisch, beobachtet.
Die Schaffung von Technoparks, die die Entwicklung des Informationstechnologiemarktes fördern, einschließlich des Marktes großer Daten;
Staatliches Programm zur Einführung von Gittersystemen, die Basis, für die die Technologie großer Daten verwendet wird.

Die Hauptbarrieren für die Entwicklung großer Daten auf dem russischen Markt sind:

Sicherstellung der Sicherheit und Vertraulichkeit von Daten;
Mangel an qualifiziertem Personal;
Insuffizienz von kumulierten Informationsressourcen zu großen Daten in den meisten russischen Unternehmen;
Die Komplexität der Einführung neuer Technologien in etablierten Informationssystemen von Unternehmen;
Hohe Kosten von Big Data-Technologien, die zu einem begrenzten Unternehmen der Unternehmen führen, der diese Technologie umsetzen kann;
Politische und wirtschaftliche Unsicherheit, die zum Abfluss von Kapital und Einfrieren von Investitionsprojekten in Russland führte;
Die steigenden Preise für importierte Produkte und einen Anstieg der Inflation, je nach IDC, hemmen die Entwicklung des gesamten IT-Marktes.

Prognose des russischen Marktes

Die aufnehmendsten Zweige zur Verwendung großer Daten in Russland umfassen:

Einzelhandel und Banken, für sie, in erster Linie wichtige Analyse der Kundenbasis, die Bewertung der Wirkung von Marketingkampagnen;
Telekommunikation - Segmentierung der Kundenbasis und der Verkehrsmonetisierung;
Güte - Berichterstattung, Analyse von Anwendungen aus der Bevölkerung usw.;
Ölunternehmen - Überwachung der Arbeit und Planung von Produktion und Umsatz;
Energieunternehmen sind die Erstellung von intelligenten elektrischen Stromsystemen, der operativen Überwachung und Prognose.

Hauptergebnisse Marktanalyse

Weltmarkt

Ende 2014 zeichnet sich der große Data-Markt durch die folgenden Parameter aus:

das Volumen des Marktes betrug 28,5 Milliarden US-Dollar, ein Anstieg von 45% gegenüber dem Vorjahr;
die meisten der Big Data-Markterlöse waren Dienstleistungen von Dienstleistungen, deren Anteil entsprach 40% im Gesamtumsatz;
36% der Umsatzerlöse erhoben Anwendungen und Analysen großer Daten, 17% - Rechenausrüstung und 15% - Datenspeichertechnologie;
in-Memory-Plattformen wie SAP, HANA und Oracle sind am beliebtesten, um die Probleme großer Daten zu lösen.
125% erhöhten die Anzahl der Unternehmen mit umgesetzten Projekten im Bereich Großes Datenmanagement;

Die Marktprognose für die folgenden Jahre ist wie folgt:

im Jahr 2015 wird das Marktvolumen von 38,4 Milliarden US-Dollar in 2020 - 68,7 Milliarden US-Dollar erreicht.
die durchschnittliche Wachstumsrate betrug 16% jährlich;
die durchschnittlichen Kosten des Unternehmens in der großen Datentechnologie beträgt 13,8 Mio. USD für große Unternehmen und 1,6 Mio. USD für kleine und mittlere Unternehmen.
technologien werden die größte Prävalenz in den Kugeln des Kundenservice und des Point-Marketings haben;
im Jahr 2017 wird die globale Struktur des Marktes in Richtung der Prävalenz von Nutzerunternehmen aus Entwicklungsländern ändern.

Russischer Markt

Der russische größte Datennarkt ist auf der Formationsphase, die Ergebnisse von 2014 sehen so aus:

das Marktvolumen erreichte 340 Millionen US-Dollar.
die durchschnittliche Marktwachstumsrate in den Vorjahren betrug in den Vorjahren jährlich 50%;
der Gesamtbetrag der angesammelten Informationen betrug 155 Exabyte;
10% der russischen Firmen wurden mit der Verwendung großer Datentechnologie verwendet.
in der Bankensektor, Telekommunikation, Internetunternehmen und Einzelhandel genossen eine beliebte Technologie der großen Daten.

Die Prognose des russischen Marktes für die kommenden Jahre ist wie folgt:

das Volumen des russischen Marktes im Jahr 2015 wird 500 Millionen US-Dollar erreichen, und 2018 - 1,7 Milliarden US-Dollar;
der Anteil des russischen Marktes der Welt wird 2018 etwa 3% betragen.
die Anzahl der angesammelten Daten im Jahr 2020 beträgt 980 Exabyte;
die Datenmenge erhöht sich auf 2,2% der globalen Daten der Daten im Jahr 2020;
die größte Beliebtheit wird Datenvisualisierungstechnologien, die Analyse von Mediendateien und das Internet der Dinge erwerben.

Vielen Dank, dass Sie sich die Zeit genommen haben, um diese Bulk-Arbeit zu lesen, unser Blog abonnieren - versprechen viele neue interessante Publikationen!

Säule der Lehrer NSU HSE über Mythen und Fälle von Arbeiten mit großen Daten

Zu Lesezeichen

Lehrer der Schule der neuen Medien HSE HSE Konstantin Romanov und Alexander Pyatigorsky, die auch Direktor von Bilains digitaler Transformation ist, schrieb eine Spalte auf wichtige Missverständnisse über große Daten - Beispiele für die Verwendung von Technologie und Werkzeugen. Die Autoren legen nahe, dass die Publikation den Managern dient, dieses Konzept zu verstehen.

Mythen und Missverständnisse über große Daten

Big Data ist kein Marketing

Der Begriff große Daten wurden sehr modisch - es wird in Millionen von Situationen und in Hunderten verschiedener Interpretationen verwendet, die oft nicht zusammenhängt, was es ist. In den Köpfen der Menschen gibt es oft eine Substitution von Konzepten, und große Daten werden mit einem Marketingprodukt verwechselt. Darüber hinaus ist in einigen Unternehmen große Daten Teil der Marketingeinheit. Das Ergebnis der Analyse großer Daten kann in der Tat eine Quelle für Marketingaktivitäten sein, jedoch nicht mehr. Mal sehen, wie es funktioniert.

Wenn wir eine Liste derjenigen identifiziert haben, die Waren in unserem Laden bereits vor zwei Monaten mehr als dreitausend Rubel gekauft haben, und schickten dann einige Anregungen an diese Benutzer, dann ist dies typisch Marketing. Wir leiten ein klares Muster struktureller Daten ab, und wir nutzen es, um den Umsatz zu steigern.

Wenn jedoch CRM-Daten mit Streaming-Informationen beispielsweise von Instagram anschließen und analysieren, werden wir ein Muster finden: eine Person, die seine Aktivität am Mittwochabend reduziert hat und deren neueste Fotos von Kätzchen dargestellt sind, ein bestimmtes Angebot sollte gemacht sein. Dies ist bereits große Daten. Wir fanden Trigger, transferierte es auf Vermarkter, und sie benutzten es zu ihren eigenen Zwecken.

Daraus folgt damit, dass die Technologie in der Regel mit unstrukturierten Daten arbeitet, und wenn die Daten strukturiert sind, sucht das System weiterhin nach versteckten Mustern, die kein Marketing machen.

Big Data ist es nicht

Das zweite Extrem dieser Geschichte: Große Daten werden oft damit verwechselt. Dies ist auf die Tatsache zurückzuführen, dass russische Unternehmen.Es sind in der Regel Fachleute, die Treiber aller Technologien sind, einschließlich großer Daten. Wenn also alles in dieser Abteilung geschieht, scheint es für das gesamte Unternehmen, dass dies einige Art von IT-Aktivitäten ist.

In der Tat gibt es einen radikalen Unterschied: Big Data ist eine Tätigkeit, die darauf abzielt, ein bestimmtes Produkt zu erhalten, das nicht darauf gilt, obwohl es keine Technologie gibt.

Big Data - nicht immer die Sammlung und Analyse von Informationen

Es gibt ein anderes Missverständnis relativ zu großen Daten. Jeder versteht, dass diese Technologie mit großen Datenmengen verbunden ist, aber welche Art von Daten ist gemeint, es ist nicht immer klar. Jeder kann Informationen sammeln und verwenden, jetzt ist es jetzt nicht nur in den Filmen über, sondern auch in jedem, sogar einem sehr kleinen Unternehmen möglich. Die einzige Frage ist genau, was Sie sammeln und wie Sie es mit Nutzen für sich selbst verwenden.

Es sollte jedoch verstanden werden, dass große Datentechnologie keine Sammlung und Analyse von völlig allen Informationen sein wird. Wenn Sie beispielsweise auf sozialen Netzwerken über eine bestimmte Person versammeln, werden er keine großen Daten sein.

Was ist eigentlich große Daten?

Große Daten bestehen aus drei Elementen:

daten;
analytik;
technologien.

Große Daten sind keine dieser Komponenten, sondern ein Bündel aller drei Elemente. Oft ersetzen die Menschen Konzepte: Jemand glaubt, dass große Daten nur Daten sind, jemand - diese Technologie. In der Tat, egal, egal wie viele Daten, die Sie gesammelt haben, werden Sie ohne die erforderlichen Technologien und Analysen nichts mit ihnen machen. Wenn es eine gute Analyse gibt, aber es gibt keine Daten, desto schlechter ist.

Wenn wir über Daten sprechen, sind dies nicht nur Texte, sondern auch alle Fotos, die in Instagram platziert sind, und im Allgemeinen alles, was analysiert und für verschiedene Zwecke und Aufgaben verwendet werden kann. Mit anderen Worten, die Daten werden durch große Mengen an internen und externen Daten verschiedener Strukturen verstanden.

Benötigen Sie auch einen Analyst, da die Aufgabe großer Daten ein paar Muster aufbauen soll. Das heißt, Analytik ist die Identifizierung verborgener Abhängigkeiten und die Suche nach neuen Fragen und Antworten auf der Grundlage der Analyse des gesamten Volumens heterogener Daten. Und große Datensätze stellen Fragen ein, die sich direkt von dieser Datenleistung befinden.

Wenn wir über die Bilder sprechen, sagt die Tatsache, dass Sie Ihr Foto in einem blauen T-Shirt platzieren, nichts. Wenn Sie jedoch ein Foto für die große Datenmodellierung verwenden, ist es herauszufinden, dass Sie jetzt ein Darlehen anbieten sollten, da dieses Verhalten in Ihrer Sozialgruppe ein bestimmtes Phänomen in Aktionen anzeigt. Daher ist "nackte" Daten ohne Analysen, ohne verborgene und nicht offensichtliche Abhängigkeiten zu erkennen, nicht.

Also haben wir große Daten. Ihr Array ist riesig. Wir haben auch einen Analyst. Aber wie man das dieser Rohdaten macht, haben wir eine besondere Entscheidung? Dazu brauchen wir Technologien, mit denen sie nicht nur gelagert werden können (und bevor es unmöglich war), sondern auch analysieren.

Legen Sie einfach ein, wenn Sie viele Daten haben, benötigen Sie beispielsweise Technologien, zum Beispiel Hadoop, mit dem alle Informationen in einem anfänglichen Formular zur späteren Analyse speichern können. Diese Art von Technologie entstand in den Internet-Giganten, da sie der erste der Erste des Problems des Speicherns einer großen Anordnung von Daten und seiner Analyse für die anschließende Monetarisierung stehen.

Zusätzlich zu den Werkzeugen für ein optimierter und günstiger Datenspeicher sind Analytische Instrumente erforderlich, sowie ein Add-In an der verwendeten Plattform. Zum Beispiel wurde ein ganzes Ökosystem aus verwandten Projekten und Technologien bereits um Hadoop gebildet. Hier sind einige von ihnen:

Schwein ist eine deklarative Datenanalysesprache.
Hive - Datenanalyse mit einer Sprache in der Nähe von SQL.
Oozie - Arbeitsfluss in Hadoop.
HBase ist eine Datenbank (nicht relational), Analogon von Google Big Table.
Mahout - Machine Lernen.
SQOOP - Übertragung von Daten von der RSCBD nach Hadoop und umgekehrt.
FLUME - Übertragung von Protokollen in HDFs.
Zookeper, Mrund, Avro, Giraph, Ambel, Cassandra, Hcatalog, Sicherungs-DFS und so weiter.

Alle diese Tools stehen allen kostenlos zur Verfügung, es gibt jedoch eine Reihe von kostenpflichtigen Add-Ons.

Darüber hinaus brauchen Spezialisten: Dies ist ein Entwickler und Analytiker (der sogenannte Datenwissenschaftler). Ein Manager ist auch erforderlich, um zu verstehen, wie dieser Analyst aufgetragen wird, um eine bestimmte Aufgabe zu lösen, da es an sich selbst völlig sinnlos ist, wenn er nicht in Geschäftsprozesse eingebettet ist.

Alle drei Mitarbeiter müssen in einem Team arbeiten. Ein Manager, der einen Spezialisten für die Data Science-Aufgabe gibt, ein bestimmtes Muster zu finden, sollte verstehen, dass es nicht immer das ist, dass es genau das ist, was er braucht. In diesem Fall muss der Anführer sorgfältig hören, welchen Datenwissenschaftler gefunden hat, da er ihn oft interessanter und für das Geschäft findet. Ihre Aufgabe ist es, dies auf Geschäfte anzuwenden und daraus ein Produkt zu erstellen.

Trotz der Tatsache, dass es jetzt viele verschiedene Arten von Maschinen und Technologien gibt, bleibt die endgültige Entscheidung immer für eine Person. Dafür müssen Informationen visualisiert werden. Werkzeuge dafür ziemlich viel.

Das am meisten indikativste Beispiel ist geoanalytische Berichte. Beeline arbeitet viel mit den Regierungen verschiedener Städte und Regionen. Sehr oft bestellen diese Organisationen Berichte über Typ "Transport-Hochladen an einem definierten Ort".

Es ist klar, dass ein solcher Bericht in einer einfachen und verständlichen Form in staatliche Strukturen gelangen sollte. Wenn wir ihnen einen riesigen und völlig unverständlichen Tisch zur Verfügung stellen (dh die Informationen in der Form, in der wir es bekommen), sind sie unwahrscheinlich, dass sie einen solchen Bericht kaufen können - es wird völlig unbrauchbar sein, sie werden diese Kenntnisse nicht mitbringen, dass sie nicht wollte bekommen.

Egal wie gut die Fachkenntnisse der Datentwissenschaft und welche Muster sie finden, dass Sie nicht mit diesen Daten ohne hochwertige Visualisierungswerkzeuge arbeiten können.

Datenquellen

Das Array der erhaltenen Daten ist sehr groß, so dass er in einigen Gruppen unterteilt werden kann.

Interne Datenunternehmen.

Obwohl diese Gruppe 80% der gesammelten Daten enthält, wird diese Quelle nicht immer verwendet. Oft sind dies die Daten, die scheinbar von jedem im Allgemeinen benötigt werden, beispielsweise Protokolle. Wenn Sie sie jedoch in einem anderen Winkel ansehen, können Sie manchmal unerwartete Muster finden.

Bedingungslose freie Quellen

Dies umfasst soziale Netzwerkdaten, das Internet und alles, was Sie eindringen können. Warum bedingt kostenlos? Zum einen stehen diese Daten jedem zur Verfügung, aber wenn Sie ein bedeutendes Unternehmen sind, dann erhalten Sie sie in der Größe der Abonnentenbasis in Zehntausenden, Hunderten oder Millionen von Kunden - bereits keine einfache Aufgabe. Daher gibt es auf dem Markt keine bezahlten Dienstleistungen für die Bereitstellung dieser Daten.

Bezahlte Quellen

Dazu gehören Unternehmen, die Daten für Geld verkaufen. Diese können Telekommunikations-, DMP, Internetunternehmen, Kredithistorie-Büro und Aggregatoren sein. In Russland verkaufen Telekommunikationen keine Daten. Erstens ist es wirtschaftlich unrentabel und zum anderen, das gesetzlich verboten ist. Daher verkaufen sie die Ergebnisse ihrer Verarbeitung, beispielsweise geoanalytische Berichte.

Öffnen Sie Daten

Der Staat geht an das Geschäft und ermöglicht es, die von ihnen sammelten Daten zu verwenden. In einem stärkeren Umfang wird es im Westen entwickelt, aber in dieser Hinsicht Russland hält auch die Zeiten auf. Beispielsweise gibt es ein Portal offener Daten der Regierung von Moskau, wo Informationen auf verschiedenen Objekten der städtischen Infrastruktur veröffentlicht werden.

Für Anwohner und Gäste von Moskau werden Daten in einem Tisch und kartografischem Formular dargestellt, und für Entwickler - in speziellen computerlesbaren Formaten. Während das Projekt in arbeitet begrenzter ModusEntwickelt sich jedoch, was bedeutet, dass auch eine Datenquelle ist, die Sie für Ihre Geschäftsaufgaben verwenden können.

Forschung

Wie bereits erwähnt, besteht die Aufgabe der großen Daten darin, ein Muster zu finden. Häufig können Studien weltweit ein Unterhaltungsort für die Suche nach einer Regelmäßigkeit werden - Sie können ein bestimmtes Ergebnis erhalten und versuchen, eine ähnliche Logik für Ihre eigenen Zwecke anzuwenden.

Big Data ist ein Bereich, in dem nicht alle Gesetze der Mathematik arbeiten. Beispielsweise ist "1" + "1" nicht "2", sondern viel mehr, da beim Mischen von Datenquellen erheblich erhöht werden kann.

Beispiele für Produkte

Viele sind mit dem Spotify-Musikauswahldienst bekannt. Er ist wunderschön, da er nicht nach Benutzern fragt, die sie heute eine Stimmung haben, und es berechnet sie auf der Grundlage der ihm zur Verfügung stehenden Quellen. Er weiß immer, was Sie jetzt brauchen - Jazz oder Heavy Rock. Dies ist ein wesentlicher Unterschied, der ihm Fans bietet und von anderen Diensten unterscheidet.

Solche Produkte werden Sense-Produkte genannt - so spürt es ihren Kunden.

Große Datentechnologie wird in der Automobilindustrie eingesetzt. Zum Beispiel macht es Tesla - in ihrer letztes Modell Es gibt Autopilot. Das Unternehmen strebt ein Auto an, ein Auto zu schaffen, das sich selbst den Passagier aufnehmen wird, wo er braucht. Ohne große Daten ist es unmöglich, denn wenn wir nur die Daten verwenden, die Sie direkt bekommen, als eine Person tut, kann das Auto nicht verbessern.

Wenn wir selbst ein Auto fahren, dann treffen wir mit Hilfe unserer Neuronen Entscheidungen auf der Grundlage einer Vielzahl von Faktoren, die wir nicht einmal bemerken. Zum Beispiel können wir nicht erkennen, warum sie sich entschieden haben, nicht sofort auf dem grünen Licht gaszusetzen, und dann stellt sich heraus, dass die Lösung wahr war - das Auto fegte auf der verrückten Geschwindigkeit, und Sie entkommen dem Unfall.

Sie können auch ein Beispiel für die Verwendung großer Daten im Sport angeben. Im Jahr 2002 beschloss der General Manager des Baseball-Teams Oakland Athletics Billy Bean, das Paradigma zu vernichten, wie man nach Athleten sucht - er wählte und lehrte Spieler "in Zahlen".

In der Regel betrachten die Manager den Erfolg der Spieler, aber in diesem Fall war alles anders - um das Ergebnis zu erzielen, studierte der Manager, in dem der Manager die Kombinationen von Athleten benötigte, und achten auf individuelle Eigenschaften. Darüber hinaus wählte er die Athleten, die sich selbst ein großes Potenzial nicht vorstellen, aber das gesamte Team war so erfolgreich heraus, dass er zwanzig Spiele in Folge gewann.

Director Bennett Miller entfernte anschließend den Film, der dieser Geschichte gewidmet ist, "die Person, die alles verändert hat" in der Führungsrolle mit Brad Pitt.

Big Data-Technologie ist auch in der Finanzsektor nützlich. Niemand auf der Welt kann unabhängig voneinander in der Welt festlegen, ob jemandem jemandem gegeben wird. Um eine Entscheidung zu treffen, wird das Ergebnis durchgeführt, dh ein probabilistisches Modell ist gebaut, das verstanden werden kann, wird diese Person Geld zurückgeben oder nicht. Die Bewertung wird in allen Bühnen verwendet: Es ist beispielsweise möglich, zu berechnen, dass eine Person aufhört, an einem bestimmten Punkt zu bezahlen.

Große Daten ermöglichen es nicht, nicht nur Geld zu verdienen, sondern auch zu retten. Insbesondere hat diese Technologie dem deutschen Arbeitsministerium geholfen, die Kosten der Arbeitslosenqualität um 10 Milliarden Euro zu senken, da nach Analysieren der Informationen deutlich wurde, dass 20% der Vorteile unverdient bezahlt wurden.

Technologien werden auch in der Medizin eingesetzt (insbesondere das ist charakteristisch für Israel). Mit großen Daten können Sie eine viel genauere Analyse angeben, als ein Arzt mit dreißigjährigem Arzt erledigt wird.

Jeder Arzt bei der Diagnose stützt sich nur auf seine eigene Erfahrung. Als dieses Auto tut, stammt es von der Erfahrung von Tausenden solcher Ärzte und allen bestehenden Krankheitsgeschichten. Es berücksichtigt, was das Haus des Patienten aus der Region besteht, in welchem \u200b\u200bBereich das Opfer lebt, was für ein Rauch dort ist und so weiter. Das heißt, es berücksichtigt die Masse der Faktoren, die Ärzte nicht berücksichtigen.

Ein Beispiel für die Verwendung von großen Daten in der Gesundheitsfürsorge kann als Projekt-Artemis-Projekt bezeichnet werden, das ein Toronto-Kinderkrankenhaus einführte. Dies ist ein Informationssystem, das die Daten zu Echtzeit-Babys sammelt und analysiert. Mit dem Gerät können Sie 1260 die Gesundheitsindikatoren jedes Kindes jede Sekunde analysieren. Dieses Projekt richtet sich an die Prognose des instabilen Zustands des Kindes und der Verhütung von Erkrankungen bei Kindern.

Große Daten werden in Russland angewendet: Zum Beispiel kann der "Yandex" verwendet werden. Das Unternehmen, zusammen mit Astrasenekaya und der russischen Gesellschaft der klinischen Onkologie, startete Russco die Ray-Plattform, die für Genetik und Molekularbiologen bestimmt war. Das Projekt ermöglicht es, Krebsdiagnose-Methoden zu verbessern und die Prädisposition an Krebs zu erkennen. Die Plattform wird im Dezember 2016 mit der Arbeit beginnen.

Drucken

Auch interessant:

Der Laptop ist sehr heiß, nachdem Windows 10 den Prozessor stark erwärmt

Welches Netzteil ist von modernen Spiel-PC-CPU-Stromverbindern erforderlich?

Warum der Computer nicht einschaltet und wie Sie feststellen sollen, was pleite

Wir empfehlen das Lesen:

2021-05-23 11:48:12

Warum nicht einen Laptop starten, was soll ich tun?

2021-05-23 11:48:12

HP Laptop nach dem Update lässt sich nicht einschalten

2021-05-23 11:48:12

Was tun, wenn Windows 8 nicht startet

Fortsetzung des Themas:

W-lan

Warum das Ladegerät beim Laden des Telefons erhitzt wird

Zu wissen, warum das Telefon erhitzt wird, kann der Benutzer versuchen, seine Temperatur zu reduzieren. Dies wird dazu beitragen, eines der häufigsten Probleme zu lösen - obwohl er damit konfrontiert ist ...