Anwendungssysteme basierend auf dem Paradigma der großen Daten. Wer braucht es? Große Daten in der Welt

Große Daten. - Dies ist nicht nur die Daten selbst, sondern auch die Technologien für ihre Verarbeitung und Verwendung, Methoden, um die erforderlichen Informationen in großen Arrays zu finden. Das Problem großer Daten bleibt für Systeme, jahrzehntelange, jahrzehntelange, um die unterschiedlichsten Informationen offen und unerlässlich.

Mit diesem Begriff Bindausdruck "Volumen, Geschwindigkeit, Abwechslung" - Die Prinzipien, auf denen die Arbeit mit großen Daten aufgebaut sind. Das ist direkt. menge an Informationen, ihre Bearbeitungsgeschwindigkeit und vielzahl von Informationen.im Array gespeichert. In letzter Zeit begannen die drei Grundprinzipien, einen anderen hinzuzufügen - Wert.Was ist bezeichnet wertwert. Das heißt, es sollte in theoretischem oder praktischem Plan nützlich und notwendig sein, was die Kosten seiner Lagerung und Verarbeitung rechtfertigen würde.

Als Beispiel für eine typische Quelle für große Daten können soziale Netzwerke gebracht werden - jedes Profil oder die öffentliche Seite ist ein kleiner Tropfen des nicht strukturierten Ozeans der Informationen. Darüber hinaus sollte unabhängig von der Anzahl der in einem oder anderen Profil gespeicherten Informationen die Interaktion mit jedem der Benutzer so schnell wie möglich sein.

Große Daten werden in fast jedem Bereich des menschlichen Lebens kontinuierlich angesammelt. Dies beinhaltet alle industriellen Industrie, die entweder mit menschlichen Wechselwirkungen oder mit dem Computing verbunden sind. Dies sind Social-Medien, Medizin und Medizin sowie die Bankensphäre sowie Systeme von Geräten, die zahlreiche Ergebnisse täglicher Berechnungen erhalten. Zum Beispiel astronomische Beobachtungen, meteorologische Informationen und Informationen von den Geräteerfassungsgeräten.

Informationen aus allen möglichen Tracking-Systemen in Echtzeit betreten auch den Server eines bestimmten Unternehmens. Fernsehen und Rundfunk, Anrufe von zellulären Betreibern Anrufen - Die Wechselwirkung von jeder bestimmten Person mit ihnen ist minimal, aber im Aggregat werden alle diese Informationen große Daten.

Die große Datentechnologie ist von Forschung und Handel unerlässlich geworden. Darüber hinaus beginnen sie mit der Erfassung und der Sphäre der öffentlichen Verwaltung - und überall erfordert die Einführung zunehmend effizienter Speichersysteme und manipulierende Informationen.

Zum ersten Mal erschien der Begriff "Big Data" in der Presse im Jahr 2008, als der Herausgeber der Natur Clifford Lynch Magazine einen Artikel über die Entwicklung der zukünftigen Wissenschaft mit Technologien zur Arbeit mit einer großen Anzahl von Daten veröffentlichte. Bis 2009 wurde dieser Begriff nur aus Sicht der wissenschaftlichen Analyse berücksichtigt, aber nach der Freilassung mehrerer Presseartikel begann es, das Konzept großer Daten weit verbreitet zu verwenden, und nutzt es weiterhin in der Gegenwart.

Im Jahr 2010 begannen die ersten Versuche, das zunehmende Problem großer Daten zu bestimmen. Softwareprodukte wurden ausgestellt, deren Aktion gerichtet war, um die Risiken zu minimieren, wenn große Informationsarrays verwendet wurden.

Im Jahr 2011 interessierten sich große Unternehmen wie Microsoft, Oracle, EMC und IBM an großen Daten, sie waren der erste, der große Daten in ihren Entwicklungsstrategien verwendet, und recht erfolgreich.

Universitäten begannen, große Daten als separater Artikel im Jahr 2013 zu studieren. Jetzt gibt es jetzt Probleme in diesem Bereich, nicht nur die Datenwissenschaften, sondern auch in Associates mit Computing-Objekten.

Die Hauptmethoden zum Analysieren und Verarbeiten von Daten können wie folgt zurückgeführt werden:

1. Klasse oder Tiefenverfahren (Data Mining).

Diese Methoden sind ausreichend zahlreich, aber sie werden von einem verbunden: verwendete mathematische Instrumente in Kombination mit Errungenschaften aus dem Bereich der Informationstechnologien.

1. Crowdsourcing.

Mit dieser Technik können Sie Daten gleichzeitig aus mehreren Quellen empfangen, und die Anzahl der neuesten ist praktisch unbegrenzt.

1. A / B-Test.

Von allen Datenmengen wird der Steuersatz von Elementen ausgewählt, das abwechselnd mit anderen ähnlichen Aggregaten verglichen wird, wobei eines der Elemente geändert wurde. Durchführen solcher Tests hilft, die Schwankungen zu bestimmen, welche Parameter den größten Einfluss auf das Steueraggregat haben. Dank der Bändevolumina großer Daten ist es möglich, eine Vielzahl von Iterationen durchzuführen, wobei jeder von ihnen dem höchstmöglichen Ergebnis nähert.

1. Prognoseanalysen.

Experten in diesem Bereich versuchen, im Voraus vorhersagen und zu planen, was ein kontrolliertes Objekt verhält, sich in dieser Situation die vorteilhafteste Lösung anzunehmen.

1. Maschinenlernen (künstliche Intelligenz).

Basierend auf der empirischen Analyse von Informationen und dem anschließenden Bau von selbstlernenden Algorithmen.

1. Netzwerkanalyse.

Die häufigste Methode zum Untersuchen von sozialen Netzwerken - Nach Erhalt statistischer Daten werden die im Gitter erstellten Knoten analysiert, dh Interaktionen zwischen einzelnen Benutzern und ihren Gemeinden.

Als 2017 große Daten etwas Neues und Unbekanntes aufhörten, sank nicht nur nicht nur nicht nur nicht, sondern stärker. Nun machen Experten wetten, dass die Analyse großer Datenmengen nicht nur für riesige Organisationen verfügbar sein wird, sondern auch für kleine und mittlere Geschäftsvertreter. Dieser Ansatz ist geplant, um mit den folgenden Komponenten implementiert zu werden:

• Cloud-Speicher.

Die Lager- und Datenverarbeitung werden schneller und wirtschaftlich - verglichen mit den Kosten für die Aufrechterhaltung ihres eigenen Rechenzentrums und der möglichen Erweiterung des Personals zum Mieten der Wolke erscheint viel günstigere Alternative.

• Mit dunklen Daten.

Die sogenannten "dunklen Daten" - alle nicht sozialen Informationen über ein Unternehmen, das keine wichtige Rolle bei der direkten Verwendung von IT spielt, kann jedoch dazu führen, dass sie zu einem neuen Format zum Speichern von Informationen gelangen.

• Künstliche Intelligenz und tiefes Lernen.

Die Technologie der Lernmaschinen-Intelligenz, die die Struktur und die Arbeit des menschlichen Gehirns nachahmt, da es unmöglich ist, für die Verarbeitung einer großen Menge an ständig ändernden Informationen geeignet zu sein. In diesem Fall wird das Auto dasselbe tun, was eine Person tun müsste, aber die Wahrscheinlichkeit des Fehlers wird erheblich reduziert.

• Blockchain.

Mit dieser Technologie können Sie zahlreiche Internet-Transaktionen, einschließlich internationaler Ebene, beschleunigen und vereinfachen können. Ein weiterer Plus-Blockchain ist, dass dank ihm die Transaktionskosten verringert.

• Selbstbedienung und Preissenkung.

Im Jahr 2017 ist es geplant, "Self-Service-Plattformen" einzuführen. Dies sind kostenlose Plattformen, in denen Vertreter von kleinen und mittleren Unternehmen die von ihnen gespeicherten und systematisierten Daten unabhängig voneinander auswerten können.

Alle Marketingstrategien basieren irgendwie auf der Manipulation von Informationen und Analysen vorhandener Daten. Deshalb kann der Einsatz großer Daten die Weiterentwicklung des Unternehmens vorhersagen und ermöglichen.

Zum Beispiel ermöglicht die RTB-Auktion, die auf der Grundlage großer Daten erzeugt wird, mit der Werbung effizienter nutzen - ein bestimmtes Produkt wird nur von der Gruppe der Benutzer angezeigt, die daran interessiert sind, es zu erwerben.

Was ist der Nutzen der Big Data-Technologie in Marketing und Geschäft von Vorteil?

1. Mit ihrer Hilfe ist es möglich, neue Projekte viel schneller zu erstellen, die bei Käufern wahrscheinlich beliebt wird.
2. Sie helfen, Kundenanforderungen mit bestehendem oder projizierter Service zusammenzusetzen und somit sie zu korrigieren.
3. Die Methoden großer Daten ermöglichen es uns, den Grad der aktuellen Befriedigung aller Benutzer und jedes separat zu bewerten.
4. Eine Erhöhung der Kundenbindung wird durch die Methoden der Verarbeitung großer Daten bereitgestellt.
5. Die Anziehungskraft der Zielgruppe im Internet wird dank der Möglichkeit, große Datenarrays zu steuern.

Zum Beispiel ist eine der beliebtesten Dienstleistungen zur Vorhersage der voraussichtlichen Beliebtheit eines Produkts von Google.trends. Es ist weithin von Vermarktern und Analysten genutzt, sodass sie die Statistiken der Nutzung dieses Produkts in der Vergangenheit und der Prognose für die zukünftige Jahreszeit erhalten können. Dadurch können Führungskräfte von Unternehmen die Verteilung des Werbebudgets effektiver durchführen, welchen Bereich am besten investieren soll.

Beispiele für die Verwendung von großen Daten

Die aktive Einführung von Big Data-Technologien auf den Markt und im modernen Leben begann, nachdem sie weltberühmte Unternehmen begonnen hatten, um Kunden praktisch jeden Punkt des Globus zu haben.

Dies sind soziale Riesen wie Facebook und Google, IBM. Sowie Finanzstrukturen wie Master-Karte, Visum und Bank of America.

Beispielsweise wendet IBM die Methoden großer Daten an die durchgeführten Geldtransaktionen an. Mit ihrer Hilfe wurde es um 15% mehr betrügerische Transaktionen offenbart, was es ermöglichte, den Betrag der geschützten Fonds um 60% zu erhöhen. Probleme wurden auch mit falschen Antworten des Systems gelöst - ihre Zahl sank mehr als die Hälfte.

Visa verwendete in ähnlicher Weise große Daten, um betrügerische Versuche zu verfolgen, um diesen oder diese Operation herzustellen. Aufgrund dessen sparen sie jährlich von einem Leckagen von mehr als 2 Milliarden US-Dollar.

Das deutsche Arbeitsministerium hat es geschafft, die Kosten von 10 Milliarden Euro zu senken, wobei ein System großer Daten einführt, um an der Auslieferung von Arbeitslosenleistungen zu arbeiten. Gleichzeitig ergab es, dass der Fünftel der Bürgerdatenvorteile klonenlos erhält.

Große Daten haben das Spiel und die Gaming-Industrie nicht umgangen. Daher führten die Entwickler der Welt der Tanks ein Studium der Information über alle Spieler und verglichen die verfügbaren Indikatoren ihrer Tätigkeit. Es hat dazu beigetragen, den möglichen zukünftigen Abfluss von Spielern vorherzusagen - sich auf die getroffenen Annahmen zu verlassen, konnten Vertreter der Organisation effektiver mit den Benutzern interagieren.

Auch bekannte Organisationen, die große Daten verwenden, können auch HSBC, Nasdaq, Coca-Cola, Starbucks und AT & T zurücktreten.

Das größte Problem großer Daten ist die Kosten ihrer Verarbeitung. Dies kann sowohl teure Geräte als auch Payroll-Experten enthalten, die große Informationsarrays servieren können. Es ist offensichtlich, dass das Gerät regelmäßig aktualisieren muss, damit er die Mindestleistung nicht mit einer Erhöhung der Datenmenge verliert.

Das zweite Problem ist erneut mit einer großen Anzahl von Informationen verbunden, die verarbeitet werden müssen. Wenn beispielsweise die Studie nicht 2-3 gibt, und die zahlreiche Anzahl von Ergebnissen ist sehr schwer, objektiv zu bleiben und aus dem Gesamtfluss der Daten zuzuweisen, nur solche, die einen echten Effekt auf den Zustand jedes Phänomens haben.

Das Problem der Privatsphäre Big Data. Aufgrund der Tatsache, dass sich die Mehrheit der Kundendienstleistungen an die Online-Datennutzung bewegt, ist es sehr einfach, ein anderes Ziel für Cyberkriminelle zu werden. Selbst einfache Lagerung personenbezogener Daten ohne Internet-Transaktionen können mit unerwünschten Wolkenlagern bis zu den Konsequenzen gebracht werden.

Das Problem des Verlusts von Informationen. Vorsichtsmaßnahmen müssen nicht auf die einfache Einzeldatenreservierung beschränkt sein, sondern mindestens 2-3 Backup-Repository-Kopien. Mit einem Anstieg des Volumens, Komplexität mit Redundanz - und IT-Spezialisten versuchen jedoch, die optimale Lösung für dieses Problem zu finden.

Großer Datentechnologiemarkt in Russland und der Welt

Laut 2014 sind 40% des größten Datenträgers Service Services. Ein bisschen minderwertig (38%) zu diesem Indikatorumsatz von Big Data in Computerhardware. Die restlichen 22% ergibt sich zum Anteil an Software.

Die nützlichsten Produkte der globalen Segmentprodukte zur Lösung der Probleme von Big Data, gemäß statistischen Daten - in Gedächtnis- und NoSQL-Analyseplattformen. 15 bzw. 12 Prozent des Marktes belegen eine analytische Protokolldatei- und Säulen-Plattform. Hadoop / Mapreduce in den Praxis-Kopien mit den Problemen großer Daten ist nicht zu sehr effizient.

Die Ergebnisse der Einführung großer Datentechnologien:

• die Qualität des Kundenservice;
• optimierung der Integration in die Lieferkette;
• optimierung der Planungsorganisation;
• beschleunigung der Interaktion mit Kunden;
• verbesserung der Effizienz der Kundenanfragen;
• reduzierte Servicekosten;
• optimierung der Verarbeitung von Clientanwendungen.

Beste Bücher zu großen Daten

Geeignet für die anfängliche Studie der Technologien zur Verarbeitung großer Daten - es ist einfach und für den Fall einfach und verständlich. Es macht deutlich, wie eine Fülle von Informationen das tägliche Leben und alle seine Kugeln beeinflusst: Wissenschaft, Wirtschaft, Medizin usw. Enthält zahlreiche Illustrationen, die ohne große Anstrengung wahrgenommen werden.

"Einführung in Data Mining", Pang-ning Tang, Michael Steinbach und Vipin Kumar

Auch für Anfängerbuch auf Big Data nützlich, die Arbeit mit großen Daten zum Prinzip von "von einfach zu komplexen" erläutern. Viele nicht markierte Momente in der Anfangsphase sind: Vorbereitung auf die Verarbeitung, Visualisierung, OLAP sowie einige Methoden zur Analyse- und Datenklassifizierung.

Praktischer Leitfaden zur Verwendung großer Daten und arbeiten mit der Python-Programmiersprache. Geeignet für beide Studierende von technischen Spezialitäten und Spezialisten, die ihr Wissen vertiefen möchten.

"Hadoop für Dummies", Dirk Dehrus, Paul S. Zikopulos, Roman B. Melnik

Hadoop ist ein Projekt, das speziell für die Arbeit mit verteilten Programmen erstellt wurde, die die Aktion auf Tausenden von Knoten gleichzeitig organisieren. Die Bekanntschaft mit ihm hilft detaillierter, um die praktische Anwendung großer Daten zu verstehen.

Säule der Lehrer NSU HSE über Mythen und Fälle von Arbeiten mit großen Daten

Zu Lesezeichen

Lehrer der Schule der neuen Medien HSE HSE Konstantin Romanov und Alexander Pyatigorsky, die auch Direktor von Bilains digitaler Transformation ist, schrieb eine Spalte auf wichtige Missverständnisse über große Daten - Beispiele für die Verwendung von Technologie und Werkzeugen. Die Autoren legen nahe, dass die Publikation den Managern dient, dieses Konzept zu verstehen.

Mythen und Missverständnisse über große Daten

Big Data ist kein Marketing

Der Begriff große Daten wurden sehr modisch - es wird in Millionen von Situationen und in Hunderten verschiedener Interpretationen verwendet, die oft nicht zusammenhängt, was es ist. In den Köpfen der Menschen gibt es oft eine Substitution von Konzepten, und große Daten werden mit einem Marketingprodukt verwechselt. Darüber hinaus ist in einigen Unternehmen große Daten Teil der Marketingeinheit. Das Ergebnis der Analyse großer Daten kann in der Tat eine Quelle für Marketingaktivitäten sein, jedoch nicht mehr. Mal sehen, wie es funktioniert.

Wenn wir eine Liste derjenigen identifiziert haben, die Waren in unserem Laden bereits vor zwei Monaten mehr als dreitausend Rubel gekauft haben, und schickten dann einige Anregungen an diese Benutzer, dann ist dies typisch Marketing. Wir leiten ein klares Muster struktureller Daten ab, und wir nutzen es, um den Umsatz zu steigern.

Wenn jedoch CRM-Daten mit Streaming-Informationen beispielsweise von Instagram anschließen und analysieren, werden wir ein Muster finden: eine Person, die seine Aktivität am Mittwochabend reduziert hat und deren neueste Fotos von Kätzchen dargestellt sind, ein bestimmtes Angebot sollte gemacht sein. Dies ist bereits große Daten. Wir fanden Trigger, transferierte es auf Vermarkter, und sie benutzten es zu ihren eigenen Zwecken.

Daraus folgt damit, dass die Technologie in der Regel mit unstrukturierten Daten arbeitet, und wenn die Daten strukturiert sind, sucht das System weiterhin nach versteckten Mustern, die kein Marketing machen.

Big Data ist es nicht

Das zweite Extrem dieser Geschichte: Große Daten werden oft damit verwechselt. Dies ist darauf zurückzuführen, dass in russischen Unternehmen in der Regel die IT-Experten sind, die Treiber aller Technologien sind, einschließlich großer Daten. Wenn also alles in dieser Abteilung geschieht, scheint es für das gesamte Unternehmen, dass dies einige Art von IT-Aktivitäten ist.

In der Tat gibt es einen radikalen Unterschied: Big Data ist eine Tätigkeit, die darauf abzielt, ein bestimmtes Produkt zu erhalten, das nicht darauf gilt, obwohl es keine Technologie gibt.

Big Data - nicht immer die Sammlung und Analyse von Informationen

Es gibt ein anderes Missverständnis relativ zu großen Daten. Jeder versteht, dass diese Technologie mit großen Datenmengen verbunden ist, aber welche Art von Daten ist gemeint, es ist nicht immer klar. Jeder kann Informationen sammeln und verwenden, jetzt ist es jetzt nicht nur in den Filmen über, sondern auch in jedem, sogar einem sehr kleinen Unternehmen möglich. Die einzige Frage ist genau, was Sie sammeln und wie Sie es mit Nutzen für sich selbst verwenden.

Es sollte jedoch verstanden werden, dass große Datentechnologie keine Sammlung und Analyse von völlig allen Informationen sein wird. Wenn Sie beispielsweise auf sozialen Netzwerken über eine bestimmte Person versammeln, werden er keine großen Daten sein.

Was ist eigentlich große Daten?

Große Daten bestehen aus drei Elementen:

• daten;
• analytik;
• technologien.

Große Daten sind keine dieser Komponenten, sondern ein Bündel aller drei Elemente. Oft ersetzen die Menschen Konzepte: Jemand glaubt, dass große Daten nur Daten sind, jemand - diese Technologie. In der Tat, egal, egal wie viele Daten, die Sie gesammelt haben, werden Sie ohne die erforderlichen Technologien und Analysen nichts mit ihnen machen. Wenn es eine gute Analyse gibt, aber es gibt keine Daten, desto schlechter ist.

Wenn wir über Daten sprechen, sind dies nicht nur Texte, sondern auch alle Fotos, die in Instagram platziert sind, und im Allgemeinen alles, was analysiert und für verschiedene Zwecke und Aufgaben verwendet werden kann. Mit anderen Worten, die Daten werden durch große Mengen an internen und externen Daten verschiedener Strukturen verstanden.

Benötigen Sie auch einen Analyst, da die Aufgabe großer Daten ein paar Muster aufbauen soll. Das heißt, Analytik ist die Identifizierung verborgener Abhängigkeiten und die Suche nach neuen Fragen und Antworten auf der Grundlage der Analyse des gesamten Volumens heterogener Daten. Und große Datensätze stellen Fragen ein, die sich direkt von dieser Datenleistung befinden.

Wenn wir über die Bilder sprechen, sagt die Tatsache, dass Sie Ihr Foto in einem blauen T-Shirt platzieren, nichts. Wenn Sie jedoch ein Foto für die große Datenmodellierung verwenden, ist es herauszufinden, dass Sie jetzt ein Darlehen anbieten sollten, da dieses Verhalten in Ihrer Sozialgruppe ein bestimmtes Phänomen in Aktionen anzeigt. Daher ist "nackte" Daten ohne Analysen, ohne verborgene und nicht offensichtliche Abhängigkeiten zu erkennen, nicht.

Also haben wir große Daten. Ihr Array ist riesig. Wir haben auch einen Analyst. Aber wie man das dieser Rohdaten macht, haben wir eine besondere Entscheidung? Dazu brauchen wir Technologien, mit denen sie nicht nur gelagert werden können (und bevor es unmöglich war), sondern auch analysieren.

Legen Sie einfach ein, wenn Sie viele Daten haben, benötigen Sie beispielsweise Technologien, zum Beispiel Hadoop, mit dem alle Informationen in einem anfänglichen Formular zur späteren Analyse speichern können. Diese Art von Technologie entstand in den Internet-Giganten, da sie der erste der Erste des Problems des Speicherns einer großen Anordnung von Daten und seiner Analyse für die anschließende Monetarisierung stehen.

Zusätzlich zu den Werkzeugen für ein optimierter und günstiger Datenspeicher sind Analytische Instrumente erforderlich, sowie ein Add-In an der verwendeten Plattform. Zum Beispiel wurde ein ganzes Ökosystem aus verwandten Projekten und Technologien bereits um Hadoop gebildet. Hier sind einige von ihnen:

• Schwein ist eine deklarative Datenanalysesprache.
• Hive - Datenanalyse mit einer Sprache in der Nähe von SQL.
• Oozie - Arbeitsfluss in Hadaop.
• HBase ist eine Datenbank (nicht relational), Analogon von Google Big Table.
• Mahout - Machine Lernen.
• SQOOP - Übertragung von Daten von der RSCBD nach Hadoop und umgekehrt.
• FLUME - Übertragung von Protokollen in HDFs.
• Zookeper, Mrund, Avro, Giraph, Ambel, Cassandra, Hcatalog, Sicherungs-DFS und so weiter.

Alle diese Tools stehen allen kostenlos zur Verfügung, es gibt jedoch eine Reihe von kostenpflichtigen Add-Ons.

Darüber hinaus brauchen Spezialisten: Dies ist ein Entwickler und Analytiker (der sogenannte Datenwissenschaftler). Ein Manager ist auch erforderlich, um zu verstehen, wie dieser Analyst aufgetragen wird, um eine bestimmte Aufgabe zu lösen, da es an sich selbst völlig sinnlos ist, wenn er nicht in Geschäftsprozesse eingebettet ist.

Alle drei Mitarbeiter müssen in einem Team arbeiten. Ein Manager, der einen Spezialisten für die Data Science-Aufgabe gibt, ein bestimmtes Muster zu finden, sollte verstehen, dass es nicht immer das ist, dass es genau das ist, was er braucht. In diesem Fall muss der Anführer sorgfältig hören, welchen Datenwissenschaftler gefunden hat, da er ihn oft interessanter und für das Geschäft findet. Ihre Aufgabe ist es, dies auf Geschäfte anzuwenden und daraus ein Produkt zu erstellen.

Trotz der Tatsache, dass es jetzt viele verschiedene Arten von Maschinen und Technologien gibt, bleibt die endgültige Entscheidung immer für eine Person. Dafür müssen Informationen visualisiert werden. Werkzeuge dafür ziemlich viel.

Das am meisten indikativste Beispiel ist geoanalytische Berichte. Beeline arbeitet viel mit den Regierungen verschiedener Städte und Regionen. Sehr oft bestellen diese Organisationen Berichte über Typ "Transport-Hochladen an einem definierten Ort".

Es ist klar, dass ein solcher Bericht in einer einfachen und verständlichen Form in staatliche Strukturen gelangen sollte. Wenn wir ihnen einen riesigen und völlig unverständlichen Tisch zur Verfügung stellen (dh die Informationen in der Form, in der wir es bekommen), sind sie unwahrscheinlich, dass sie einen solchen Bericht kaufen können - es wird völlig unbrauchbar sein, sie werden diese Kenntnisse nicht mitbringen, dass sie nicht wollte bekommen.

Egal wie gut die Fachkenntnisse der Datentwissenschaft und welche Muster sie finden, dass Sie nicht mit diesen Daten ohne hochwertige Visualisierungswerkzeuge arbeiten können.

Datenquellen

Das Array der erhaltenen Daten ist sehr groß, so dass er in einigen Gruppen unterteilt werden kann.

Interne Datenunternehmen.

Obwohl diese Gruppe 80% der gesammelten Daten enthält, wird diese Quelle nicht immer verwendet. Oft sind dies die Daten, die scheinbar von jedem im Allgemeinen benötigt werden, beispielsweise Protokolle. Wenn Sie sie jedoch in einem anderen Winkel ansehen, können Sie manchmal unerwartete Muster finden.

Bedingungslose freie Quellen

Dies umfasst soziale Netzwerkdaten, das Internet und alles, was Sie eindringen können. Warum bedingt kostenlos? Einerseits stehen diese Daten jedem zur Verfügung, aber wenn Sie ein großes Unternehmen sind, erhalten Sie sie in der Größe der Teilnehmerbasis in Zehntausenden, Hunderten oder Millionen von Kunden - bereits eine schwierige Aufgabe. Daher gibt es auf dem Markt keine bezahlten Dienstleistungen für die Bereitstellung dieser Daten.

Bezahlte Quellen

Dazu gehören Unternehmen, die Daten für Geld verkaufen. Diese können Telekommunikations-, DMP, Internetunternehmen, Kredithistorie-Büro und Aggregatoren sein. In Russland verkaufen Telekommunikationen keine Daten. Erstens ist es wirtschaftlich unrentabel und zum anderen, das gesetzlich verboten ist. Daher verkaufen sie die Ergebnisse ihrer Verarbeitung, beispielsweise geoanalytische Berichte.

Öffnen Sie Daten

Der Staat geht an das Geschäft und ermöglicht es, die von ihnen sammelten Daten zu verwenden. In einem stärkeren Umfang wird es im Westen entwickelt, aber in dieser Hinsicht Russland hält auch die Zeiten auf. Beispielsweise gibt es ein Portal offener Daten der Regierung von Moskau, wo Informationen auf verschiedenen Objekten der städtischen Infrastruktur veröffentlicht werden.

Für Anwohner und Gäste von Moskau werden Daten in einem Tisch und kartografischem Formular dargestellt, und für Entwickler - in speziellen computerlesbaren Formaten. Während das Projekt im begrenzten Modus arbeitet, entwickelt sich jedoch, was bedeutet, dass auch eine Datenquelle ist, die Sie für Ihre Geschäftsaufgaben verwenden können.

Forschung

Wie bereits erwähnt, besteht die Aufgabe der großen Daten darin, ein Muster zu finden. Häufig können Studien weltweit ein Unterhaltungsort für die Suche nach einer Regelmäßigkeit werden - Sie können ein bestimmtes Ergebnis erhalten und versuchen, eine ähnliche Logik für Ihre eigenen Zwecke anzuwenden.

Big Data ist ein Bereich, in dem nicht alle Gesetze der Mathematik arbeiten. Beispielsweise ist "1" + "1" nicht "2", sondern viel mehr, da beim Mischen von Datenquellen erheblich erhöht werden kann.

Beispiele für Produkte

Viele sind mit dem Spotify-Musikauswahldienst bekannt. Er ist wunderschön, da er nicht nach Benutzern fragt, die sie heute eine Stimmung haben, und es berechnet sie auf der Grundlage der ihm zur Verfügung stehenden Quellen. Er weiß immer, was Sie jetzt brauchen - Jazz oder Heavy Rock. Dies ist ein wesentlicher Unterschied, der ihm Fans bietet und von anderen Diensten unterscheidet.

Solche Produkte werden Sense-Produkte genannt - so spürt es ihren Kunden.

Große Datentechnologie wird in der Automobilindustrie eingesetzt. Zum Beispiel macht es Tesla - es gibt Autopilot in ihrem neuesten Modell. Das Unternehmen strebt ein Auto an, ein Auto zu schaffen, das sich selbst den Passagier aufnehmen wird, wo er braucht. Ohne große Daten ist es unmöglich, denn wenn wir nur die Daten verwenden, die Sie direkt bekommen, als eine Person tut, kann das Auto nicht verbessern.

Wenn wir selbst ein Auto fahren, dann treffen wir mit Hilfe unserer Neuronen Entscheidungen auf der Grundlage einer Vielzahl von Faktoren, die wir nicht einmal bemerken. Zum Beispiel können wir nicht erkennen, warum sie sich entschieden haben, nicht sofort auf dem grünen Licht gaszusetzen, und dann stellt sich heraus, dass die Lösung wahr war - das Auto fegte auf der verrückten Geschwindigkeit, und Sie entkommen dem Unfall.

Sie können auch ein Beispiel für die Verwendung großer Daten im Sport angeben. Im Jahr 2002 beschloss der General Manager des Baseball-Teams Oakland Athletics Billy Bean, das Paradigma zu vernichten, wie man nach Athleten sucht - er wählte und lehrte Spieler "in Zahlen".

In der Regel betrachten die Manager den Erfolg der Spieler, aber in diesem Fall war alles anders - um das Ergebnis zu erzielen, studierte der Manager, in dem der Manager die Kombinationen von Athleten benötigte, und achten auf individuelle Eigenschaften. Darüber hinaus wählte er die Athleten, die sich selbst ein großes Potenzial nicht vorstellen, aber das gesamte Team war so erfolgreich heraus, dass er zwanzig Spiele in Folge gewann.

Director Bennett Miller entfernte anschließend den Film, der dieser Geschichte gewidmet ist, "die Person, die alles verändert hat" in der Führungsrolle mit Brad Pitt.

Big Data-Technologie ist auch in der Finanzsektor nützlich. Niemand auf der Welt kann unabhängig voneinander in der Welt festlegen, ob jemandem jemandem gegeben wird. Um eine Entscheidung zu treffen, wird das Ergebnis durchgeführt, dh ein probabilistisches Modell ist gebaut, das verstanden werden kann, wird diese Person Geld zurückgeben oder nicht. Die Bewertung wird in allen Bühnen verwendet: Es ist beispielsweise möglich, zu berechnen, dass eine Person aufhört, an einem bestimmten Punkt zu bezahlen.

Große Daten ermöglichen es nicht, nicht nur Geld zu verdienen, sondern auch zu retten. Insbesondere hat diese Technologie dem deutschen Arbeitsministerium geholfen, die Kosten der Arbeitslosenqualität um 10 Milliarden Euro zu senken, da nach Analysieren der Informationen deutlich wurde, dass 20% der Vorteile unverdient bezahlt wurden.

Technologien werden auch in der Medizin eingesetzt (insbesondere das ist charakteristisch für Israel). Mit großen Daten können Sie eine viel genauere Analyse angeben, als ein Arzt mit dreißigjährigem Arzt erledigt wird.

Jeder Arzt bei der Diagnose stützt sich nur auf Ihre eigene Erfahrung. Als dieses Auto tut, stammt es von der Erfahrung von Tausenden solcher Ärzte und allen bestehenden Krankheitsgeschichten. Es berücksichtigt, was das Haus des Patienten aus der Region besteht, in welchem \u200b\u200bBereich das Opfer lebt, was für ein Rauch dort ist und so weiter. Das heißt, es berücksichtigt die Masse der Faktoren, die Ärzte nicht berücksichtigen.

Ein Beispiel für die Verwendung von großen Daten in der Gesundheitsfürsorge kann als Projekt-Artemis-Projekt bezeichnet werden, das ein Toronto-Kinderkrankenhaus einführte. Dies ist ein Informationssystem, das die Daten zu Echtzeit-Babys sammelt und analysiert. Mit dem Gerät können Sie 1260 die Gesundheitsindikatoren jedes Kindes jede Sekunde analysieren. Dieses Projekt richtet sich an die Prognose des instabilen Zustands des Kindes und der Verhütung von Erkrankungen bei Kindern.

Große Daten werden in Russland angewendet: Zum Beispiel kann der "Yandex" verwendet werden. Das Unternehmen, zusammen mit Astrasenekaya und der russischen Gesellschaft der klinischen Onkologie, startete Russco die Ray-Plattform, die für Genetik und Molekularbiologen bestimmt war. Das Projekt ermöglicht es, Krebsdiagnose-Methoden zu verbessern und die Prädisposition an Krebs zu erkennen. Die Plattform wird im Dezember 2016 mit der Arbeit beginnen.

Nur Lazy spricht nicht große Daten, aber was es ist und wie es funktioniert - es ist unwahrscheinlich. Beginnen wir mit der einfachsten Terminologie. In russischen, großen Daten sind verschiedene Werkzeuge, Ansätze und Verarbeitungsmethoden sowohl strukturierter als auch unstrukturierter Daten, um sie für bestimmte Aufgaben und Ziele zu verwenden.

Unstrukturierte Daten sind Informationen, die keine vorbestimmte Struktur aufweisen oder in einer bestimmten Reihenfolge nicht organisiert ist.

Der Begriff "Big Data" stellte 2008 den Herausgeber der Zeitschrift Nature Clifford Lynch in einer besonderen Ausgabe, die dem explosiven Wachstum der Weltinformationsvolumina gewidmet ist. Natürlich gab es natürlich große Daten selbst. Laut Experten umfasst die große Datenkategorie die meisten Datenströme über 100 GB pro Tag.

Siehe auch:

Heute, unter diesem einfachen Laufzeit, sind nur zwei Wörter ausgeblendet - Speicher- und Datenverarbeitung.

Big Data - einfache Wörter

In der modernen Welt sind große Daten ein sozioökonomisches Phänomen, das mit der Tatsache verbunden ist, dass neue technologische Fähigkeiten ein riesiges Datenmengen analysieren.

Siehe auch:

Stellen Sie sich einen Supermarkt vor, in dem sich alle Waren nicht in der üblichen Ordnung liegen. Brot neben Obst, Tomatenpaste in der Nähe von Tiefkühlpizza, Flüssigkeit für die Zündung vor dem Rack mit Tampons, auf denen unter anderem Avocado, Tofu oder Shiitake-Pilze steht. Big Data Setzen Sie alles an seiner Stelle und helfen Ihnen, NUTS-Milch zu finden, ermitteln Sie das Kosten- und Verfallsdatum, und auch - wer, neben Ihnen, kauft eine solche Milch und wie es besser ist als eine Kuhmilch.

Kenneth Cucier: Big Data - beste Daten

Technologie Big Data.

Die riesigen Datenvolumina werden verarbeitet, so dass eine Person die spezifischen und notwendigen Ergebnisse für sie für ihre weitere wirksame Verwendung erhalten kann.

Siehe auch:

Tatsächlich sind große Daten eine Lösung für Probleme und eine Alternative zu herkömmlichen Datenmanagementsystemen.

Techniken und Analysemethoden, die auf große Daten von McKinsey anwendbar sind:

• Crowdsourcing;

  Misch- und Datenintegration;

  Maschinelles Lernen;

  Künstliche neurale Netzwerke;

  Mustererkennung;

  Prognoseanalysen;

  Simulation;

  Räumliche Analyse;

  Statistische Analyse;

• Visualisierung analytischer Daten.

Horizontale Skalierbarkeit, die Datenverarbeitung bietet - das Grundprinzip der Verarbeitung großer Daten. Die Daten werden an Computerknoten verteilt, und die Verarbeitung tritt ohne Produktivitätsabbau auf. McKinsey enthielt Relational Control Systems und Business Intelligence in der Anwendbarkeitskontext.

Technologien:

• Noql;
• Karte verkleinern;
• Hadoop;
• Hardwarelösungen.

Siehe auch:

Für große Daten, traditionelle definierende Merkmale, die von der Meta-Gruppe noch im Jahr 2001 erstellt wurden, die " Drei V.»:

1. VOLUMEN. - Die Größe des physischen Volumens.
2. Geschwindigkeit. - Die Wachstumsrate und die Notwendigkeit einer schnellen Datenverarbeitung, um Ergebnisse zu erhalten.
3. Vielfalt. - Die Fähigkeit, verschiedene Datentypen gleichzeitig zu verarbeiten.

Big Data: Anwendung und Funktionen

Die Bände von inhomogenen und schnell ankommenden digitalen Informationen können nicht mit traditionellen Werkzeugen behandelt werden. Mit der Datenanalyse selbst können Sie bestimmte und unauffällige Muster sehen, die eine Person nicht sehen kann. Auf diese Weise können Sie alle Bereiche unseres Lebens optimieren - von der Regierung bis zur Produktion und der Telekommunikation.

Zum Beispiel haben einige Unternehmen ihre Kunden vor einigen Jahren von Betrug verteidigt und das Geld des Kunden sorgt für ihr eigenes Geld.

Susan Etlyger: Wie kann man mit großen Daten umgehen?

Big Data-basierte Lösungen: Sberbank, Beeline und andere Unternehmen

Bilain hat eine große Anzahl von Teilnehmerdaten, die nicht nur mit ihnen zusammenarbeiten, sondern auch analytische Produkte erstellen, wie beispielsweise externer Beratung oder IPTV-Analytik. Die beeline segte die Basis und geschützte Kunden von Kassenbetrug und Viren mit HDFs und Apache-Funken und für die Datenverarbeitung - RapidMiner und Python.

Siehe auch:

Oder erinnern Sie sich an die Sberbank mit ihrem alten Fall, der als Safi genannt wird. Dies ist ein System, das die Fotos analysiert, um die Kunden der Bank zu identifizieren, und verhindert Betrug. Das System wurde 2014 wieder eingeführt, das System basiert auf einem Vergleich von Fotografien von der Basis, die aufgrund von Computervision von Webcams auf Racks da kommt. Die Basis des Systems ist eine biometrische Plattform. Daher verringerte sich Betrugsfälle 10 Mal.

Große Daten in der Welt

Bis 2020 wird die Menschheit nach Prognosen 40-44 Zettabiten von Informationen bilden. Und bis 2025 wird der Bericht des Datenalters 2025 10-mal wachsen, der von IDC-Analysten erstellt wurde. Der Bericht stellt fest, dass die Unternehmen selbst die meisten Daten und nicht normale Verbraucher erzeugt werden.

Forschungsanalysten glauben, dass die Daten zu einem lebenswichtigen Vermögenswert werden, und die Sicherheit ist eine kritische Grundlage im Leben. Die Autoren der Arbeit sind auch zuversichtlich, dass die Technologie die wirtschaftliche Landschaft verändern wird, und der übliche Benutzer kommunizieren ca. 4800-mal täglich mit verbundenen Geräten.

Big Data-Markt in Russland

In der Regel stammen große Daten aus drei Quellen:

• Internet (soziale Netzwerke, Foren, Blogs, Medien und andere Standorte);
• Unternehmensarchive von Dokumenten;
• Anzeigen von Sensoren, Geräten und anderen Geräten.

Große Daten in Banken

Neben dem oben beschriebenen System in der Sberbank-Strategie für 2014-2018. Es wird über die Wichtigkeit der Analyse des Analysierens von Daten Supermaisions für Qualitätskundendienst, Risikomanagement und Kostenoptimierung gesagt. Nun verwendet die Bank große Daten, um Risiken zu kontrollieren, Betrug, Segmentierung und Kreditqualitätsguthaben, Personalmanagement, Vorhersagewarteschlangen in Büros, Berechnung von Boni für Mitarbeiter und andere Aufgaben vorhersagen.

VTB24 genießt große Daten für die Segmentierung und Verwaltung des Kundenabflusses, der Bildung von Abschlüssen, der Analyse des Feedbacks in sozialen Netzwerken und Foren. Dazu greift er Teradata, SAS Visual Analytics und SAS Marketing Optimizer-Lösungen an.

Große Daten (oder große Daten) sind ein Satz von Arbeitsmethoden mit riesigen Mengen strukturierter oder unstrukturierter Informationen. Spezialisten bei der Arbeit mit großen Daten sind in der Verarbeitung und Analyse tätig, um visuelle, wahrgenommene Ergebnisse zu erhalten. Schau mich an, sprach mit Fachleuten und fand heraus, was die Situation mit der Verarbeitung großer Daten in Russland ist, wo und was besser ist, um denjenigen zu lernen, die in diesem Bereich arbeiten wollen.

Alexey Rupin auf den Hauptrichtungen im Bereich großer Daten, Kommunikation mit Kunden und der Welt der Zahlen

Ich studierte am Moskau-Institut für Elektrotechnik. Die Hauptsache, die ich herausnehmen konnte, ist grundlegendes Wissen über Physik und Mathematik. Gleichzeitig arbeitete ich im Forschungs- und Entwicklungszentrum, wo er mit der Entwicklung und Implementierung von noblestatischen kodierenden Algorithmen für die Mittel der geschützten Datenübertragung tätig war. Nach dem Ende des Bachelors betrat ich die Magistratie der Geschäftsinformatik der höheren Wirtschaftsschule. Danach wollte ich in IBs arbeiten. Ich hatte das Glück, dass es damals ein zusätzliches Praktikum in Verbindung mit einer großen Anzahl von Projekten gab, und nach mehreren Interviews begann ich mit der Arbeit bei IBS, einem der größten russischen Unternehmen in diesem Bereich. Drei Jahre lang ging ich vom Zug vor dem Architekten von Unternehmenslösungen weg. Jetzt beteiligte ich mich daran, große Datentechnologien für Kundenunternehmen aus dem Finanz- und Telekommunikationssektor zu entwickeln.

Es gibt zwei Hauptspezialisierungen für Menschen, die mit großen Daten arbeiten möchten: Analysten und IT-Berater, die Technologien für die Arbeit mit großen Daten erstellen. Darüber hinaus können Sie auch über den Beruf des Big Data-Analysts sprechen, d. H. Personen, die direkt mit den Daten mit der IT-Plattform des Kunden zusammenarbeiten. Zuvor waren es gewöhnliche Mathematikanalytiker, die Statistiken und Mathematik wussten und die statistische Software verwenden, um die Datenanalyseaufgaben zu lösen. Heute ist auch neben dem Wissen über Statistiken und Mathematik ein Verständnis der Technologie und eines Lebenszyklus von Daten erforderlich. In dieser Meinung nach ist meiner Meinung nach der Unterschied zwischen den modernen Datenanalyst aus diesen analytischen Analysten, die zuvor waren.

Meine Spezialisierung ist der IT-Beratung, das heißt, ich erfähre und bietet Kunden, wie man Geschäftsaufgaben mit IT-Technologien lösen kann. Menschen kommen mit verschiedenen Erfahrungen zur Beratung, aber die wichtigsten Eigenschaften dieses Berufs sind jedoch die Fähigkeit, die Bedürfnisse des Kunden zu verstehen, den Wunsch, Menschen und Organisationen, gute Kommunikation und Teamkenntnisse zu helfen (da es immer mit dem Kunden arbeitet In einem Team) gute analytische Fähigkeiten. Interne Motivation ist sehr wichtig: Wir arbeiten in einem wettbewerbsintensiven Umfeld, und der Kunde wartet auf ungewöhnliche Lösungen und Interesse an der Arbeit.

Meistens muss ich mit Kunden kommunizieren, um ihre Geschäftsbedürfnisse und Unterstützung bei der Entwicklung der am besten geeigneten technologischen Architektur zu formalisieren. Die Auswahlkriterien haben hier ihre eigenen Funktionen: Neben der Funktionalität und TSO (Gesamtkosten des Eigentums - die Gesamtkosten des Eigentums) sind sehr wichtige, nicht funktionsfähige Anforderungen an das System, ärgerlich ist dies die Antwortzeit, Informationsverarbeitung Zeit. Um den Kunden zu überzeugen, verwenden wir oft den Nachweis des Konzeptansatzes - wir bieten kostenlose Technologie für einige Task, auf ein engeres Datensatz, um sicherzustellen, dass die Technologie funktioniert. Die Entscheidung sollte einen Wettbewerbsvorteil für den Kunden auf Kosten von zusätzlichen Vorteilen (z. B. X-Sell, CRESS SALE) erstellen oder einige Art von Geschäftsproblemen lösen, sagen Sie den hohen Kreditbetrug.

Es wäre viel einfacher, wenn Kunden von der fertigen Aufgabe kamen, Solange sie nicht verstehen, dass eine revolutionäre Technologie erschienen ist, die den Markt für ein paar Jahre ändern kann.

Welche Probleme müssen sich stellen? Der Markt ist nicht bereit, "Big Data" -Technologie zu verwenden. Es wäre viel einfacher, wenn Kunden aus einer fertigen Aufgabe kamen, aber bis sie verstehen, dass eine revolutionäre Technologie für ein paar Jahre den Markt ändern könnte. Deshalb arbeiten wir in der Tat im Startup-Modus - nicht nur Technologie verkaufen, aber jedes Mal, wenn wir Kunden davon überzeugen, dass Sie in diese Lösungen investieren müssen. Dies ist eine solche Visionsstellung - wir zeigen Kunden, wie Sie Ihr Geschäft mit der Anziehungskraft von Daten und damit ändern können. Wir schaffen diesen neuen Markt - den Markt für kommerzielle IT-Beratung im Big-Datenbereich.

Wenn eine Person an der Datenanalyse oder der IT-Beratung im Bereich der großen Daten teilnehmen möchte, ist das erste, was wichtig ist, dass das erste, was wichtig ist, mathematische oder technische Ausbildung mit einer guten mathematischen Vorbereitung. Es ist auch hilfreich, bestimmte Technologien zu meistern, sagen wir SAS, Hadoop, R-Sprache oder IBM-Lösung. Darüber hinaus ist es notwendig, sich aktiv an den Anwendungsaufgaben für große Daten zu interessieren, da sie beispielsweise für eine verbesserte Kreditbewertung in einer Bank oder einem Management des Lebenszyklus des Kunden verwendet werden können. Diese und andere Kenntnisse können aus verfügbaren Quellen erhalten werden: z. B. Cursera und Big Data University. Es gibt auch eine Kundenanalyseinitiative in der Wharton University of Pennsylvania, die viele interessante Materialien veröffentlicht hat.

Ein ernstes Problem für diejenigen, die in unserem Bereich arbeiten möchten, ist ein explizites Mangel an Informationen über große Daten. Sie können nicht in die Buchhandlung oder in die Buchstätte gehen und zum Beispiel eine erschöpfende Spalte von Fällen für alle Anwendungen großer Datentechnologien in Banken erhalten. Es gibt keine solchen Bezugsbücher. Ein Teil der Informationen ist in den Büchern, ein anderer Teil wird bei Konferenzen gesammelt, und an etwas, das Sie sich erreichen müssen.

Ein weiteres Problem ist, dass sich Analysten in der Welt der Zahlen wohl fühlen, aber sie sind im Geschäft nicht immer vertraut. Solche Menschen sind oft introvertiert, es ist schwierig, dass sie kommunizieren, und daher ist es schwierig, dass sie überzeugend, dass Kunden Informationen über Forschungsergebnisse vermitteln können. Für die Entwicklung dieser Fähigkeiten würde ich solche Bücher als "Pyramid-Prinzip" empfehlen, "in Diagrammen sprechen". Sie helfen, Präsentationsfähigkeiten, konfektionell und eindeutig ihre Gedanken zu entwickeln.

Ich war sehr hilfreich für die Teilnahme an verschiedenen Fallmeisterschaften beim Studium bei HSE. Fallmeisterschaften sind intelligente Wettbewerbe für Studenten, in denen Sie Geschäftsprobleme studieren müssen und ihre Entscheidung anbieten. Sie sind zwei Arten: Consulting-Firm-Fallmeisterschaften wie McKinsey, BCG, Accenture sowie unabhängige Fallmeisterschaften von Chaiserge. Während der Beteiligung an ihnen lernte ich, komplexe Aufgaben zu sehen und zu lösen - von der Identifizierung des Problems und seiner Strukturierung des Schutzes der Empfehlungen für seine Lösung.

Oleg Mikhalsky über den russischen Markt und die Besonderheiten des Erstellens eines neuen Produkts im Bereich großer Daten

Bevor ich nach Acronis kam, war ich bereits an der Einführung neuer Produkte an den Markt in anderen Unternehmen tätig. Es ist immer interessant und schwierig gleichzeitig, also war ich sofort an der Möglichkeit interessiert, an Cloud-Services und Speicherlösungen zu arbeiten. In diesem Bereich waren alle meine bisherigen Erfahrungen in der IT-Industrie nützlich, einschließlich eines eigenen Startup-Projekts I-Accelerator. Die Anwesenheit von Business Education (MBA) half auch zusätzlich zum Basistechnik.

In Russland, Großunternehmen - Banken, Mobilfunkbetreiber usw. - müssen Sie große Daten analysieren, also gibt es in unserem Land Perspektiven für diejenigen, die in diesem Bereich arbeiten möchten. Tat, viele Projekte integrieren nun, dh auf der Grundlage ausländischer Entwicklungen oder Open-Source-Technologien. In solchen Projekten werden grundsätzlich neue Ansätze und Technologien nicht erstellt, sondern eher bestehende Entwicklungen sind angepasst. In Acronis gingen wir auf andere Weise und beschlossen, nach der Analyse der bestehenden Alternativen, in unsere eigene Entwicklung zu investieren, um ein System mit zuverlässiger Lagerung für große Daten zu erstellen, das beispielsweise nicht in den Kosten ergibt, beispielsweise Amazon S3, aber es funktioniert jedoch zuverlässig und effizient auf wesentlich kleinerer Maßstab. Die eigene Entwicklung für große Daten gehört auch zu großen Internetunternehmen, sie konzentrieren sich jedoch eher auf interne Bedürfnisse als die Zufriedenheit der Bedürfnisse externer Kunden.

Es ist wichtig, Trends und Wirtschaftskräfte zu verstehen, die den Bereich der Verarbeitung großer Daten beeinflussen. Um dies zu tun, lesen Sie viel, hören Sie die Aufführungen maßgeblicher Spezialisten in der IT-Branche, besuchen Sie thematische Konferenzen. Nun hat fast jede Konferenz einen großen Datenbereich, aber alle sprechen in verschiedenen Winkeln darüber: aus Sicht von Technologie, Wirtschaft oder Marketing. Sie können für Designarbeiten oder Praktikum in der Firma gehen, die bereits Projekte zu diesem Thema durchführt. Wenn Sie in Ihren Fähigkeiten zuversichtlich sind, ist es nicht zu spät, um einen Startup in der Sphäre der großen Daten zu organisieren.

Ohne ständiger Kontakt mit dem Markt Neue Entwicklungsrisiken zu nicht beansprucht

True, wenn Sie für ein neues Produkt verantwortlich sind, geht viel Zeit zur Analyse des Marktes und der Kommunikation mit potenziellen Kunden, Partnern, professionellen Analysten, die viel über Kunden und ihre Bedürfnisse kennen. Ohne ständigen Kontakt mit dem Markt werden die neuen Entwicklungsrisiken nicht beansprucht. Es gibt immer viel Unsicherheit: Sie müssen verstehen, wer die ersten Nutzer (frühe Anwender) werden, die Sie für sie wertvoll haben und dann ein Massenpublikum anziehen. Die zweitwichtigste Aufgabe besteht darin, Entwicklern eine klare und ganzheitliche Vision des Endprodukts zu bilden und zu vermitteln, um sie zu motivieren, in solchen Bedingungen zu arbeiten, wenn sich einige Anforderungen noch ändern können, und Prioritäten hängen von einem Rückmeldungen von den ersten Kunden ab. Daher ist es eine wichtige Aufgabe, Kundenerwartungen auf einer Seite und Entwicklern auf der anderen Seite zu verwalten. So dass weder andere Interesse verloren haben und das Projekt vor der Fertigstellung gebracht haben. Nach dem ersten erfolgreichen Projekt wird es einfacher, und die Hauptaufgabe wird das richtige Wachstumsmodell für das neue Unternehmen finden.

Der Begriff "Big Date" kann heute bereits erkennbar sein, aber es gibt immer noch viel Verwirrung um das, was er wirklich bedeutet. In der Wahrheit entwickelt sich das Konzept ständig und überarbeitet, da er die treibende Kraft vieler laufender digitaler Konvertierungswellen bleibt, einschließlich künstlicher Intelligenz, Datenwissenschaft und Internet der Dinge. Aber was ist die Big-Data-Technologie und wie ändert er unsere Welt? Versuchen wir, das Wesen der Big Date-Technologie zu verstehen, und dass es einfache Worte bedeutet.

Erstaunliches Wachstum großes Datum

Alles begann mit der "Explosion" in der Menge an Daten, die wir von Anfang an erstellt haben, von Anfang an. Dies ist weitgehend auf die Entwicklung von Computern, dem Internet und den Technologien, die in der Lage sind, Daten aus der Welt um uns herum "schnappen können. Daten selbst sind keine neue Erfindung. Selbst vor der Zeit von Computern und Datenbanken verwendeten wir Papieraufzeichnungen von Transaktionen, Clientdatensätzen und Archivdateien, die Daten sind. Computer, insbesondere die Tabellenkalkulationen und Datenbanken, ermöglichen es uns, Daten in großem Umfang einfach zu speichern und zu organisieren. Plötzlich sind die Informationen mit einem Mausklick verfügbar geworden.

Trotzdem haben wir einen langen Weg von den ersten Tabellen und Datenbanken bestanden. Heute schaffen wir alle zwei Tage so viel Daten, als wir von Anfang an bis 2000 von Anfang an bekommen. Das stimmt, alle zwei Tage. Und der Datenbetrag, den wir erstellen, wächst weiterhin schnell; Bis 2020 wird das Volumen der verfügbaren digitalen Informationen um etwa 5 Zettabiten bis zu 20 Zettabiten steigen.

Derzeit lässt fast jede Aktion, die wir übernehmen, Ihre Marke verlässt. Wir generieren Daten, wenn wir in das Internet eingeben, wenn wir unsere mit einem Suchmodul ausgestatteten Smartphones übertragen, wenn wir mit unseren vertrauten über sozialen Netzwerken oder Chats usw. sprechen usw. Darüber hinaus wächst auch die von der Maschine erzeugte Datenmenge schnell. Daten werden generiert und angewendet, wenn unsere intelligenten Home-Geräte Daten miteinander oder mit ihren eigenen Downtown-Servern austauschen. Industrieanlagen in Fabriken und Fabriken werden zunehmend mit Sensoren ausgestattet, die Daten ansammeln und übertragen.

Der Begriff "Big-Data" bezieht sich auf die Sammlung all dieser Daten und unsere Fähigkeit, sie in ihren eigenen Interessen in einer Vielzahl von Gebieten, einschließlich des Geschäfts zu verwenden.

Wie funktioniert Big-Data-Technologie?

Big Datum funktioniert auf dem Prinzip: Je mehr Sie über ein oder ein anderes Thema oder ein anderes Phänomen wissen, desto zuverlässiger können Sie ein neues Verständnis erreichen und vorhersagen, was in der Zukunft passieren wird. Während des Vergleichs einer größeren Anzahl von Datenpunkten entstehen die Beziehungen, die zuvor ausgeblendet waren, und diese Beziehungen können es uns ermöglichen, zu lernen und mehr Entscheidungen zu treffen. Meistens erfolgt dies mit einem Prozess, der Baumodelle basiert auf der Grundlage von Daten basierend auf Daten, die wir sammeln können, und weitere Einführung der Nachahmung, während der die Werte der Datenpunkte jedes Mal konfiguriert und verfolgt werden, wie sie unsere Ergebnisse beeinflussen. Dieser Prozess ist automatisierte - moderne Analytics-Technologien werden Millionen dieser Simulationen starten, um alle möglichen Variablen aufzubauen, bis das Modell findet - oder die Idee, die das Problem löst, über den sie arbeiten.

Bil-Gatter hängen über den Papierinhalt einer Scheibe

Bis vor kurzem waren die Daten auf Tabellenkalkulationen oder Datenbanken beschränkt - und alles war sehr bestellt und ordentlich. Alles, was es unmöglich war, leicht in Reihen und Säulen organisiert zu werden, wurde als zu komplex für die Arbeit angesehen und ignoriert. Der Fortschritt im Bereich der Speicher- und Analysen bedeutet jedoch, dass wir eine Vielzahl von Daten verschiedener Typen beheben, speichern und verarbeiten können. Infolgedessen können die "Daten" alles bedeuten, indem Sie Datenbanken beginnen und mit Fotografien, Video, Aufzeichnungen, schriftlichen Texten und Sensordaten enden.

Um all diese wahllosen detaillierten Daten zu verstehen, verwenden Projekte, die auf Big Datum basieren, häufig ultramoderne Analytik mit der Beteiligung künstlicher Intelligenz und Computerlernen. Teaching Computing-Maschinen, um zu bestimmen, was konkrete Daten ist, beispielsweise durch Erkennen von Bildern oder Verarbeiten einer natürlichen Sprache - wir können ihnen beibringen, dass die Modelle viel schneller und zuverlässigerer und zuverlässigerer sind als wir selbst.

Wie ist das große Datum?

Dieser ständig steigende Informationsfluss auf Sensordaten, Text-, Sprach-, Foto- und Videodaten bedeutet, dass wir nun diese Methoden nutzen können, die vor einigen Jahren nicht eingereicht werden konnten. Dies bringt in jeder Branche kaum revolutionäre Veränderungen in die Welt des Unternehmens. Heute können Unternehmen mit unglaublicher Genauigkeit vorhersagen, welche spezifischen Kundenkategorien der Kunden erwerben möchten, und wann. Big Datum hilft auch, dass Unternehmen ihre Aktivitäten viel effizienter erfüllen.

Selbst außerhalb des Geltungsbereichs von Geschäftsprojekten, die mit Big-Data verbunden sind, helfen bereits, unsere Welt auf verschiedene Weise zu ändern:

• Die Verbesserung der Gesundheitsfürsorge - Medizin, die von Daten verwaltet werden, kann eine riesige Menge an medizinischen Informationen und Bildern für Modelle analysieren, die dazu beitragen können, die Krankheit frühzeitig zu erkennen und neue Medikamente zu entwickeln.
• Prognose und Reaktion auf natürliche und künstliche Katastrophen. Sensordaten können analysiert werden, um vorherzusagen, wo Erdbeben auftreten können, und das menschliche Verhaltensmodell gibt Anweisungen, mit denen Organisationen helfen, Überlebende zu unterstützen. Die Big Date-Technologie wird auch verwendet, um den Flüchtlingsfluss von Hostzonen weltweit zu verfolgen und zu schützen.
• Verbrechen verhindern. Polizeikräfte verwenden zunehmend datenbasierte Strategien, die ihre eigenen Intelligenzinformationen und Informationen aus dem offenen Zugang für eine effizientere Nutzung von Ressourcen einschließen und bei Bedarf abschrecken.

Beste Bücher zu Big Data-Technologie

• Jeder lügt. Suchmaschinen, große Daten und das Internet wissen alles über Sie.
• Große Daten. Alle Technologie in einem Buch.
• Industrie des Glücks. Wie große Daten und neue Technologien helfen Ihnen, Waren und Dienstleistungen Emotionen hinzuzufügen.
• Revolution in Analytik. Verbessern Sie wie in der Big Data ERA Ihr Unternehmen mithilfe von Betriebsanalysen.

Probleme mit Big-Data

Big Datum gibt uns beispiellose Ideen und Chancen, aber auch Probleme und Fragen, die gelöst werden müssen:

• Die Vertraulichkeit der Daten ist große Daten, die wir heute generieren, enthält viele Informationen zu unserem persönlichen Leben, deren Vertraulichkeit, deren Recht recht hat. Wir werden zunehmend und öfter gebeten, das Gleichgewicht zwischen der Anzahl der personenbezogenen Daten zu finden, die wir aufzeigen, und der Komfort, der Anwendungen und Dienstleistungen anbietet, die auf der Verwendung von Big Dates basieren.
• Datenschutz - selbst wenn wir entscheiden, dass wir mit der Tatsache zufrieden sind, dass jemand unsere Daten zu einem bestimmten Zweck hat, können wir ihm durch die Sicherheit und Sicherheit unserer Daten vertrauen?
• Datendiskriminierung - Wenn alle Informationen bekannt sind, ist dies eine akzeptable Diskriminierung von Personen, die auf Daten aus ihrem persönlichen Leben basieren? Wir nutzen bereits Kreditratings, um zu entscheiden, wer Geld nehmen kann, und die Versicherung ist auch weitgehend von den Daten abhängig. Wir sollten davon ausgehen, dass wir detaillierter analysiert und bewertet werden, aber es ist notwendig, darauf zu achten, dass es das Leben dieser Menschen nicht kompliziert, die kleinere Ressourcen haben, und einen eingeschränkten Zugang zu Informationen.

Die Ausführung dieser Aufgaben ist ein wichtiger Bestandteil des Big Datums, und sie müssen Organisationen lösen, die solche Daten verwenden möchten. Die Unfähigkeit, dies durchzuführen, kann das Geschäft anfällig machen, und nicht nur aus Sicht des Rufs, sondern auch aus dem Rechts- und Finanzteil.

Blick in die Zukunft

Die Daten ändern unsere Welt, und unser Leben ist ein beispielloses Tempo. Wenn Big-Data heute all dies in der Lage ist - stellen Sie sich einfach vor, was es für morgen fähig ist. Die für uns verfügbare Datenmenge wird nur steigen, und die Analytics-Technologie wird noch fortgeschrittener.

Für das Geschäft wird die Fähigkeit, ein großes Datum anwenden, in den kommenden Jahren zunehmend entscheidend zu sein. Nur die Unternehmen, die Daten als strategisches Vermögenswert betrachten, werden überleben und blühen. Diejenigen, die dieses Revolutionsrisiko ignorieren, das zurückbleibt.