Συστήματα εφαρμογής που βασίζονται στο πρότυπο των μεγάλων δεδομένων. Ποιος το χρειάζεται; Μεγάλα δεδομένα στον κόσμο
Μεγάλα δεδομένα. - Αυτό δεν είναι μόνο τα ίδια τα δεδομένα, αλλά και οι τεχνολογίες για την επεξεργασία και τη χρήση τους, μέθοδοι για την εξεύρεση των απαραίτητων πληροφοριών σε μεγάλες συστοιχίες. Το πρόβλημα των μεγάλων δεδομένων παραμένει ανοιχτό και ζωτικής σημασίας για τυχόν συστήματα, δεκαετίες συσσώρευσης των πιο διαφορετικών πληροφοριών.
Με αυτόν τον όρο δεσμεύει την έκφραση "Όγκος, ταχύτητα, ποικιλία" - Οι αρχές στις οποίες οι εργασίες είναι χτισμένες με μεγάλα δεδομένα. Αυτό είναι άμεσα Ποσότητα πληροφοριών, Την ταχύτητα επεξεργασίας της και Ποικιλία πληροφοριώναποθηκεύονται στη συστοιχία. Πρόσφατα, οι τρεις βασικές αρχές άρχισαν να προσθέτουν ένα άλλο - αξίαΤι δηλώνεται αξία αξίας. Δηλαδή, θα πρέπει να είναι χρήσιμο και απαραίτητο σε θεωρητικό ή πρακτικό σχέδιο, το οποίο θα δικαιολογούσε το κόστος αποθήκευσης και επεξεργασίας.
Ως παράδειγμα μιας τυπικής πηγής μεγάλων δεδομένων, τα κοινωνικά δίκτυα μπορούν να φέρονται - κάθε προφίλ ή δημόσια σελίδα είναι μία μικρή πτώση του μη δομημένου ωκεανού πληροφοριών. Επιπλέον, ανεξάρτητα από τον αριθμό των πληροφοριών που αποθηκεύονται σε ένα ή ένα άλλο προφίλ, η αλληλεπίδραση με καθένα από τους χρήστες θα πρέπει να είναι όσο το δυνατόν πιο γρήγορα.
Τα μεγάλα δεδομένα συσσωρεύονται συνεχώς σε σχεδόν οποιοδήποτε τομέα της ανθρώπινης ζωής. Αυτό περιλαμβάνει οποιαδήποτε βιομηχανία που σχετίζεται είτε με ανθρώπινες αλληλεπιδράσεις είτε με υπολογιστές. Αυτά είναι τα κοινωνικά μέσα και τα φάρμακα και η τραπεζική σφαίρα, καθώς και τα συστήματα συσκευών που λαμβάνουν πολυάριθμα αποτελέσματα καθημερινών υπολογισμών. Για παράδειγμα, οι αστρονομικές παρατηρήσεις, τις μετεωρολογικές πληροφορίες και πληροφορίες από τις συσκευές ανίχνευσης συσκευών.
Πληροφορίες από όλα τα είδη συστημάτων παρακολούθησης σε πραγματικό χρόνο εισέρχονται επίσης στο διακομιστή μιας συγκεκριμένης εταιρείας. Τηλεόραση και ραδιοτηλεοπτική μετάδοση, οι κλήσεις των κυψελοειδών φορέων εκμετάλλευσης κλήσεις - η αλληλεπίδραση κάθε συγκεκριμένου προσώπου μαζί τους είναι ελάχιστη, αλλά σε σχέση με όλες αυτές τις πληροφορίες γίνεται μεγάλα δεδομένα.
Η μεγάλη τεχνολογία δεδομένων έχει αυξηθεί από την έρευνα και το εμπόριο. Επιπλέον, αρχίζουν να συλλαμβάνουν και η σφαίρα της δημόσιας διοίκησης - και παντού απαιτεί την εισαγωγή όλο και αποτελεσματικά αποτελεσματικά συστήματα αποθήκευσης και χειρισμού πληροφοριών.
Για πρώτη φορά, ο όρος "μεγάλα δεδομένα" εμφανίστηκε στον Τύπο το 2008, όταν ο συντάκτης του Nature Clifford Lynch Magazine κυκλοφόρησε ένα άρθρο σχετικά με την ανάπτυξη της μελλοντικής επιστήμης χρησιμοποιώντας τεχνολογίες για την εργασία με μεγάλο αριθμό δεδομένων. Μέχρι το 2009, ο όρος αυτός εξετάστηκε μόνο από την άποψη της επιστημονικής ανάλυσης, αλλά μετά την απελευθέρωση αρκετών άλλων άρθρων άρχισαν να χρησιμοποιούν ευρέως την έννοια των μεγάλων δεδομένων - και συνεχίζει να το χρησιμοποιεί προς το παρόν.
Το 2010, οι πρώτες προσπάθειες άρχισαν να αποφασίζουν το αυξανόμενο πρόβλημα των μεγάλων δεδομένων. Τα προϊόντα λογισμικού εκδόθηκαν, η δράση των οποίων κατευθύνεται για την ελαχιστοποίηση των κινδύνων κατά τη χρήση τεράστιων συστοιχιών πληροφοριών.
Μέχρι το 2011, μεγάλες εταιρείες όπως η Microsoft, η Oracle, η EMC και η IBM ενδιαφέρονται για μεγάλα δεδομένα, ήταν οι πρώτοι που χρησιμοποιούσαν μεγάλα δεδομένα στις αναπτυξιακές τους στρατηγικές και αρκετά επιτυχώς.
Τα πανεπιστήμια άρχισαν να μελετούν μεγάλα δεδομένα ως ξεχωριστό στοιχείο το 2013 - τώρα υπάρχουν πλέον προβλήματα σε αυτόν τον τομέα, όχι μόνο οι επιστήμες δεδομένων, αλλά και σε συνεργάτες με υπολογιστικά αντικείμενα.
Οι κύριες μέθοδοι ανάλυσης και επεξεργασίας δεδομένων μπορούν να αποδοθούν ως εξής:
- Μέθοδοι κλάσης ή βάθους (εξόρυξη δεδομένων).
Αυτές οι μέθοδοι είναι επαρκώς πολυάριθμες, αλλά είναι ενωμένοι από ένα: χρησιμοποιημένα μαθηματικά μέσα σε συνδυασμό με επιτεύγματα από τον τομέα των τεχνολογιών της πληροφορίας.
- Crowdsourcing.
Αυτή η τεχνική σας επιτρέπει να λαμβάνετε δεδομένα ταυτόχρονα από διάφορες πηγές και ο αριθμός των πρόσφατων είναι πρακτικά απεριόριστος.
- A / B-Testing.
Από το σύνολο των δεδομένων, επιλέγεται το σύνολο ελέγχου στοιχείων, η οποία εναλλάσσεται σε σύγκριση με άλλα παρόμοια συσσωματώματα, όπου ένα από τα στοιχεία άλλαξε. Η διεξαγωγή αυτών των δοκιμών συμβάλλει στον προσδιορισμό των διακυμάνσεων των οποίων οι παράμετροι έχουν το μεγαλύτερο αντίκτυπο στο σύνθημα ελέγχου. Χάρη στους όγκους μεγάλων δεδομένων, είναι δυνατόν να πραγματοποιηθεί ένας τεράστιος αριθμός επαναλήψεων, με καθένα από τα οποία πλησιάζει το υψηλότερο δυνατό αποτέλεσμα.
- Αναλύσεις πρόβλεψης.
Οι εμπειρογνώμονες στον τομέα αυτό προσπαθούν να προ-προβλέψουν εκ των προτέρων και να σχεδιάσουν τι θα συμπεριφερθεί ένα ελεγχόμενο αντικείμενο για να υιοθετήσει την πιο ευεργετική λύση σε αυτή την κατάσταση.
- Μαθησιακή μάθηση (τεχνητή νοημοσύνη).
Με βάση την εμπειρική ανάλυση των πληροφοριών και την επακόλουθη κατασκευή αλγορίθμων αυτο-μάθησης.
- Ανάλυση δικτύου.
Η πιο συνηθισμένη μέθοδος για τη μελέτη των κοινωνικών δικτύων - μετά τη λήψη στατιστικών στοιχείων, οι κόμβοι που δημιουργήθηκαν στο δίκτυο αναλύονται, δηλαδή αλληλεπιδράσεις μεταξύ μεμονωμένων χρηστών και των κοινοτήτων τους.
Το 2017, όταν τα μεγάλα δεδομένα έπαψαν να είναι κάτι καινούργιο και άγνωστο, η σημασία τους όχι μόνο δεν μειώθηκε, αλλά ακόμη περισσότερο αυξήθηκε. Τώρα οι εμπειρογνώμονες κάνουν τα στοιχήματα στο γεγονός ότι η ανάλυση μεγάλων ποσοτήτων δεδομένων θα είναι διαθέσιμη όχι μόνο για γιγαντιαίες οργανώσεις, αλλά και για τους μικρούς και μεσαίους εκπροσώπους των επιχειρήσεων. Αυτή η προσέγγιση σχεδιάζεται να εφαρμοστεί χρησιμοποιώντας τα ακόλουθα συστατικά:
- Αποθήκευση σύννεφων.
Η αποθήκευση και η επεξεργασία δεδομένων γίνονται ταχύτερα και οικονομικά - σε σύγκριση με το κόστος διατήρησης του δικού τους κέντρου δεδομένων και της πιθανής επέκτασης του προσωπικού για την ενοικίαση του νέφους φαίνεται πολύ φθηνότερη εναλλακτική λύση.
- Χρησιμοποιώντας σκοτεινά δεδομένα.
Τα λεγόμενα "σκοτεινά δεδομένα" - όλες οι μη κοινωνικές πληροφορίες σχετικά με μια εταιρεία που δεν παίζει βασικό ρόλο στην άμεση χρήση του, αλλά μπορεί να προκληθεί να μεταβεί σε μια νέα μορφή για την αποθήκευση πληροφοριών.
- Τεχνητή νοημοσύνη και βαθιά μάθηση.
Η τεχνολογία της νοημοσύνης μάθησης, που μιμείται τη δομή και την εργασία του ανθρώπινου εγκεφάλου, καθώς είναι αδύνατο να είναι κατάλληλο για την επεξεργασία ενός μεγάλου ποσού συνεχώς μεταβαλλόμενων πληροφοριών. Σε αυτή την περίπτωση, το αυτοκίνητο θα κάνει το ίδιο πράγμα που θα έπρεπε να κάνει ένα άτομο, αλλά η πιθανότητα του σφάλματος μειώνεται σημαντικά.
- Blockchain.
Αυτή η τεχνολογία σας επιτρέπει να επιταχύνετε και να απλοποιήσετε τις πολυάριθμες συναλλαγές στο Διαδίκτυο, συμπεριλαμβανομένων των διεθνών. Ένα άλλο Plus Blockchain είναι ότι χάρη σε αυτόν μειώνει το κόστος συναλλαγής.
- Αυτοεξυπηρέτηση και μείωση των τιμών.
Το 2017, σχεδιάζεται να εισαγάγει τις "πλατφόρμες αυτοεξυπηρέτησης" - αυτές είναι ελεύθερες πλατφόρμες, όπου οι εκπρόσωποι των μικρών και μεσαίων επιχειρήσεων θα μπορούν να αξιολογούν ανεξάρτητα τα δεδομένα που τα αποθηκεύουν και τα συστηματοποιούνται.
Όλες οι στρατηγικές μάρκετινγκ βασίζονται κατά κάποιον τρόπο σε χειρισμό πληροφοριών και ανάλυσης των υφιστάμενων δεδομένων. Αυτός είναι ο λόγος για τον οποίο η χρήση μεγάλων δεδομένων μπορεί να προβλέψει και να επιτρέψει την περαιτέρω ανάπτυξη της εταιρείας.
Για παράδειγμα, η δημοπρασία RTB που δημιουργήθηκε με βάση τα μεγάλα δεδομένα σάς επιτρέπει να χρησιμοποιείτε πιο αποτελεσματικά τη διαφήμιση - ένα συγκεκριμένο προϊόν θα εμφανιστεί μόνο από την ομάδα χρηστών που ενδιαφέρονται να την αποκτήσουν.
Ποιο είναι το ευεργετικό για τη χρήση της μεγάλης τεχνολογίας δεδομένων στο μάρκετινγκ και τις επιχειρήσεις;
- Με τη βοήθειά τους, είναι δυνατόν να δημιουργηθούν νέα έργα πολύ ταχύτερα, τα οποία είναι πιθανό να γίνουν δημοφιλή μεταξύ των αγοραστών.
- Βοηθούν να σχετίζονται με τις απαιτήσεις των πελατών με την υπάρχουσα ή προβλεπόμενη εξυπηρέτηση και έτσι να τα διορθώσει.
- Μέθοδοι μεγάλων δεδομένων μας επιτρέπουν να αξιολογήσουμε το βαθμό τρέχουσας ικανοποίησης όλων των χρηστών και κάθε ξεχωριστά.
- Η αύξηση της πίστης του πελάτη παρέχεται από τις μεθόδους επεξεργασίας μεγάλων δεδομένων.
- Η έλξη του ακροατηρίου-στόχου στο Διαδίκτυο γίνεται ευκολότερη χάρη στην ικανότητα ελέγχου τεράστιων συστοιχιών δεδομένων.
Για παράδειγμα, μία από τις πιο δημοφιλείς υπηρεσίες για την πρόβλεψη της πιθανής δημοτικότητας ενός προϊόντος είναι το Google.Trends. Χρησιμοποιείται ευρέως από τους εμπόρους και τους αναλυτές, επιτρέποντάς τους να λάβουν τα στατιστικά στοιχεία της χρήσης αυτού του προϊόντος στο παρελθόν και την πρόβλεψη για τη μελλοντική σεζόν. Αυτό επιτρέπει στελέχη εταιρειών να διεξάγουν αποτελεσματικότερα τη διανομή του προϋπολογισμού διαφήμισης, καθορίζουν ποια περιοχή είναι καλύτερο να επενδύσουμε.
Παραδείγματα χρήσης μεγάλων δεδομένων
Η ενεργή εισαγωγή μεγάλων τεχνολογιών δεδομένων στην αγορά και στη σύγχρονη ζωή άρχισε αμέσως αφού άρχισαν να απολαμβάνουν παγκοσμίου φήμης εταιρείες που έχουν πελάτες πρακτικά κάθε σημείο της σφαίρας.
Αυτοί είναι κοινωνικοί γίγαντες όπως το Facebook και το Google, η IBM, καθώς και οι οικονομικές δομές όπως η Master Card, η Visa και η Τράπεζα της Αμερικής.
Για παράδειγμα, η IBM εφαρμόζει τις μεθόδους μεγάλων δεδομένων στις συναλλαγές χρημάτων που διεξάγονται. Με τη βοήθειά τους, αποκαλύφθηκε κατά 15% περισσότερες δόλιες συναλλαγές, οι οποίες κατέστησαν δυνατή την αύξηση του ποσού των προστατευόμενων κεφαλαίων κατά 60%. Προβλήματα λύθηκαν επίσης με ψευδείς απαντήσεις του συστήματος - ο αριθμός τους μειώθηκε περισσότερο από το ήμισυ.
Η Visa χρησιμοποίησε παρόμοια μεγάλα δεδομένα, παρακολούθηση δόλιων προσπαθειών για την παραγωγή αυτής ή αυτή τη λειτουργία. Λόγω αυτού, ετησίως εξοικονομούν από διαρροή άνω των 2 δισεκατομμυρίων δολαρίων.
Το γερμανικό Υπουργείο Εργασίας κατάφερε να μειώσει το κόστος των 10 δισεκατομμυρίων ευρώ, εισάγοντας ένα σύστημα μεγάλων δεδομένων για την εργασία σχετικά με την έκδοση των παροχών ανεργίας. Ταυτόχρονα, αποκαλύφθηκε ότι το πέμπτο των παροχών των δεδομένων των πολιτών λαμβάνει σημαντικά.
Τα μεγάλα δεδομένα δεν παρακάμπτουν το παιχνίδι και τη βιομηχανία τυχερών παιχνιδιών. Έτσι, οι προγραμματιστές του κόσμου των δεξαμενών διεξήγαγαν μελέτη πληροφοριών σχετικά με όλους τους παίκτες και συνέκριναν τους διαθέσιμους δείκτες της δραστηριότητάς τους. Βοήθησε να προβλέψει την πιθανή μελλοντική εκροή παικτών - βασιζόμενη στις υποθέσεις που έγιναν, οι εκπρόσωποι της οργάνωσης ήταν σε θέση να αλληλεπιδρούν αποτελεσματικότερα με τους χρήστες.
Επίσης γνωστές οργανώσεις που χρησιμοποιούν μεγάλα δεδομένα μπορούν επίσης να αποδοθούν στο HSBC, Nasdaq, Coca-Cola, Starbucks και AT & T.
Το μεγαλύτερο πρόβλημα των μεγάλων δεδομένων είναι το κόστος της επεξεργασίας τους. Αυτό μπορεί να περιλαμβάνει τόσο ακριβό εξοπλισμό όσο και εμπειρογνώμονες μισθοδοσίας, ικανό να εξυπηρετήσει τεράστιες συστοιχίες πληροφοριών. Είναι προφανές ότι ο εξοπλισμός θα πρέπει να ενημερώνει τακτικά έτσι ώστε να μην χάσει την ελάχιστη απόδοση με αύξηση του ποσού των δεδομένων.
Το δεύτερο πρόβλημα συνδέεται και πάλι με μεγάλο αριθμό πληροφοριών που πρέπει να υποβληθούν σε επεξεργασία. Εάν, για παράδειγμα, η μελέτη δεν παρέχει 2-3 και ο πολυάριθμος αριθμός αποτελεσμάτων είναι πολύ δύσκολο να παραμείνει αντικειμενικός και να διαθέσει από τη συνολική ροή δεδομένων μόνο εκείνων που θα έχουν πραγματικό αποτέλεσμα στην κατάσταση οποιουδήποτε φαινομένου.
Το πρόβλημα των μεγάλων δεδομένων απορρήτου. Λόγω του γεγονότος ότι η πλειοψηφία των υπηρεσιών εξυπηρέτησης πελατών μετακινείται στη χρήση δεδομένων στο διαδίκτυο, είναι πολύ εύκολο να γίνει ένας άλλος στόχος για τον κυβερνοχώρο. Ακόμη και η απλή αποθήκευση προσωπικών πληροφοριών χωρίς να κάνει συναλλαγές Διαδικτύου μπορεί να είναι γεμάτη με ανεπιθύμητες αποθήκες σύννεφων στις συνέπειες.
Το πρόβλημα της απώλειας πληροφοριών. Οι προφυλάξεις απαιτούνται να μην περιορίζονται σε απλή ενιαία κράτηση δεδομένων, αλλά να κάνουν τουλάχιστον 2-3 αντιγράφων αντιγράφων αντιγράφων ασφαλείας. Ωστόσο, με αύξηση του όγκου, πολυπλοκότητα με πλεονασμό - και οι ειδικοί πληροφορικής προσπαθούν να βρουν τη βέλτιστη λύση σε αυτό το πρόβλημα.
Μεγάλη αγορά τεχνολογίας δεδομένων στη Ρωσία και τον κόσμο
Σύμφωνα με το 2014, το 40% της μεγαλύτερης αγοράς δεδομένων είναι υπηρεσίες εξυπηρέτησης. Λίγο κατώτερο (38%) σε αυτό το έσοδο δείκτη από τη χρήση μεγάλων δεδομένων στο υλικό του υπολογιστή. Το υπόλοιπο 22% έρχεται στο μερίδιο του λογισμικού.
Τα πιο χρήσιμα προϊόντα στα προϊόντα του παγκόσμιου τμήματος για την επίλυση των προβλημάτων μεγάλων δεδομένων, σύμφωνα με στατιστικά στοιχεία - αναλυτικές πλατφόρμες στη μνήμη και η NOSQL. 15 και 12 τοις εκατό της αγοράς, αντίστοιχα, καταλαμβάνουν ένα αναλυτικό αρχείο καταγραφής και μια στήλη πλατφόρμα. Αλλά ο Hadoop / Mapreduce στην πράξη αγχώστες με τα προβλήματα μεγάλων δεδομένων δεν είναι πολύ αποτελεσματική.
Τα αποτελέσματα της εισαγωγής μεγάλων τεχνολογιών δεδομένων:
- την ποιότητα της υπηρεσίας πελάτη ·
- Βελτιστοποίηση της ολοκλήρωσης στην αλυσίδα εφοδιασμού.
- Βελτιστοποίηση του Οργανισμού Σχεδιασμού.
- Επιτάχυνση της αλληλεπίδρασης με τους πελάτες ·
- βελτίωση της αποτελεσματικότητας των αιτήσεων πελατών ·
- μειωμένο κόστος υπηρεσίας ·
- Βελτιστοποίηση των εφαρμογών επεξεργασίας πελατών.
Τα καλύτερα βιβλία σε μεγάλα δεδομένα
Κατάλληλο για την αρχική μελέτη των τεχνολογιών για την επεξεργασία μεγάλων δεδομένων - είναι εύκολο και κατανοητό στην περίπτωση. Κάνει σαφές πώς μια αφθονία πληροφοριών επηρέασε την καθημερινή ζωή και όλες τις σφαίρες της: η επιστήμη, η επιχείρηση, η ιατρική κ.λπ. περιέχει πολλές απεικονίσεις, έτσι αντιληπτές χωρίς μεγάλη προσπάθεια.
"Εισαγωγή στη εξόρυξη δεδομένων", Pang-Ning Tang, Michael Steinbach και Vipin Kumar
Επίσης χρήσιμες για το βιβλίο αρχαρίων σε μεγάλα δεδομένα, εξηγώντας την εργασία με μεγάλα δεδομένα σχετικά με την αρχή του "από απλό έως σύνθετο". Πολλές στιγμές με μη σημαίες στο αρχικό στάδιο είναι: προετοιμασία για επεξεργασία, οπτικοποίηση, OLAP, καθώς και ορισμένες μεθόδους ανάλυσης και ταξινόμησης δεδομένων.
Πρακτικός οδηγός για τη χρήση μεγάλων δεδομένων και να συνεργαστεί μαζί τους χρησιμοποιώντας τη γλώσσα προγραμματισμού Python. Κατάλληλο για τους δύο φοιτητές της μηχανικής σπεσιαλιτέ και ειδικοί που θέλουν να εμβαθύνουν τις γνώσεις τους.
"Hadoop για ανδρείκελα", Dirk Dehrus, Paul S. Zikopulos, Roman B. Melnik
Το Hadoop είναι ένα έργο που δημιουργείται ειδικά για να συνεργαστεί με κατανεμημένα προγράμματα που οργανώνουν την ενέργεια σε χιλιάδες κόμβους ταυτόχρονα. Η γνωριμία μαζί του θα βοηθήσει λεπτομερέστερα να κατανοήσουν την πρακτική εφαρμογή μεγάλων δεδομένων.
Στήλη των εκπαιδευτικών NSU HSE για τους μύθους και τις περιπτώσεις εργασίας με μεγάλα δεδομένα
Σε σελιδοδείκτες
Οι εκπαιδευτικοί της Σχολής Νέων ΜΜΕ HSE HSE KONSTANTIN ROMANOV και ο Αλέξανδρος Πιατιγόρκι, ο οποίος είναι επίσης διευθυντής του ψηφιακού μετασχηματισμού του Bilain, έγραψε μια στήλη σε μεγάλες παρανοήσεις σχετικά με μεγάλα δεδομένα - παραδείγματα χρήσης της τεχνολογίας και των εργαλείων. Οι συγγραφείς δείχνουν ότι η δημοσίευση θα βοηθήσει τους διαχειριστές να κατανοήσουν αυτή την έννοια.
Μύθοι και παρανοήσεις για μεγάλα δεδομένα
Τα μεγάλα δεδομένα δεν είναι μάρκετινγκ
Ο όρος μεγάλα δεδομένα έγινε πολύ μοντέρνα - χρησιμοποιείται σε εκατομμύρια καταστάσεις και σε εκατοντάδες διαφορετικές ερμηνείες, συχνά δεν σχετίζονται με το τι είναι. Συχνά στα κεφάλια των ανθρώπων υπάρχει μια υποκατάσταση των εννοιών και τα μεγάλα δεδομένα συγχέονται με ένα προϊόν μάρκετινγκ. Επιπλέον, σε ορισμένες εταιρείες τα μεγάλα δεδομένα αποτελούν μέρος της μονάδας μάρκετινγκ. Το αποτέλεσμα της ανάλυσης μεγάλων δεδομένων μπορεί πράγματι να αποτελέσει πηγή δραστηριότητας μάρκετινγκ, αλλά όχι πια. Ας δούμε πώς λειτουργεί.
Εάν έχουμε εντοπίσει μια λίστα με εκείνους που αγόρασαν αγαθά στο κατάστημά μας περισσότερο από τρεις χιλιάδες ρούβλια πριν από δύο μήνες και στη συνέχεια έστειλαν κάποιες προτάσεις σε αυτούς τους χρήστες, τότε αυτό είναι τυπικό μάρκετινγκ. Αντιμετωπίζουμε ένα σαφές πρότυπο διαρθρωτικών δεδομένων και το χρησιμοποιούμε για να αυξήσουμε τις πωλήσεις.
Ωστόσο, αν συνδέσουμε τα δεδομένα CRM με πληροφορίες συνεχούς ροής, για παράδειγμα, από το Instagram, και την αναλύσουμε, θα βρούμε ένα πρότυπο: ένα άτομο που έχει μειώσει τη δραστηριότητά της την Τετάρτη το βράδυ και των οποίων οι τελευταίες φωτογραφίες απεικονίζονται από τα γατάκια, θα πρέπει να γίνει. Αυτό θα είναι ήδη μεγάλα δεδομένα. Βρήκαμε την ενεργοποίηση, το μεταφέρθηκε στους εμπόρους και το χρησιμοποίησαν για δικούς τους σκοπούς.
Από αυτό προκύπτει ότι η τεχνολογία συνήθως λειτουργεί με αδόμητα δεδομένα και εάν τα δεδομένα είναι δομημένα, το σύστημα εξακολουθεί να συνεχίζει να αναζητά κρυμμένα πρότυπα σε αυτά, πράγμα που δεν κάνει το μάρκετινγκ.
Τα μεγάλα δεδομένα δεν είναι αυτά
Το δεύτερο άκρο αυτής της ιστορίας: Τα μεγάλα δεδομένα συχνά συγχέονται με αυτό. Αυτό οφείλεται στο γεγονός ότι στις ρωσικές εταιρείες, κατά κανόνα, είναι οι επαγγελματίες πληροφορικής που είναι οδηγοί όλων των τεχνολογιών, συμπεριλαμβανομένων των μεγάλων δεδομένων. Επομένως, αν συμβαίνουν όλα σε αυτό το τμήμα, για την εταιρεία στο σύνολό της, φαίνεται ότι πρόκειται για κάποιες δραστηριότητες πληροφορικής.
Στην πραγματικότητα, υπάρχει μια ριζική διαφορά: τα μεγάλα δεδομένα είναι μια δραστηριότητα που αποσκοπεί στην απόκτηση ενός συγκεκριμένου προϊόντος, το οποίο δεν ισχύει για αυτό, αν και χωρίς να υπάρχει τεχνολογία.
Μεγάλα δεδομένα - όχι πάντα τη συλλογή και ανάλυση των πληροφοριών
Υπάρχει μια άλλη παρανόηση σε σχέση με τα μεγάλα δεδομένα. Όλοι κατανοούν ότι αυτή η τεχνολογία συνδέεται με μεγάλες ποσότητες δεδομένων, αλλά τι είδους δεδομένα εννοείται, δεν είναι πάντοτε σαφές. Όλοι μπορούν να συλλέξουν και να χρησιμοποιήσουν πληροφορίες, τώρα είναι πιθανό όχι μόνο στις ταινίες, αλλά και σε οποιαδήποτε, ακόμη και μια πολύ μικρή εταιρεία. Η μόνη ερώτηση είναι ακριβώς τι να συλλέξετε και πώς να το χρησιμοποιήσετε με όφελος για τον εαυτό σας.
Αλλά θα πρέπει να γίνει κατανοητό ότι η μεγάλη τεχνολογία δεδομένων δεν θα είναι μια συλλογή και ανάλυση εντελώς καμία πληροφόρηση. Για παράδειγμα, εάν συγκεντρωθείτε σε κοινωνικά δίκτυα για ένα συγκεκριμένο άτομο, δεν θα είναι μεγάλα δεδομένα.
Τι είναι τα μεγάλα δεδομένα
Τα μεγάλα δεδομένα αποτελούνται από τρία στοιχεία:
- δεδομένα;
- analytics;
- τεχνολογίες.
Τα μεγάλα δεδομένα δεν είναι ένα από αυτά τα συστατικά, αλλά ένα μάτσο και τα τρία στοιχεία. Συχνά οι άνθρωποι αντικαθιστούν τις έννοιες: κάποιος πιστεύει ότι τα μεγάλα δεδομένα είναι μόνο δεδομένα, κάποιος - αυτή την τεχνολογία. Αλλά στην πραγματικότητα, ανεξάρτητα από το πόσα δεδομένα έχετε συλλέξει, δεν θα κάνετε τίποτα μαζί τους χωρίς τις απαραίτητες τεχνολογίες και αναλύσεις. Εάν υπάρχει ένα καλό αναλυτικό, αλλά δεν υπάρχουν δεδομένα, τόσο πιο κακά.
Αν μιλάμε για δεδομένα, τότε αυτά δεν είναι μόνο κείμενα, αλλά και όλες οι φωτογραφίες που τοποθετούνται στο Instagram και γενικά, όλα όσα μπορούν να αναλυθούν και να χρησιμοποιηθούν για διαφορετικούς σκοπούς και εργασίες. Με άλλα λόγια, τα δεδομένα γίνονται κατανοητά από τεράστιες ποσότητες εσωτερικών και εξωτερικών δεδομένων διαφόρων δομών.
Χρειάζεστε επίσης έναν αναλυτή, επειδή το έργο των μεγάλων δεδομένων είναι να χτίσει κάποια πρότυπα. Δηλαδή, οι αναλύσεις είναι η ταυτοποίηση κρυφών εξαρτήσεων και η αναζήτηση νέων ερωτήσεων και απαντήσεων με βάση την ανάλυση ολόκληρου του όγκου των ετερογενών δεδομένων. Και τα μεγάλα δεδομένα θέτουν ερωτήσεις που βρίσκονται απευθείας από αυτήν την έξοδο δεδομένων.
Αν μιλάμε για τις εικόνες, τότε το γεγονός της τοποθέτησης της φωτογραφίας σας σε ένα μπλε μπλουζάκι δεν λέει τίποτα. Αλλά αν χρησιμοποιήσετε μια φωτογραφία για μεγάλο μοντέλο δεδομένων, μπορεί να βρεθεί ότι είναι τώρα που πρέπει να προσφέρετε ένα δάνειο, διότι στην κοινωνική σας ομάδα αυτή η συμπεριφορά δείχνει ένα συγκεκριμένο φαινόμενο σε δράσεις. Ως εκ τούτου, τα "γυμνά" δεδομένα χωρίς αναλύσεις, χωρίς την ανίχνευση κρυφών και μη προφανών εξαρτήσεων, τα μεγάλα δεδομένα δεν είναι.
Έτσι, έχουμε μεγάλα δεδομένα. Ο πίνακας τους είναι τεράστιος. Έχουμε επίσης έναν αναλυτή. Αλλά πώς να το κάνουμε αυτά τα ακατέργαστα δεδομένα, έχουμε μια συγκεκριμένη απόφαση; Για να το κάνετε αυτό, χρειαζόμαστε τεχνολογίες που τους επιτρέπουν να μην αποθηκεύονται μόνο (και πριν ήταν αδύνατο), αλλά και να αναλύσει.
Με απλά λόγια, εάν έχετε πολλά δεδομένα, θα χρειαστείτε τεχνολογίες, για παράδειγμα, το Hadoop, το οποίο καθιστά δυνατή την εξοικονόμηση όλων των πληροφοριών σε μια αρχική μορφή για μεταγενέστερη ανάλυση. Αυτός ο τύπος τεχνολογίας προέκυψε στους γίγαντες του Διαδικτύου, δεδομένου ότι ήταν οι πρώτοι που αντιμετωπίζουν το πρόβλημα της αποθήκευσης μιας μεγάλης σειράς δεδομένων και την ανάλυσή του για την επόμενη διάθεση.
Εκτός από τα εργαλεία για βελτιστοποιημένη και φθηνή αποθήκευση δεδομένων, απαιτούνται αναλυτικά όργανα, καθώς και πρόσθετο στην πλατφόρμα που χρησιμοποιείται. Για παράδειγμα, ένα ολόκληρο οικοσύστημα από τα σχετικά έργα και τεχνολογίες έχει ήδη διαμορφωθεί γύρω από το Hadoop. Εδώ είναι μερικά από αυτά:
- Το χοίρο είναι μια δηλωτική γλώσσα ανάλυσης δεδομένων.
- Ανάλυση δεδομένων - Ανάλυση δεδομένων χρησιμοποιώντας μια γλώσσα κοντά στο SQL.
- Oozie - ροή εργασίας στο Hadoop.
- Το HBase είναι μια βάση δεδομένων (μη σχεσιακή), ανάλογο του Google Big Table.
- Mahout - Μαθησιακή μάθηση.
- SQOOP - Μεταφορά δεδομένων από το RSCBD προς Hadoop και αντίστροφα.
- Flume - Μεταφορά κορμών σε HDFs.
- Zookeeper, Mrunit, Avro, Giraph, Ambari, Cassandra, Hcatalog, Fuse-DFS και ούτω καθεξής.
Όλα αυτά τα εργαλεία είναι διαθέσιμα σε όλους δωρεάν, αλλά υπάρχει ένα σύνολο πληρωμένων πρόσθετων.
Επιπλέον, οι ειδικοί χρειάζονται: Αυτός είναι ένας προγραμματιστής και αναλυτής (ο λεγόμενος επιστήμονας δεδομένων). Ένας διαχειριστής χρειάζεται επίσης να κατανοηθεί πώς εφαρμόζεται αυτός ο αναλυτής για την επίλυση συγκεκριμένου καθήκοντος, διότι από μόνο του είναι εντελώς νόημα αν δεν είναι ενσωματωμένο στις επιχειρηματικές διαδικασίες.
Και οι τρεις εργαζόμενοι πρέπει να εργάζονται σε μια ομάδα. Ένας διευθυντής που δίνει έναν ειδικό για την εργασία επιστημών δεδομένων για να βρει ένα συγκεκριμένο πρότυπο, θα πρέπει να καταλάβει ότι δεν είναι πάντα αυτό ακριβώς που χρειάζεται. Σε αυτή την περίπτωση, ο ηγέτης πρέπει να ακούσει προσεκτικά τι να βρεθεί ο επιστήμονας των δεδομένων, δεδομένου ότι συχνά τον βρίσκει να βρει πιο ενδιαφέρουσα και χρήσιμη για τις επιχειρήσεις. Ο στόχος σας είναι να το εφαρμόσετε στην επιχείρηση και να κάνετε ένα προϊόν από αυτό.
Παρά το γεγονός ότι τώρα υπάρχουν πολλοί διαφορετικοί τύποι μηχανών και τεχνολογιών, η τελική απόφαση παραμένει πάντα για ένα άτομο. Για αυτό, πρέπει να απεικονιστούν οι πληροφορίες. Εργαλεία για αυτό πολλά.
Το πιο ενδεικτικό παράδειγμα είναι οι γεωγραφικές αναλύσεις. Η Beeline λειτουργεί πολύ με τις κυβερνήσεις διαφόρων πόλεων και περιοχών. Πολύ συχνά, αυτές οι οργανώσεις παραγγέλλουν αναφορές τύπου "Μεταφορά μεταφορών σε καθορισμένο μέρος".
Είναι σαφές ότι μια τέτοια αναφορά θα πρέπει να φτάσει σε κυβερνητικές δομές σε μια απλή και κατανοητή μορφή. Εάν τους παρέχουμε ένα τεράστιο και εντελώς ακατανόητο τραπέζι (δηλαδή, οι πληροφορίες με τη μορφή στην οποία το έχουμε), είναι απίθανο να αγοράσουν μια τέτοια έκθεση - θα είναι εντελώς άχρηστο, δεν θα φέρουν αυτές τις γνώσεις ότι ήθελε να πάρει.
Επομένως, ανεξάρτητα από το πόσο καλά οι ειδικοί της επιστήμης των δεδομένων και τα όποια προτύπωση βρίσκουν, δεν θα μπορέσετε να συνεργαστείτε με αυτά τα δεδομένα χωρίς εργαλεία απεικόνισης υψηλής ποιότητας.
Πηγές δεδομένων
Η σειρά των ληφθέντων δεδομένων είναι πολύ μεγάλη, έτσι ώστε να μπορεί να χωριστεί σε ορισμένες ομάδες.
Εσωτερικές εταιρείες δεδομένων
Αν και αυτή η ομάδα περιλαμβάνει το 80% των συλλεγόμενων δεδομένων, αυτή η πηγή δεν χρησιμοποιείται πάντοτε. Συχνά αυτά είναι τα δεδομένα που απαιτούνται φαινομενικά από οποιονδήποτε γενικά, για παράδειγμα, τα αρχεία καταγραφής. Αλλά αν τους κοιτάξετε σε διαφορετική γωνία, μερικές φορές μπορείτε να βρείτε απροσδόκητα σχέδια.
Υπό όρους ελεύθερες πηγές
Αυτό περιλαμβάνει τα δεδομένα κοινωνικής δικτύωσης, το Διαδίκτυο και όλα όσα μπορείτε να διεισδύσετε. Γιατί είναι υπό όρους ελεύθερη; Από τη μία πλευρά, αυτά τα δεδομένα είναι διαθέσιμα σε όλους, αλλά αν είστε μια μεγάλη εταιρεία, τότε τα πάρτε στο μέγεθος της βάσης συνδρομητών σε δεκάδες χιλιάδες, εκατοντάδες ή εκατομμύρια πελάτες - ήδη ένα δύσκολο έργο. Ως εκ τούτου, στην αγορά πραγματοποιούνται υπηρεσίες καταβολής για την παροχή αυτών των δεδομένων.
Πηγές πληρωμένων
Αυτό περιλαμβάνει εταιρείες που πωλούν δεδομένα για χρήματα. Αυτά μπορούν να είναι τηλεπικοινωνιακά, εταιρείες DMP, Internet, γραφεία και συγκεντρωτές πιστωτικού ιστορικού και συγκεντρωτές. Στη Ρωσία, οι τηλεπικοινωνίες δεν πωλούν δεδομένα. Πρώτον, είναι οικονομικά ασύμφορη και, δεύτερον, απαγορεύεται από το νόμο. Ως εκ τούτου, πωλούν τα αποτελέσματα της επεξεργασίας τους, για παράδειγμα, γεωγραφικές αναλυτικές εκθέσεις.
Ανοίξτε τα δεδομένα
Το κράτος πηγαίνει να συναντήσει τις επιχειρήσεις και καθιστά δυνατή τη χρήση των δεδομένων που συλλέγουν. Σε μεγαλύτερο βαθμό, αναπτύσσεται στη Δύση, αλλά η Ρωσία σε αυτό το θέμα διατηρεί επίσης τις εποχές. Για παράδειγμα, υπάρχει μια πύλη ανοικτών δεδομένων της κυβέρνησης της Μόσχας, όπου οι πληροφορίες δημοσιεύονται σε διάφορα αντικείμενα αστικής υποδομής.
Για τους κατοίκους και τους επισκέπτες της Μόσχας, τα δεδομένα παρουσιάζονται σε τραπέζι και χαρτογραφική μορφή και για προγραμματιστές - σε ειδικές μορφές αναγνώσιμες από υπολογιστή. Ενώ το έργο λειτουργεί σε περιορισμένη λειτουργία, αλλά αναπτύσσεται, που σημαίνει, είναι επίσης μια πηγή δεδομένων που μπορείτε να χρησιμοποιήσετε για τις επιχειρηματικές σας εργασίες.
Ερευνα
Όπως ήδη σημειώθηκε, το έργο των μεγάλων δεδομένων είναι να βρει ένα πρότυπο. Συχνά οι μελέτες που διεξάγονται σε όλο τον κόσμο μπορεί να αποτελέσουν σημείο υποστήριξης για την εξεύρεση κανονικότητας - μπορείτε να πάρετε ένα συγκεκριμένο αποτέλεσμα και να προσπαθήσετε να εφαρμόσετε παρόμοια λογική για τους δικούς σας σκοπούς.
Τα μεγάλα δεδομένα είναι μια περιοχή στην οποία δεν εργάζονται όλοι οι νόμοι των μαθηματικών. Για παράδειγμα, το "1" + 1 "δεν είναι" 2 ", αλλά πολλά άλλα, επειδή όταν η ανάμειξη πηγών δεδομένων μπορεί να αυξηθεί σημαντικά.
Παραδείγματα προϊόντων
Πολλοί είναι εξοικειωμένοι με την Spotify Music Selection Service. Είναι όμορφο στο ότι δεν ζητά από τους χρήστες που έχουν διάθεση σήμερα και το υπολογίζει με βάση τις πηγές που είναι διαθέσιμες σε αυτό. Γνωρίζει πάντα τι χρειάζεστε τώρα - τζαζ ή βαρύ βράχο. Αυτή είναι μια βασική διαφορά που τον παρέχει οπαδούς και διακρίνει από άλλες υπηρεσίες.
Τέτοια προϊόντα ονομάζονται αίσθημα-προϊόντα - όπως αισθάνονται τον πελάτη τους.
Η μεγάλη τεχνολογία δεδομένων χρησιμοποιείται στην αυτοκινητοβιομηχανία. Για παράδειγμα, κάνει tesla - υπάρχει αυτόματο στο τελευταίο τους μοντέλο. Η εταιρεία επιδιώκει να δημιουργήσει ένα αυτοκίνητο που θα πάρει τον επιβάτη όπου χρειάζεται. Χωρίς μεγάλα δεδομένα είναι αδύνατο, διότι εάν χρησιμοποιούμε μόνο αυτά τα δεδομένα που παίρνετε απευθείας, καθώς ένα άτομο κάνει, τότε το αυτοκίνητο δεν θα είναι σε θέση να βελτιώσει.
Όταν οδηγούμε ένα αυτοκίνητο μόνοι σας, στη συνέχεια, με τη βοήθεια των νευρώνων μας, κάνουμε αποφάσεις που βασίζονται σε διάφορους παράγοντες που δεν παρατηρούμε καν. Για παράδειγμα, δεν μπορούμε να συνειδητοποιήσουμε γιατί αποφάσισαν να μην αέριο αμέσως στο πράσινο φως, και στη συνέχεια αποδεικνύεται ότι η λύση ήταν αλήθεια - το αυτοκίνητο σάρωσε πάνω σας στην τρελή ταχύτητα και δραπέτηκατε το ατύχημα.
Μπορείτε επίσης να δώσετε ένα παράδειγμα χρήσης μεγάλων δεδομένων στον αθλητισμό. Το 2002, ο Γενικός Διευθυντής της ομάδας μπέιζμπολ Oakland Athletics Billy Bean αποφάσισε να καταστρέψει το παράδειγμα του τρόπου εμφάνισης των αθλητών - επέλεξε και διδάσκει παίκτες "σε αριθμούς".
Συνήθως οι διαχειριστές εξετάζουν την επιτυχία των παικτών, αλλά σε αυτή την περίπτωση όλα ήταν διαφορετικά - για να πάρουν το αποτέλεσμα, ο διαχειριστής μελετήθηκε ποιες συνδυασμοί αθλητών χρειάζονταν, δίνοντας προσοχή σε μεμονωμένα χαρακτηριστικά. Επιπλέον, επέλεξε τους αθλητές που οι ίδιοι δεν φαντάσουν ένα μεγάλο δυναμικό, αλλά η ομάδα ως σύνολο αποδείχθηκε τόσο επιτυχημένη ότι κέρδισε είκοσι αγώνες στη σειρά.
Ο σκηνοθέτης Bennett Miller ακολούθησε στη συνέχεια την ταινία αφιερωμένη σε αυτή την ιστορία, "Το πρόσωπο που άλλαξε τα πάντα" στον κύριο ρόλο με τον Brad Pitt.
Η μεγάλη τεχνολογία δεδομένων είναι επίσης χρήσιμη στον χρηματοπιστωτικό τομέα. Κανείς στον κόσμο δεν μπορεί να καθορίσει ανεξάρτητα στον κόσμο, είτε να δώσει σε κάποιον σε κάποιον. Για να λάβετε μια απόφαση, εκτελείται βαθμολόγηση, δηλαδή, ένα πιθανοτικό μοντέλο είναι χτισμένο, το οποίο μπορεί να γίνει κατανοητό, θα επιστρέψει αυτό το άτομο ή όχι. Η βαθμολογία χρησιμοποιείται σε όλα τα στάδια: είναι δυνατόν, για παράδειγμα, να υπολογιστεί ότι ένα άτομο θα σταματήσει να πληρώνει σε ένα συγκεκριμένο σημείο.
Τα μεγάλα δεδομένα επιτρέπουν όχι μόνο να κερδίζουν χρήματα, αλλά και να τα σώσουν. Ειδικότερα, η τεχνολογία αυτή βοήθησε το γερμανικό Υπουργείο Εργασίας να μειώσει το κόστος των παροχών ανεργίας κατά 10 δισεκατομμύρια ευρώ, δεδομένου ότι μετά την ανάλυση των πληροφοριών κατέστη σαφές ότι το 20% των παροχών καταβλήθηκαν αχρεωστήτως.
Επίσης, οι τεχνολογίες χρησιμοποιούνται στην ιατρική (ειδικά αυτό είναι χαρακτηριστικό του Ισραήλ). Με μεγάλα δεδομένα, μπορείτε να βάλετε μια πολύ ακριβέστερη ανάλυση από ότι ένας γιατρός με τριάντα χρόνια θα κάνει.
Οποιοσδήποτε γιατρός όταν κάνει μια διάγνωση, βασίζεται μόνο στη δική σας εμπειρία. Όταν το αυτοκίνητο αυτό, προέρχεται από την εμπειρία χιλιάδων από αυτούς τους γιατρούς και όλες τις υπάρχουσες ιστορίες ασθένειας. Λαμβάνει υπόψη το τι είναι το σπίτι του ασθενούς από την περιοχή, στην οποία η περιοχή ζει το θύμα, τι καπνός υπάρχει και ούτω καθεξής. Δηλαδή, λαμβάνει υπόψη τη μάζα των παραγόντων που οι γιατροί δεν λαμβάνουν υπόψη.
Ένα παράδειγμα χρήσης μεγάλων δεδομένων στην υγειονομική περίθαλψη μπορεί να ονομαστεί έργο έργου Artemis, το οποίο εισήγαγε ένα παιδικό νοσοκομείο του Τορόντο. Πρόκειται για ένα σύστημα πληροφοριών που συλλέγει και αναλύει τα δεδομένα σε πραγματικά μωρά σε πραγματικό χρόνο. Το μηχάνημα σας επιτρέπει να αναλύετε 1260 δείκτες υγείας κάθε παιδιού κάθε δευτερόλεπτο. Το έργο αυτό στοχεύει στην πρόβλεψη της ασταθής κατάστασης του παιδιού και την πρόληψη ασθενειών στα παιδιά.
Τα μεγάλα δεδομένα αρχίζουν να χρησιμοποιούνται στη Ρωσία: για παράδειγμα, το "Yandex" μπορεί να χρησιμοποιηθεί. Η Εταιρεία, μαζί με την Αστρασζιένταγια και τη ρωσική κοινωνία της κλινικής ογκολογίας, η Russco ξεκίνησε την πλατφόρμα ακτίνων που προορίζονται για γενετική και μοριακούς βιολόγους. Το έργο καθιστά δυνατή τη βελτίωση των μεθόδων διάγνωσης του καρκίνου και την ανίχνευση της προδιάθεσης στον καρκίνο. Η πλατφόρμα θα αρχίσει να εργάζεται τον Δεκέμβριο του 2016.
Μόνο τεμπέλης δεν μιλάει μεγάλα δεδομένα, αλλά τι είναι και πώς λειτουργεί - είναι απίθανο. Ας ξεκινήσουμε με την απλούστερη ορολογία. Στα ρωσικά, μεγάλα δεδομένα είναι διάφορα εργαλεία, προσεγγίσεις και μέθοδοι επεξεργασίας τόσο δομημένων όσο και μη δομημένων δεδομένων, προκειμένου να τα χρησιμοποιηθούν για συγκεκριμένες εργασίες και στόχους.
Τα αδόμητα δεδομένα είναι πληροφορίες που δεν έχουν προκαθορισμένη δομή ή δεν οργανώνονται με συγκεκριμένη σειρά.
Ο όρος "μεγάλα δεδομένα" εισήγαγε τον επεξεργαστή του περιοδικού Nature Clifford Lynch το 2008 σε ένα ειδικό ζήτημα αφιερωμένο στην εκρηκτική ανάπτυξη των παγκόσμιων όγκων πληροφοριών. Αν και, φυσικά, τα ίδια μεγάλα δεδομένα υπήρχαν πριν. Σύμφωνα με τους ειδικούς, η μεγάλη κατηγορία δεδομένων περιλαμβάνει τις περισσότερες από τις ροές δεδομένων πάνω από 100 GB την ημέρα.
Δείτε επίσης:
Σήμερα, κάτω από αυτόν τον απλό όρο, μόνο δύο λέξεις είναι κρυμμένες - αποθήκευση και επεξεργασία δεδομένων.
Μεγάλα δεδομένα - απλά λόγια
Στον σύγχρονο κόσμο, τα μεγάλα δεδομένα είναι ένα κοινωνικοοικονομικό φαινόμενο, το οποίο συνδέεται με το γεγονός ότι οι νέες τεχνολογικές δυνατότητες φαίνεται να αναλύουν ένα τεράστιο ποσό δεδομένων.
Δείτε επίσης:
Για ευκολία κατανόησης, φανταστείτε ένα σούπερ μάρκετ στο οποίο όλα τα προϊόντα δεν βρίσκονται στη συνήθη σειρά. Ψωμί δίπλα σε φρούτα, πάστα ντομάτας κοντά σε κατεψυγμένη πίτσα, υγρό για ανάφλεξη μπροστά από το ράφι με ταμπόν με ταμπόν, στις οποίες, μεταξύ άλλων, στέκεται αβοκάντο, tofu ή μανιτάρια shiitake. Τα μεγάλα δεδομένα θέτουν τα πάντα στη θέση του και σας βοηθούν να βρείτε το γάλα καρύδια, να μάθετε το κόστος και την ημερομηνία λήξης, αλλά και - ποιος, εκτός από εσάς, αγοράζει ένα τέτοιο γάλα και πώς είναι καλύτερο από ένα αγελαδινό γάλα.
Kenneth Cucier: Μεγάλα δεδομένα - τα καλύτερα δεδομένα
Τεχνολογικά μεγάλα δεδομένα.
Οι τεράστιοι όγκοι δεδομένων επεξεργάζονται έτσι ώστε ένα άτομο να μπορεί να πάρει τα συγκεκριμένα και τα απαραίτητα αποτελέσματα για αυτούς για την περαιτέρω αποτελεσματική χρήση τους.
Δείτε επίσης:
Στην πραγματικότητα, τα μεγάλα δεδομένα είναι μια λύση στα προβλήματα και μια εναλλακτική λύση στα παραδοσιακά συστήματα διαχείρισης δεδομένων.
Τεχνικές και μέθοδοι ανάλυσης που ισχύουν για τα μεγάλα δεδομένα του McKinsey:
Crowdsourcing;
Ανάμιξη και ενσωμάτωση δεδομένων ·
Μηχανική μάθηση;
Τεχνητά νευρωνικά δίκτυα.
Αναγνώριση μοτίβου;
Αναλύσεις πρόβλεψης ·
Προσομοίωση;
Χωρική ανάλυση;
Στατιστική ανάλυση;
- Οπτικοποίηση αναλυτικών δεδομένων.
Οριζόντια κλιμονή, η οποία παρέχει επεξεργασία δεδομένων - η βασική αρχή της επεξεργασίας μεγάλων δεδομένων. Τα δεδομένα κατανέμονται στους υπολογισμούς κόμβους και η επεξεργασία συμβαίνει χωρίς την αποικοδόμηση της παραγωγικότητας. Το McKinsey περιλάμβανε συστήματα σχεσιακών ελέγχων και επιχειρηματική νοημοσύνη στο πλαίσιο εφαρμογής.
Τεχνολογίες:
- Nosql;
- ΜΕΙΩΣΗ ΧΑΡΤΗ;
- Hadoop;
- Λύσεις υλικού.
Δείτε επίσης:
Για μεγάλα δεδομένα, τα παραδοσιακά καθοριστικά χαρακτηριστικά που παράγονται από τον Meta Group ακόμα το 2001, τα οποία ονομάζονται " Τρία V.»:
- ΕΝΤΑΣΗ ΗΧΟΥ. - το μέγεθος του φυσικού όγκου.
- Ταχύτητα. - τον ρυθμό ανάπτυξης και την ανάγκη για γρήγορη επεξεργασία δεδομένων για την απόκτηση αποτελεσμάτων.
- Ποικιλία. - την ικανότητα να επεξεργάζεται ταυτόχρονα διάφορους τύπους δεδομένων.
Μεγάλα δεδομένα: Εφαρμογή και χαρακτηριστικά
Οι όγκοι των ανομοιογενείς και γρήγορα εισερχόμενες ψηφιακές πληροφορίες δεν μπορούν να αντιμετωπιστούν με παραδοσιακά εργαλεία. Η ίδια η ανάλυση δεδομένων σας επιτρέπει να βλέπετε ορισμένα και δυσδιάκριτα σχέδια που ένα άτομο δεν μπορεί να δει. Αυτό σας επιτρέπει να βελτιστοποιήσετε όλες τις σφαίρες της ζωής μας - από την κυβέρνηση στην παραγωγή και τις τηλεπικοινωνίες.
Για παράδειγμα, ορισμένες εταιρείες έχουν υπερασπιστεί τους πελάτες τους από την απάτη πριν από λίγα χρόνια και φροντίδα για τα χρήματα του πελάτη είναι η ανησυχία για τα δικά τους χρήματα.
Susan eTlyger: Πώς να ασχοληθεί με τα μεγάλα δεδομένα;
Μεγάλες λύσεις βάσει δεδομένων: Sberbank, Beeline και άλλες εταιρείες
Το Bilain έχει ένα τεράστιο ποσό δεδομένων συνδρομητών που χρησιμοποιούν όχι μόνο για να συνεργαστούν μαζί τους, αλλά και να δημιουργήσουν αναλυτικά προϊόντα, όπως εξωτερικά συμβουλευτικά ή IPTV Analytics. Ο Beeline κατακερματιστεί ο βασικός και προστατευμένος πελάτες από απάτη και ιούς μετρητών, χρησιμοποιώντας HDF και Apache Spark, και για επεξεργασία δεδομένων - RapidMiner και Python.
Δείτε επίσης:
Ή θυμηθείτε το Sberbank με την παλιά τους υπόθεση που ονομάζεται Safi. Αυτό είναι ένα σύστημα που αναλύει τις φωτογραφίες για τον εντοπισμό των πελατών της Τράπεζας και εμποδίζει την απάτη. Το σύστημα εισήχθη το 2014, το σύστημα βασίζεται σε μια σύγκριση φωτογραφιών από τη βάση, η οποία έρχεται εκεί από κάμερες σε ράφια λόγω της όρασης του υπολογιστή. Η βάση του συστήματος είναι μια βιομετρική πλατφόρμα. Λόγω αυτού, οι περιπτώσεις απάτης μειώθηκαν 10 φορές.
Μεγάλα δεδομένα στον κόσμο
Μέχρι το 2020, σύμφωνα με τις προβλέψεις, η ανθρωπότητα θα σχηματίσει 40-44 Zettabites πληροφοριών. Και μέχρι το 2025 θα αυξηθούν 10 φορές, η έκθεση της ηλικίας των δεδομένων 2025, η οποία παρασκευάστηκε από τους αναλυτές IDC. Η έκθεση σημειώνει ότι οι ίδιες οι επιχειρήσεις θα δημιουργηθούν τα περισσότερα από τα δεδομένα και όχι τους απλούς καταναλωτές.
Οι αναλυτές της έρευνας πιστεύουν ότι τα δεδομένα θα αποτελέσουν ένα ζωτικό πλεονέκτημα και η ασφάλεια είναι ένα κρίσιμο θεμέλιο στη ζωή. Επίσης, οι συγγραφείς του έργου είναι σίγουροι ότι η τεχνολογία θα αλλάξει το οικονομικό τοπίο και ο συνηθισμένος χρήστης θα επικοινωνήσει με συνδεδεμένες συσκευές περίπου 4800 φορές την ημέρα.
Μεγάλη αγορά δεδομένων στη Ρωσία
Συνήθως, τα μεγάλα δεδομένα προέρχονται από τρεις πηγές:
- Internet (κοινωνικά δίκτυα, φόρουμ, blogs, μέσα και άλλοι χώροι)?
- Εταιρικά αρχεία εγγράφων.
- Ενδείξεις αισθητήρων, συσκευών και άλλων συσκευών.
Μεγάλα δεδομένα στις τράπεζες
Εκτός από το σύστημα που περιγράφεται παραπάνω, στη στρατηγική Sberbank για το 2014-2018. Λέγεται η σημασία της ανάλυσης των υπερασπιστών δεδομένων για την ποιοτική εξυπηρέτηση πελατών, τη διαχείριση κινδύνων και τη βελτιστοποίηση του κόστους. Τώρα η τράπεζα χρησιμοποιεί μεγάλα δεδομένα για τον έλεγχο των κινδύνων, την καταπολέμηση της απάτης, της κατάτμησης και του πιστωτικού κόστους ποιότητας της πίστωσης, τη διαχείριση προσωπικού, την πρόβλεψη ουρών στα γραφεία, τον υπολογισμό των μπόνους για τους υπαλλήλους και άλλα καθήκοντα.
Το VTB24 απολαμβάνει μεγάλα δεδομένα για τμηματοποίηση και διαχείριση της εκροής πελατών, σχηματισμός οικονομικών καταστάσεων, ανάλυση ανατροφοδότησης στα κοινωνικά δίκτυα και φόρουμ. Για να το κάνετε αυτό, εφαρμόζει Teradata, SAS Visual Analytics και SAS Marketing Optimizer Solutions.
Μεγάλα δεδομένα (ή μεγάλα δεδομένα) είναι ένα σύνολο μεθόδων εργασίας με τεράστιους όγκους δομημένων ή αδόμητων πληροφοριών. Οι ειδικοί στην εργασία με μεγάλα δεδομένα ασχολούνται με την επεξεργασία και την ανάλυση τους για να αποκτήσουν οπτικά, αντιληπτημένα αποτελέσματα. Με κοιτάξτε μίλησε με επαγγελματίες και ανακάλυψε ποια είναι η κατάσταση με την επεξεργασία μεγάλων δεδομένων στη Ρωσία, πού και τι είναι καλύτερο να μάθουμε σε εκείνους που θέλουν να εργαστούν σε αυτόν τον τομέα.
Alexey Rupin στις κύριες κατευθύνσεις στον τομέα των μεγάλων δεδομένων, επικοινωνίας με τους πελάτες και τον κόσμο των αριθμών
Σπούδασα στο Ινστιτούτο Ηλεκτρονικής Τεχνολογίας της Μόσχας. Το κύριο πράγμα που κατάφερα να βγάλω, είναι θεμελιώδεις γνώσεις της φυσικής και των μαθηματικών. Ταυτόχρονα, εργάστηκα στο κέντρο Ε & Α, όπου ασχολήθηκε με την ανάπτυξη και την εφαρμογή θυρωθμών ευφορίας κωδικοποίησης για τα μέσα προστατευόμενης μεταφοράς δεδομένων. Μετά το τέλος του προπτυχιακού καταλόγου, εισήλθα στον δικαστή της επιχειρηματικής πληροφορικής της Ανώτατης Σχολής Οικονομικών. Μετά από αυτό, ήθελα να εργαστώ στο IBS. Ήμουν τυχερός ότι εκείνη την εποχή υπήρχε ένα πρόσθετο σύνολο ασκούμενων σε σχέση με ένα μεγάλο αριθμό έργων και μετά από αρκετές συνεντεύξεις άρχισα να δουλεύω στο IBS, μία από τις μεγαλύτερες ρωσικές εταιρείες στον τομέα αυτό. Για τρία χρόνια, πήγα μακριά από το τρένο πριν από τον αρχιτέκτονα εταιρικών λύσεων. Τώρα ασχολούμαι με την ανάπτυξη μεγάλων τεχνολογιών δεδομένων για εταιρείες πελατών από τον οικονομικό και τηλεπικοινωνιακό τομέα.
Υπάρχουν δύο βασικές ειδικότητες για άτομα που θέλουν να συνεργαστούν με μεγάλα δεδομένα: αναλυτές και συμβούλους πληροφορικής που δημιουργούν τεχνολογίες για την εργασία με μεγάλα δεδομένα. Επιπλέον, μπορείτε επίσης να μιλήσετε για το επάγγελμα του μεγάλου αναλυτή δεδομένων, δηλ., Οι άνθρωποι που εργάζονται άμεσα με τα δεδομένα με την πλατφόρμα πληροφορικής από τον πελάτη. Προηγουμένως, ήταν οι συνήθεις αναλυτές των μαθηματικών που γνώριζαν τα στατιστικά στοιχεία και τα μαθηματικά και χρησιμοποιώντας το στατιστικό λογισμικό για την επίλυση των εργασιών ανάλυσης δεδομένων. Σήμερα, εκτός από τη γνώση των στατιστικών και των μαθηματικών, η κατανόηση της τεχνολογίας και ενός κύκλου ζωής των δεδομένων είναι επίσης απαραίτητη. Σε αυτό, κατά τη γνώμη μου, είναι η διαφορά μεταξύ του σύγχρονου αναλυτή δεδομένων από εκείνους τους αναλυτές που ήταν πριν.
Η εξειδίκευσή μου είναι η διαβούλευση, δηλαδή, εφευρίσκω και προσφέρουμε στους πελάτες πώς να λύσουν επιχειρηματικά καθήκοντα με τεχνολογίες πληροφορικής. Οι άνθρωποι έρχονται στη διαβούλευση με διάφορες εμπειρίες, αλλά οι σημαντικότερες ιδιότητες για αυτό το επάγγελμα είναι η ικανότητα να κατανοούν τις ανάγκες του πελάτη, την επιθυμία να βοηθήσουν τους ανθρώπους και τις οργανώσεις, τις καλές δεξιότητες επικοινωνίας και της ομάδας (δεδομένου ότι πάντα συνεργάζεται με τον πελάτη και σε μια ομάδα), καλές αναλυτικές ικανότητες. Το εσωτερικό κίνητρο είναι πολύ σημαντικό: εργαζόμαστε σε ένα ανταγωνιστικό περιβάλλον και ο πελάτης περιμένει ασυνήθιστες λύσεις και ενδιαφέρον για την εργασία.
Τις περισσότερες φορές πρέπει να επικοινωνήσω με τους πελάτες, επισημοποιώντας τις επιχειρηματικές τους ανάγκες και βοήθεια στην ανάπτυξη της πιο κατάλληλης τεχνολογικής αρχιτεκτονικής. Τα κριτήρια επιλογής έχουν τα δικά τους χαρακτηριστικά: Εκτός από τη λειτουργικότητα και το TSO (το συνολικό κόστος ιδιοκτησίας - το συνολικό κόστος ιδιοκτησίας) είναι πολύ σημαντικές, μη λειτουργικές απαιτήσεις για το σύστημα, πιο συχνά, αυτός είναι ο χρόνος απόκρισης, η επεξεργασία πληροφοριών, η επεξεργασία πληροφοριών χρόνος. Για να πείσουμε τον πελάτη, χρησιμοποιούμε συχνά απόδειξη της έννοιας προσέγγισης - προσφέρουμε δωρεάν τεχνολογία "δοκιμών" για κάποια εργασία, σε ένα στενό σύνολο δεδομένων για να βεβαιωθείτε ότι η τεχνολογία λειτουργεί. Η απόφαση θα πρέπει να δημιουργήσει ένα ανταγωνιστικό πλεονέκτημα για τον πελάτη εις βάρος των πρόσθετων πλεονεκτημάτων (για παράδειγμα, το X-Sell, Cross-Sale) ή να λύσει κάποιο είδος επιχειρηματικού προβλήματος, να αναφερθεί, να μειώσει το υψηλό επίπεδο απάτης δανείου.
Θα ήταν πολύ πιο εύκολο αν οι πελάτες προήλθαν από την τελική εργασία, Αλλά εφ 'όσον δεν καταλαβαίνουν ότι εμφανίστηκε μια επαναστατική τεχνολογία, η οποία μπορεί να αλλάξει την αγορά για μερικά χρόνια.
Ποια προβλήματα πρέπει να αντιμετωπίσουν; Η αγορά δεν είναι έτοιμη να χρησιμοποιήσει την τεχνολογία "Big Data". Θα ήταν πολύ πιο εύκολο αν οι πελάτες προήλθαν από ένα έτοιμο έργο, αλλά μέχρι να καταλάβουν ότι μια επαναστατική τεχνολογία που θα μπορούσε να αλλάξει την αγορά για μερικά χρόνια. Αυτός είναι ο λόγος για τον οποίο, στην πραγματικότητα, δουλεύουμε στη λειτουργία εκκίνησης - μην πωλούν μόνο την τεχνολογία, αλλά κάθε φορά που πείθουμε τους πελάτες ότι πρέπει να επενδύσετε σε αυτές τις λύσεις. Αυτή είναι μια τέτοια θέση των οραματηγημένων - παρουσιάζουμε πελάτες πώς μπορείτε να αλλάξετε την επιχείρησή σας με την έλξη των δεδομένων και την. Δημιουργούμε αυτή τη νέα αγορά - η αγορά της εμπορικής διαβούλευσης στην περιοχή Big Data.
Εάν ένα άτομο θέλει να συμμετάσχει στην ανάλυση των δεδομένων ή τη διαβούλευση με τη σφαίρα των μεγάλων δεδομένων, τότε το πρώτο πράγμα που είναι σημαντικό είναι η μαθηματική ή η τεχνική εκπαίδευση με καλή μαθηματική προετοιμασία. Είναι επίσης χρήσιμο να κυριαρχήσετε συγκεκριμένες τεχνολογίες, ας πούμε SAS, HADOOP, R LONES ή IBM λύση. Επιπλέον, είναι απαραίτητο να ενδιαφέρεται ενεργά για τα καθήκοντα εφαρμογής για μεγάλα δεδομένα - για παράδειγμα, καθώς μπορούν να χρησιμοποιηθούν για τη βελτίωση της πιστωτικής βαθμολόγησης σε μια τράπεζα ή τη διαχείριση του κύκλου ζωής του πελάτη. Αυτές και άλλες γνώσεις μπορούν να ληφθούν από τις διαθέσιμες πηγές: για παράδειγμα, το Coursera και το μεγάλο πανεπιστήμιο δεδομένων. Υπάρχει επίσης μια πρωτοβουλία αναλυτικών πελατών στο Wharton University of Pennsylvania, το οποίο έχει δημοσιεύσει πολλά ενδιαφέροντα υλικά.
Ένα σοβαρό πρόβλημα για όσους θέλουν να εργαστούν στην περιοχή μας είναι μια ρητή έλλειψη πληροφοριών σχετικά με τα μεγάλα δεδομένα. Δεν μπορείτε να πάτε στο βιβλιοπωλείο ή για κάποιο χώρο και να πάρετε, για παράδειγμα, μια εξαντλητική στήλη περιπτώσεων για όλες τις εφαρμογές μεγάλων τεχνολογιών δεδομένων στις τράπεζες. Δεν υπάρχουν τέτοια βιβλία αναφοράς. Μέρος των πληροφοριών είναι στα βιβλία, ένα άλλο μέρος συλλέγεται σε συνέδρια και σε κάτι που πρέπει να φτάσετε στον εαυτό σας.
Ένα άλλο πρόβλημα είναι ότι οι αναλυτές αισθάνονται καλά στον κόσμο των αριθμών, αλλά δεν είναι πάντα άνετα στην επιχείρηση. Αυτοί οι άνθρωποι συχνά εσωστρεφθούν, είναι δύσκολο για αυτούς να επικοινωνούν και ως εκ τούτου είναι δύσκολο για αυτούς να μεταφέρουν πειστικά στους πελάτες πληροφορίες σχετικά με τα αποτελέσματα της έρευνας. Για την ανάπτυξη αυτών των δεξιοτήτων, θα συνιστούσα τέτοια βιβλία ως "αρχή πυραμίδας", "μιλούν σε διαγράμματα". Βοηθούν στην ανάπτυξη δεξιοτήτων παρουσίασης, συνοπτικά και σαφώς δηλώνει τις σκέψεις τους.
Ήμουν πολύ εξυπηρετικός στη συμμετοχή σε διαφορετικά πρωταθλήματα των περιπτώσεων ενώ σπουδάζουν στο HSE. Τα πρωταθλήματα των περιπτώσεων είναι έξυπνες διαγωνισμοί για τους φοιτητές, όπου πρέπει να μελετήσετε επιχειρηματικά προβλήματα και να προσφέρετε την απόφασή τους. Πρόκειται για δύο είδη: συμβουλευτικά πρωταθλήματα εταιρειών, όπως McKinsey, BCG, Accenture, καθώς και ανεξάρτητο πρωτάθλημα τύπου Changellenge. Κατά τη διάρκεια της συμμετοχής σε αυτά, έμαθα να δούμε και να λύσω σύνθετα καθήκοντα - από τον εντοπισμό του προβλήματος και τη διάρθρωση της στην προστασία των συστάσεων για τη λύση του.
Oleg Mikhalsky για τη ρωσική αγορά και τις ιδιαιτερότητες της δημιουργίας ενός νέου προϊόντος στον τομέα των μεγάλων δεδομένων
Πριν έρθει στην Ακρονή, είχα ήδη ασχοληθεί με την έναρξη νέων προϊόντων στην αγορά σε άλλες εταιρείες. Είναι πάντα ενδιαφέρον και δύσκολο ταυτόχρονα, οπότε ήμουν σε άμεση ενδιαφέρον για τη δυνατότητα να εργαστώ σε υπηρεσίες σύννεφων και λύσεις αποθήκευσης. Σε αυτόν τον τομέα, όλη η προηγούμενη εμπειρία μου στη βιομηχανία πληροφορικής ήταν χρήσιμη, συμπεριλαμβανομένου του δικού του έργου εκκίνησης I-Accelerator. Η παρουσία της επιχειρηματικής εκπαίδευσης (MBA) βοήθησε επίσης εκτός από τη βασική μηχανική.
Στη Ρωσία, τις μεγάλες εταιρείες - τράπεζες, τους φορείς εκμετάλλευσης κινητής τηλεφωνίας κ.λπ. - Υπάρχει ανάγκη να αναλυθούν τα μεγάλα δεδομένα, οπότε στη χώρα μας υπάρχουν προοπτικές για όσους θέλουν να εργαστούν σε αυτόν τον τομέα. Είναι αλήθεια ότι πολλά έργα ενσωματώνουν τώρα, δηλαδή, με βάση τις ξένες εξελίξεις ή τις τεχνολογίες του ανοικτού κώδικα. Σε τέτοια έργα, δεν δημιουργούνται θεμελιωδώς νέες προσεγγίσεις και τεχνολογίες, αλλά προσαρμόζονται μάλλον οι υπάρχουσες εξελίξεις. Στην Ακρονή, πήγαμε σε άλλο τρόπο και, μετά την ανάλυση των υφιστάμενων εναλλακτικών λύσεων, αποφάσισα να επενδύσουν στη δική μας ανάπτυξη, δημιουργώντας ένα σύστημα αξιόπιστης αποθήκευσης για μεγάλα δεδομένα, η οποία δεν είναι κατώτερη στο κόστος, για παράδειγμα, το Amazon S3, αλλά λειτουργεί αξιόπιστα και αποτελεσματικά σε μια σημαντικά μικρότερη κλίμακα. Η δική μας ανάπτυξη για μεγάλα δεδομένα είναι επίσης μεταξύ μεγάλων εταιρειών Διαδικτύου, αλλά επικεντρώνονται μάλλον στις εσωτερικές ανάγκες από την ικανοποίηση των αναγκών των εξωτερικών πελατών.
Είναι σημαντικό να κατανοήσουμε τις τάσεις και τις οικονομικές δυνάμεις που επηρεάζουν τον τομέα της επεξεργασίας μεγάλων δεδομένων. Για να το κάνετε αυτό, διαβάστε πολλά, ακούστε τις παραστάσεις των έγκυρων ειδικών στη βιομηχανία πληροφορικής, επισκεφτείτε θεματικά συνέδρια. Τώρα σχεδόν κάθε διάσκεψη έχει ένα μεγάλο τμήμα δεδομένων, αλλά όλοι μιλούν γι 'αυτό σε διαφορετικές γωνίες: από την άποψη της τεχνολογίας, των επιχειρήσεων ή του μάρκετινγκ. Μπορείτε να πάτε για σχεδιασμό εργασίας ή πρακτική άσκηση στην εταιρεία, η οποία ήδη διεξάγει έργα σε αυτό το θέμα. Εάν είστε σίγουροι στις ικανότητές σας, δεν είναι πολύ αργά για να οργανώσετε μια εκκίνηση στη σφαίρα των μεγάλων δεδομένων.
Χωρίς συνεχή επαφή με την αγορά Νέοι αναπτυξιακοί κίνδυνοι
Είναι αλήθεια, όταν είστε υπεύθυνοι για ένα νέο προϊόν, πολύ καιρό πηγαίνει στους αναλυτικούς πελάτες της αγοράς και επικοινωνούν με πιθανούς πελάτες, εταίρους, επαγγελματίες αναλυτές που γνωρίζουν πολλά για τους πελάτες και τις ανάγκες τους. Χωρίς συνεχή επαφή με την αγορά, οι νέοι αναπτυξιακοί κίνδυνοι δεν είναι υποχρεωμένοι. Υπάρχουν πάντα πολλή αβεβαιότητα: πρέπει να καταλάβετε ποιος θα γίνει οι πρώτοι χρήστες (πρώτοι υιοθετητές) που έχετε πολύτιμους γι 'αυτούς και στη συνέχεια προσελκύστε ένα μαζικό κοινό. Το δεύτερο πιο σημαντικό καθήκον είναι να σχηματίσουν και να μεταδώσουν στους προγραμματιστές ένα σαφές και ολιστικό όραμα του τελικού προϊόντος, προκειμένου να τους παρακινήσουν να εργαστούν υπό τέτοιες προϋποθέσεις, όταν ορισμένες απαιτήσεις μπορεί να αλλάξουν και οι προτεραιότητες εξαρτώνται από τις ανατροφοδοτήσεις που προέρχονται από τους πρώτους πελάτες. Ως εκ τούτου, ένα σημαντικό καθήκον είναι να διαχειριστείτε τις προσδοκίες των πελατών από τη μία πλευρά και τους προγραμματιστές από την άλλη. Έτσι, ούτε οι άλλοι δεν έχουν χάσει ενδιαφέρον και έφεραν το έργο πριν από την ολοκλήρωση. Μετά το πρώτο επιτυχημένο έργο, γίνεται ευκολότερο και το κύριο καθήκον θα βρει το σωστό μοντέλο ανάπτυξης για τη νέα επιχείρηση.
Ο όρος "μεγάλη ημερομηνία" μπορεί να είναι ήδη αναγνωρίσιμη σήμερα, αλλά εξακολουθούν να υπάρχουν ακόμη μεγάλη σύγχυση γύρω από αυτό που πραγματικά σημαίνει. Στην πραγματικότητα, η έννοια αναπτύσσεται συνεχώς και αναθεωρείται, καθώς παραμένει η κινητήρια δύναμη πολλών συνεχιζόμενων ψηφιακών κυμάτων μετατροπής, συμπεριλαμβανομένης της τεχνητής νοημοσύνης, της επιστήμης των δεδομένων και του Διαδικτύου των πραγμάτων. Αλλά ποια είναι η τεχνολογία μεγάλων δεδομένων και πώς αλλάζει τον κόσμο μας; Ας προσπαθήσουμε να καταλάβουμε την εξήγηση της ουσίας της τεχνολογίας μεγάλης ημερομηνίας και ότι σημαίνει απλά λόγια.
Καταπληκτική ανάπτυξη μεγάλης ημερομηνίας
Όλα ξεκίνησαν με την "έκρηξη" στο ποσό των δεδομένων που δημιουργήσαμε από την αρχή της ψηφιακής εποχής. Αυτό οφείλεται σε μεγάλο βαθμό στην ανάπτυξη υπολογιστών, του Διαδικτύου και των τεχνολογιών που είναι ικανές να "αρπάξουν" δεδομένα από τον κόσμο γύρω μας. Τα ίδια τα δεδομένα δεν είναι μια νέα εφεύρεση. Ακόμη και πριν από την εποχή των υπολογιστών και των βάσεων δεδομένων, χρησιμοποιήσαμε αρχεία χαρτιού συναλλαγών, αρχείων-πελάτη και αρχειοθέτησης αρχείων που είναι δεδομένα. Υπολογιστές, ειδικά τα υπολογιστικά φύλλα και τις βάσεις δεδομένων, επιτρέπουν να αποθηκεύσουμε εύκολα και απλά να αποθηκεύουν και να οργανώνουμε δεδομένα σε μεγάλη κλίμακα. Ξαφνικά, οι πληροφορίες είναι διαθέσιμες χρησιμοποιώντας ένα κλικ του ποντικιού.
Παρ 'όλα αυτά, έχουμε περάσει πολύ από τους αρχικούς πίνακες και τις βάσεις δεδομένων. Σήμερα, κάθε δύο μέρες δημιουργούμε τόσα πολλά δεδομένα όπως πήραμε από την αρχή μέχρι το 2000. Αυτό είναι σωστό, κάθε δύο ημέρες. Και το ποσό των δεδομένων που δημιουργούμε συνεχίζει να αναπτύσσεται γρήγορα. Μέχρι το 2020, ο όγκος των διαθέσιμων ψηφιακών πληροφοριών θα αυξηθεί κατά περίπου 5 zettabites μέχρι 20 zettabites.
Επί του παρόντος, σχεδόν κάθε ενέργεια που αναλαμβάνουμε, αφήνει το σημάδι σας. Δημιουργούμε δεδομένα όποτε μπαίνουμε στο διαδίκτυο όταν μεταφέρουμε τα smartphones μας εξοπλισμένα με μια ενότητα αναζήτησης όταν μιλάμε με το οικείο μας μέσω κοινωνικών δικτύων ή συνομιλιών κλπ. Επιπλέον, η ποσότητα των δεδομένων που δημιουργείται από τα μηχανήματα αυξάνεται επίσης γρήγορα. Τα δεδομένα δημιουργούνται και εφαρμόζονται όταν οι έξυπνες οικιακές συσκευές ανταλλάσσουν δεδομένα μεταξύ τους ή με τους δικούς του διακομιστές στο κέντρο της πόλης. Ο βιομηχανικός εξοπλισμός σε εργοστάσια και εργοστάσια εξοπλίζεται όλο και περισσότερο με αισθητήρες που συσσωρεύουν και μεταδίδουν δεδομένα.
Ο όρος "μεγάλα δεδομένα" αναφέρεται στη συλλογή όλων αυτών των δεδομένων και την ικανότητά μας να τις χρησιμοποιούμε προς τα δικά τους συμφέροντα σε ένα ευρύ φάσμα τομέων, συμπεριλαμβανομένων των επιχειρήσεων.
Πώς λειτουργεί η τεχνολογία μεγάλων δεδομένων;
Μεγάλη ημερομηνία έργων στην αρχή: Όσο περισσότερο γνωρίζετε για ένα ή ένα άλλο θέμα ή φαινόμενο, τόσο πιο αξιόπιστα μπορείτε να επιτύχετε μια νέα κατανόηση και να προβλέψετε τι θα συμβεί στο μέλλον. Κατά τη σύγκριση ενός μεγαλύτερου αριθμού σημείων δεδομένων, προκύπτουν οι σχέσεις που ήταν προηγουμένως κρυμμένες και αυτές οι σχέσεις μας επιτρέπουν να μάθουμε και να κάνουμε περισσότερες αποφάσεις. Τις περισσότερες φορές αυτό γίνεται με τη χρήση μιας διαδικασίας που περιλαμβάνει τα κτίρια που βασίζονται σε δεδομένα που μπορούμε να συλλέξουμε και να ξεκινήσουμε περαιτέρω απομίμηση, κατά την οποία οι τιμές των σημείων δεδομένων κάθε φορά διαμορφώνονται και παρακολουθούν πώς επηρεάζουν τα αποτελέσματά μας. Αυτή η διαδικασία είναι αυτοματοποιημένη - σύγχρονες τεχνολογίες Analytics θα ξεκινήσουν εκατομμύρια αυτούς τους προσομοιώσεις, δημιουργώντας όλες τις πιθανές μεταβλητές μέχρι να βρεθεί το μοντέλο - ή την ιδέα - που θα βοηθήσει στην επίλυση του προβλήματος πάνω στο οποίο εργάζονται.
Bil Gates που κρέμονται πάνω από τα περιεχόμενα χαρτιού ενός δίσκου
Μέχρι πρόσφατα, τα δεδομένα περιορίζονταν σε υπολογιστικά φύλλα ή βάσεις δεδομένων - και όλα ήταν πολύ παραγγελθέντα και τακτοποιημένα. Το μόνο που ήταν αδύνατο να οργανωθεί εύκολα σε σειρές και στήλες, θεωρήθηκε πολύ περίπλοκη για την εργασία και αγνοήθηκε. Ωστόσο, η πρόοδος στον τομέα της αποθήκευσης και των αναλυτικών σημαίνει ότι μπορούμε να διορθώσουμε, να αποθηκεύσουμε και να επεξεργαστούμε ένα μεγάλο ποσό δεδομένων διαφόρων τύπων. Ως αποτέλεσμα, τα "δεδομένα" ενδέχεται να σημαίνουν οτιδήποτε, ξεκινώντας βάσεις δεδομένων και τελειώνοντας με φωτογραφίες, βίντεο, εγγραφή, γραπτά κείμενα και δεδομένα αισθητήρα.
Για να κατανοήσουμε όλα αυτά τα αδιάκριτα δεδομένα, τα έργα που βασίζονται στη μεγάλη ημερομηνία συχνά χρησιμοποιούν εξαιρετικά σύγχρονα αναλύματα με τη συμμετοχή της τεχνητής νοημοσύνης και της μάθησης στον υπολογιστή. Διδασκαλία υπολογιστικών μηχανών για τον προσδιορισμό των συγκεκριμένων δεδομένων - για παράδειγμα, αναγνωρίζοντας τις εικόνες ή την επεξεργασία μιας φυσικής γλώσσας - μπορούμε να τους διδάξουμε να καθορίσουν τα μοντέλα πολύ ταχύτερα και πιο αξιόπιστα από εμείς οι ίδιοι.
Πώς είναι η μεγάλη ημερομηνία;
Αυτή η συνεχώς αυξανόμενη ροή πληροφοριών σχετικά με τα δεδομένα αισθητήρων, τα δεδομένα, τη φωνή, τη φωτογραφία και τα δεδομένα βίντεο σημαίνει ότι μπορούμε τώρα να χρησιμοποιήσουμε αυτές τις μεθόδους που δεν μπορούσαν να υποβληθούν πριν από λίγα χρόνια. Αυτό φέρνει επαναστατικές αλλαγές στον κόσμο της επιχείρησης δύσκολα σε κάθε βιομηχανία. Σήμερα, οι εταιρείες μπορούν να προβλέψουν με απίστευτη ακρίβεια, ποιες συγκεκριμένες κατηγορίες πελατών θα θέλουν να κάνουν την απόκτηση και πότε. Η μεγάλη ημερομηνία βοηθά επίσης τις εταιρείες να εκτελούν τις δραστηριότητές τους πολύ πιο αποτελεσματικά.
Ακόμη και εκτός του πεδίου εφαρμογής των επιχειρηματικών σχεδίων που σχετίζονται με τα μεγάλα δεδομένα βοηθούν ήδη να αλλάξουμε τον κόσμο μας με διάφορους τρόπους:
- Η βελτίωση της υγειονομικής περίθαλψης - η ιατρική, η οποία διαχειρίζεται δεδομένα, είναι σε θέση να αναλύσει ένα τεράστιο ποσό ιατρικών πληροφοριών και εικόνων για μοντέλα που μπορούν να βοηθήσουν στην ανίχνευση της νόσου σε πρώιμο στάδιο και να αναπτύξουν νέα φάρμακα.
- Πρόβλεψη και αντίδραση σε φυσικές και ανθρωπογενείς καταστροφές. Τα δεδομένα αισθητήρα μπορούν να αναλυθούν για να προβλέψουν πού μπορούν να εμφανιστούν σεισμοί και το μοντέλο της ανθρώπινης συμπεριφοράς δίνει ώθηση ότι οι οργανισμοί βοηθούν τους επιζώντες. Η τεχνολογία μεγάλης ημερομηνίας χρησιμοποιείται επίσης για την παρακολούθηση και την προστασία της ροής του πρόσφυγα από τις ζώνες υποδοχής παγκοσμίως.
- Αποτρέποντας το έγκλημα. Οι αστυνομικές δυνάμεις χρησιμοποιούν όλο και περισσότερο στρατηγικές που βασίζονται σε δεδομένα που περιλαμβάνουν τη δική τους πληροφορία πληροφοριών και πληροφορίες από ανοικτή πρόσβαση για αποτελεσματικότερη χρήση πόρων και καθιστώντας τα αποτρεπτικά, όπου είναι απαραίτητο.
Τα καλύτερα βιβλία για τη μεγάλη τεχνολογία δεδομένων
- Ολοι λένε ψέματα. Οι μηχανές αναζήτησης, τα μεγάλα δεδομένα και το Διαδίκτυο γνωρίζουν τα πάντα για εσάς.
- Μεγάλα δεδομένα. Όλη η τεχνολογία σε ένα βιβλίο.
- Βιομηχανία ευτυχίας. Όπως τα μεγάλα δεδομένα και οι νέες τεχνολογίες συμβάλλουν στην προσθήκη συγκίνησης σε αγαθά και υπηρεσίες.
- Επανάσταση σε Analytics. Όπως και στην εποχή των μεγάλων δεδομένων, βελτιώστε την επιχείρησή σας χρησιμοποιώντας το λειτουργικό Analytics.
Προβλήματα με μεγάλα δεδομένα
Η μεγάλη ημερομηνία μας δίνει πρωτοφανές ιδέες και ευκαιρίες, αλλά δημιουργεί επίσης προβλήματα και ερωτήσεις που πρέπει να λυθούν:
- Η εμπιστευτικότητα των δεδομένων είναι μεγάλα δεδομένα, τα οποία δημιουργούμε σήμερα, περιέχει πολλές πληροφορίες σχετικά με την προσωπική μας ζωή, για την εμπιστευτικότητα της οποίας έχουμε πλήρη σωστή. Όλο και περισσότερο και πιο συχνά καλούμε να βρούμε την ισορροπία μεταξύ του αριθμού των προσωπικών δεδομένων που αποκαλύπτουμε και την ευκολία που προσφέρουν εφαρμογές και υπηρεσίες με βάση τη χρήση μεγάλων ημερομηνιών.
- Προστασία δεδομένων - Ακόμη και αν αποφασίσουμε ότι είμαστε ικανοποιημένοι με το γεγονός ότι κάποιος έχει τα δεδομένα μας για συγκεκριμένο σκοπό, μπορούμε να το εμπιστευθούμε με την ασφάλεια και την ασφάλεια των δεδομένων μας;
- Διακρίσεις δεδομένων - Όταν όλες οι πληροφορίες είναι γνωστές, θα είναι αποδεκτή διάκριση εις βάρος των ατόμων που βασίζονται σε δεδομένα από την προσωπική τους ζωή; Χρησιμοποιούμε ήδη πιστοληπτικές αξιολογήσεις για να αποφασίσουμε ποιος μπορεί να πάρει χρήματα και η ασφάλιση εξαρτάται επίσης σε μεγάλο βαθμό από τα δεδομένα. Θα πρέπει να αναμένουμε ότι θα αναλυθούν και θα αξιολογήσουμε λεπτομερέστερα, αλλά είναι απαραίτητο να προσέξουμε ότι δεν περιπλέκει τη ζωή των ανθρώπων αυτών που έχουν μικρότερους πόρους και περιορισμένη πρόσβαση σε πληροφορίες.
Η εκτέλεση αυτών των καθηκόντων αποτελεί σημαντικό στοιχείο της μεγάλης ημερομηνίας και πρέπει να λύσουν οργανισμούς που επιθυμούν να χρησιμοποιήσουν τέτοια δεδομένα. Η αδυναμία άσκησης αυτού μπορεί να κάνει τις επιχειρήσεις ευάλωτους και όχι μόνο από την άποψη της φήμης της, αλλά και από το νομικό και οικονομικό μέρος.
Κοιτάζοντας το μέλλον
Τα δεδομένα αλλάζουν τον κόσμο μας και η ζωή μας είναι ένας πρωτοφανής ρυθμός. Εάν τα μεγάλα δεδομένα είναι ικανά για όλα αυτά σήμερα - φανταστείτε τι θα είναι σε θέση να είναι αύριο. Το ποσό των δεδομένων που διαθέτει μόνο θα αυξηθεί και η τεχνολογία Analytics θα γίνει ακόμη πιο προχωρημένη.
Για τις επιχειρήσεις, η δυνατότητα εφαρμογής μεγάλης ημερομηνίας θα γίνει όλο και πιο αποφασιστική τα επόμενα χρόνια. Μόνο οι εταιρείες που εξετάζουν τα δεδομένα ως στρατηγικό περιουσιακό στοιχείο θα επιβιώσουν και θα ανθίσουν. Εκείνοι που αγνοούν αυτόν τον κίνδυνο επανάστασης που διαμένουν πίσω.
