Η εξέλιξη των μεγάλων δεδομένων

Στις αρχές της δεκαετίας του 2000, ήταν σαφές ότι υπήρξε τεράστια ανάγκη για καινοτομία όσον αφορά τα δεδομένα. Περιορισμοί σε ό, τι επιχειρήσεις θα μπορούσαν να κάνουν με τα δεδομένα τους απογοητευμένοι στελέχη και μειωμένη αποδοτικότητα τρομερά. Πολλές εταιρείες αποθηκεύουν τεράστιες ποσότητες πληροφοριών, αλλά απλώς δεν μπόρεσαν να το διαχειριστούν, να αναλύσουν ή να το χειριστούν προς όφελός τους. Είναι αυτή η αυξανόμενη πίεση που έδωσε τη θέση της στα μεγάλα σύνορα δεδομένων.

Το 2003, η Google δημιούργησε το MapReduce, μια εφαρμογή δεδομένων που επέτρεψε στην επιχείρηση να επεξεργαστεί και να αναλύσει πληροφορίες σχετικά με τα ερωτήματα αναζήτησης σε χιλιάδες διακομιστές σε σύντομο χρονικό διάστημα. Τόσο κλιμακώσιμο όσο και προσαρμόσιμο, το πρόγραμμα επέτρεψε στην Google να εκτελεί χιλιάδες εργασίες δεδομένων σε απλά λεπτά, γεγονός που βελτίωσε την παραγωγικότητα και επαναπροσδιόρισε τα όρια σχετικά με το τι θα μπορούσε να γίνει με τα δεδομένα. Σχεδόν 10 χρόνια αργότερα, τα μεγάλα δεδομένα έχουν καταστεί κεντρικό στοιχείο της τεχνολογίας των πληροφοριών. Η εκτεταμένη εμβέλειά του και η ικανότητά του έχουν αλλάξει θεμελιωδώς τη διαχείριση δεδομένων στον εργασιακό χώρο. Αλλά τι ώθησε αυτή την εξέλιξη και πώς ακριβώς θα επηρεάσουν τα μεγάλα δεδομένα το μέλλον; Σκεφτήκαμε ότι ποτέ δεν θα ρωτούσατε. (Για κάποιες αναγνώσεις στο υπόβαθρο σε μεγάλα δεδομένα, δείτε τα Μεγάλα Δεδομένα: Πώς καταγράφονται, παραμορφώνονται και χρησιμοποιούνται για να γίνουν αποφάσεις επιχείρησης).

Αναζητώντας απαντήσεις σε μεγάλες ερωτήσεις δεδομένων

Η ομορφιά του MapReduce ήταν ο τρόπος απλοποίησης πολύπλοκων εργασιών. Η επικοινωνία θα μπορούσε να αντιμετωπιστεί σε όλες τις μηχανές, θα μπορούσαν να αντιμετωπιστούν οι αποτυχίες του συστήματος και τα δεδομένα εισόδου θα μπορούσαν να οργανωθούν αυτόματα, μια διαδικασία που θα μπορούσε να εποπτεύεται από άτομα που δεν χρειάζονται πλέον τεχνικές δεξιότητες. Με την επεξεργασία δεδομένων όχι μόνο δυνατή αλλά και προσιτή, η Google ενέπνευσε μια πολιτισμική μετατόπιση στη διαχείριση δεδομένων. Δεν ήταν πολύ πριν από χιλιάδες μεγάλες επιχειρήσεις που χρησιμοποιούν το MapReduce για τα δεδομένα τους.

Αλλά υπήρχε ένα πρόβλημα: το MapReduce ήταν απλώς ένα μοντέλο προγραμματισμού. Ενώ διευκόλυνε τα βασικά στοιχεία της επεξεργασίας δεδομένων, δεν ήταν η ίδια η απάντηση σε υπάρχουσες ελλείψεις δεδομένων. ήταν ένα πολύ αναγκαίο βήμα προς τη σωστή κατεύθυνση. Οι εταιρείες εξακολουθούσαν να χρειάζονται ένα σύστημα που θα μπορούσε να καλύψει τις μοναδικές ανάγκες δεδομένων τους και να υπερβεί τα βασικά στοιχεία της διαχείρισης δεδομένων. Εν ολίγοις, η τεχνολογία που απαιτείται για την εξέλιξη.

Εισάγετε τον Hadoop

Εισάγετε το Hadoop, ένα λογισμικό πλαισίου ανοικτού κώδικα που δημιουργήθηκε από διάφορους προγραμματιστές, συμπεριλαμβανομένου του Doug Cutting. Όπου το MapReduce ήταν βασικό και ευρύ, ο Hadoop παρείχε μια αναζωογονητική ιδιαιτερότητα. Οι εταιρείες θα μπορούσαν να σχεδιάσουν τις δικές τους εξατομικευμένες εφαρμογές που κάλυπταν ανάγκες δεδομένων με τρόπους που δεν θα μπορούσαν να χρησιμοποιηθούν από άλλο λογισμικό και ήταν γενικά συμβατοί με άλλα συστήματα αρχείων. Μια επιχείρηση με ταλαντούχους προγραμματιστές θα μπορούσε να σχεδιάσει ένα σύστημα αρχείων που θα επιτύγχανε μοναδικές εργασίες με δεδομένα που φαινόταν απρόσιτα πριν. Ίσως το καλύτερο μέρος γι 'αυτό ήταν ότι οι προγραμματιστές θα μοιράζονταν εφαρμογές και προγράμματα μεταξύ τους που θα μπορούσαν να εξεταστούν και να τελειοποιηθούν.

Με τον εκδημοκρατισμό ενός τόσο σημαντικού πόρου, ο Hadoop έγινε μια τάση. Εξάλλου, πολλές μεγάλες εταιρείες, ειδικά οι εταιρείες μηχανών αναζήτησης, θεώρησαν ότι την χρειάζονταν εδώ και δεκαετίες! Δεν ήταν πολύ καιρό πριν οι γίγαντες των μηχανών αναζήτησης, όπως το Yahoo, ανακοινώνουν την εφαρμογή μεγάλων εφαρμογών Hadoop που παρήγαγαν τα δεδομένα που χρησιμοποιούνται στα ερωτήματα αναζήτησης στο Web. Σε κάτι που φαινόταν σαν ένα κύμα, αρκετές εξέχουσες εταιρείες ανακοίνωσαν την υιοθέτηση αυτής της τεχνολογίας για τις τεράστιες βάσεις δεδομένων τους, όπως το Facebook, το Amazon, το Fox, το Apple, το eBay και το FourSquare. Ο Hadoop έθεσε το νέο πρότυπο επεξεργασίας δεδομένων.

Μεγάλα δεδομένα, μεγάλα προβλήματα

Ενώ οι εξελίξεις στην τεχνολογία των δεδομένων έχουν αναμορφώσει τον τρόπο με τον οποίο οι εταιρείες επεξεργάζονται τα δεδομένα, πολλά στελέχη τους εξακολουθούν να βρίσκουν μη εξειδικευμένα για το πλήρες φάσμα των απαιτούμενων εργασιών. Τον Ιούλιο του 2012, η ​​Oracle δημοσίευσε μια έρευνα πάνω από 300 στελέχη σε επίπεδο C, οι οποίες αποκάλυψαν ότι ενώ το 36% των εταιρειών βασίζονται στην πληροφορική για να διαχειρίζονται και να αναλύουν δεδομένα, το 29% των συμμετεχόντων θεωρούν ότι τα συστήματά τους δεν διαθέτουν επαρκείς ικανότητες, ανάγκες. Ενδεχομένως το πιο εντυπωσιακό εύρημα της μελέτης ήταν ότι το 93 τοις εκατό των ερωτηθέντων πιστεύει ότι η εταιρεία τους έχασε έως και 14 τοις εκατό των εσόδων της επειδή δεν ήταν σε θέση να χρησιμοποιήσει τα δεδομένα που συλλέχθηκαν. Αυτά τα έσοδα θα μπορούσαν να δαπανηθούν για την παραγωγή καλύτερων προϊόντων και την πρόσληψη περισσότερων εργαζομένων. Σε μια εποχή όπου οι εταιρείες αγωνίζονται να παραμείνουν κερδοφόρες, η βελτίωση των δεδομένων ώστε οι επιχειρήσεις να καταστούν πιο επικερδείς είναι μια αναγκαιότητα. Η έρευνα δείχνει ότι παρά τους ανθρώπους που πιστεύουν ότι η επιρροή των μεγάλων δεδομένων στο εμπόριο έχει ήδη περάσει, οι ευκαιρίες ανάπτυξης και εξέλιξης που κατέχουν δεν έχουν ακόμη υλοποιηθεί πλήρως.

Τι το μέλλον κρατάει για μεγάλα δεδομένα

Τα καλά νέα είναι ότι το Hadoop και το MapReduce έχουν εμπνεύσει πολλά άλλα εργαλεία διαχείρισης δεδομένων. Πολλές νέες εταιρείες δημιουργούν εκτεταμένες πλατφόρμες δεδομένων που εκτελούνται στον Hadoop, αλλά προσφέρουν ένα ευρύ φάσμα αναλυτικών λειτουργιών και ευκολότερη ολοκλήρωση του συστήματος. Φαίνεται ότι οι εταιρείες έχουν επενδύσει πολλούς πόρους στην αντιμετώπιση των ανησυχιών σχετικά με τα δεδομένα και η οικονομική επιτυχία των εταιρειών δεδομένων έχει αποδείξει αυτό. Το 2010, οι επιχειρήσεις δεδομένων έκαναν περίπου 3, 2 δισεκατομμύρια δολάρια σε λιανικές πωλήσεις. Πολλοί εμπειρογνώμονες έχουν εκτιμήσει ότι ο αριθμός αυτός θα αυξηθεί σε ένα επιβλητικό 17 δισεκατομμύρια δολάρια μόνο το έτος 2015. Αυτό είναι γεγονός που δεν χάθηκε σε μερικές από τις μεγαλύτερες εταιρείες τεχνολογίας. Τόσο η IBM όσο και η Oracle έχουν δαπανήσει δισεκατομμύρια κατά τους τελευταίους μήνες για να αποκτήσουν εταιρίες δεδομένων. Πολλές άλλες επιχειρήσεις θα κάνουν παρόμοιες κινήσεις τα επόμενα χρόνια, καθώς συνεχίζουν να αγωνίζονται για ένα ανταγωνιστικό μερίδιο αγοράς.

Η Μεγάλη Περιοχή Δεδομένων

Η ποσότητα των δεδομένων που συλλέγονται συνεχίζει να αυξάνεται εκθετικά, η οποία έχει κάποια ανησυχία και άλλα ενθουσιασμένα. Το αντίθετο είναι ότι τα ανθρώπινα όντα θα συνεχίσουν να γίνονται πιο παραγωγικά και προσαρμοστικά καθώς μαθαίνουμε νέα πράγματα για τον κόσμο μας μέσω της ανάλυσης δεδομένων. Το μειονέκτημα είναι ότι υπάρχει ένα τεράστιο ποσό δεδομένων που πολλοί φοβούνται ότι δεν είμαστε σε θέση να αποθηκεύσουμε σωστά όλα αυτά, και μάλιστα να το διαχειριστούμε σωστά έτσι ώστε να μπορούν να χρησιμοποιηθούν από όλους όσους την χρειάζονται.

Τούτου λεχθέντος, η πρόοδος σε μεγάλα δεδομένα μπορεί να προσφέρει πρωτοφανείς ευκαιρίες για λύσεις σε επείγοντα ζητήματα σχετικά με τα δεδομένα. Για παράδειγμα, οι εμπειρογνώμονες έχουν προτείνει ότι εάν τα μεγάλα δεδομένα εφαρμοστούν σωστά με έμφαση στην αποτελεσματικότητα και την ποιότητα, θα έχουν τη δυνατότητα να εξοικονομήσουν περίπου 300 δισεκατομμύρια δολάρια ετησίως μόνο στις δαπάνες για την υγειονομική περίθαλψη. οι λιανοπωλητές θα είναι σε θέση να βελτιώσουν τα περιθώρια λειτουργίας τους, ο δημόσιος τομέας θα μπορούσε να προσφέρει καλύτερες υπηρεσίες και οι μεγάλες επιχειρήσεις θα σώσει δισεκατομμύρια. Επομένως, φαίνεται ότι η επίλυση των ζητημάτων που αφορούν τα δεδομένα μας δεν είναι απαραίτητη μόνο στα διοικητικά συμβούλια της εταιρείας, αλλά παντού. Το οποίο λέει καλά για το μέλλον των μεγάλων δεδομένων - και ίσως και το δικό μας.