Ερ:
Ποιες ήταν οι συνθήκες που οδήγησαν στην άνοδο του μεγάλου οικοσυστήματος δεδομένων;
ΕΝΑ:Υπάρχουν πολλοί παράγοντες που συνέβαλαν στην εμφάνιση του σημερινού μεγάλου οικοσυστήματος δεδομένων, αλλά υπάρχει γενική συναίνεση ότι τα μεγάλα δεδομένα προέκυψαν εξαιτίας ενός εύρους σχεδίων υλικού και λογισμικού που απλά επέτρεψαν τη δημιουργία μεγάλων δεδομένων.
| Webinar: Μεγάλο σίδερο, Γνωρίστε μεγάλα δεδομένα: Απελευθερώστε δεδομένα κεντρικών υπολογιστών με το Hadoop & Spark Εγγραφείτε εδώ |
Ένας συμβατικός ορισμός των μεγάλων δεδομένων είναι ο ακόλουθος: σύνολα δεδομένων που είναι αρκετά μεγάλα και σύνθετα ώστε να αψηφούν την εύκολη επαναληπτική διαχείριση ή τη διαχείριση με το χέρι. Τα μεγάλα σύνολα δεδομένων συχνά αναγνωρίζονται ως σύνολα δεδομένων που δεν μπορούν να χωρέσουν σε ένα απλό δίκτυο βάσεων δεδομένων, επειδή η ανάλυσή τους απαιτεί πάρα πολλή εργασία από τους διακομιστές που χειρίζονται τα δεδομένα.
Με αυτό το σκεπτικό, ένα μεγάλο μέρος αυτού που δημιούργησε μεγάλα δεδομένα είναι η ιδέα που γνωρίζουμε ως νόμο του Moore ή ο διπλασιασμός των τρανζίστορ σε ένα κύκλωμα κάθε δύο χρόνια, δημιουργώντας ολοένα και μικρότερες συσκευές αποθήκευσης υλικού και δεδομένων (καθώς και ισχυρότερους μικροεπεξεργαστές) . Σε συνδυασμό με το νόμο του Moore και πιθανώς λόγω αυτού, η υπολογιστική ικανότητα των προσβάσιμων συστημάτων λογισμικού συνέχισε να αυξάνεται μέχρι το σημείο όπου ακόμα και οι προσωπικοί υπολογιστές θα μπορούσαν να χειριστούν πολύ μεγαλύτερα ποσά δεδομένων και τα συστήματα επιχειρήσεων και πρωτοποριακών συστημάτων άρχισαν να είναι σε θέση να χειρίζονται τα μεγέθη δεδομένων αδιανόητο μόνο μερικά χρόνια πριν. Τα προσωπικά συστήματα μετακινήθηκαν από kilobytes σε megabyte και στη συνέχεια σε gigabytes, με μια διαδικασία διαφανή για τους καταναλωτές. Τα συστήματα πρωτοπορίας μετακινούνταν από gigabytes σε terabytes και petabytes και σε τάξεις μεγέθους όπως τα zetabytes, με τρόπους που ήταν πολύ λιγότερο διαφανείς για τον μέσο πολίτη.
Μια άλλη εξέλιξη που φιλοξένησε μεγάλα δεδομένα ήταν αλλαγές στους τρόπους με τους οποίους οι χειριστές επεξεργάστηκαν σύνολα δεδομένων. Αντί για την γραμμική επεξεργασία μέσω ενός συμβατικού σχεδιασμού σχεσιακής βάσης δεδομένων, οι χειριστές άρχισαν να χρησιμοποιούν εργαλεία όπως το Apache Hadoop και τα σχετικά εξαρτήματα διαχείρισης υλικού για την εξάλειψη των σημείων συμφόρησης στις διαδικασίες δεδομένων.
Το αποτέλεσμα είναι ο μεγάλος κόσμος των δεδομένων στον οποίο ζούμε, όπου αποθηκεύονται και διατηρούνται μαζικά σύνολα δεδομένων σε κέντρα δεδομένων και προσφέρεται όλο και περισσότερο από ένα ευρύ φάσμα τεχνολογιών για ένα ευρύ φάσμα χρήσεων. Από το εμπόριο στην οικολογία, από τον δημόσιο σχεδιασμό έως την ιατρική, τα μεγάλα δεδομένα γίνονται ολοένα και πιο προσιτά. Εν τω μεταξύ, κυβερνητικές υπηρεσίες και άλλοι μεγαλύτεροι οργανισμοί εξακολουθούν να πιέζουν τα όρια των μεγάλων μεγεθών δεδομένων και να εφαρμόζουν ακόμα πιο προηγμένες λύσεις.
