Πώς μπορεί να βοηθήσει το sql on hadoop με μεγάλη ανάλυση δεδομένων;

Η SQL στο Hadoop είναι μια ομάδα αναλυτικών εργαλείων εφαρμογής που συνδυάζουν την αναζήτηση και την επεξεργασία δεδομένων SQL με τα πιο πρόσφατα στοιχεία πλαισίου δεδομένων Hadoop. Η εμφάνιση του SQL σε Hadoop είναι μια σημαντική εξέλιξη για τη μεγάλη επεξεργασία δεδομένων επειδή επιτρέπει σε ευρύτερες ομάδες ανθρώπων να εργαστούν με επιτυχία στο πλαίσιο επεξεργασίας δεδομένων Hadoop, εκτελώντας ερωτήματα SQL σχετικά με τους τεράστιους όγκους των μεγάλων δεδομένων που επεξεργάζεται η Hadoop. Προφανώς, το πλαίσιο Hadoop δεν ήταν προγενέστερα τόσο προσιτό στους ανθρώπους, ειδικά όσον αφορά τις δυνατότητες διερεύνησης. Με βάση την εξέλιξη, πολλά εργαλεία βρίσκονται στα έργα που υπόσχονται να βελτιώσουν την παραγωγικότητα των επιχειρήσεων όταν πρόκειται να επεξεργαστούν και να αναλύσουν μεγάλα δεδομένα με ποιότητα και ταχύτητα. Δεν υπάρχει επίσης ανάγκη να επενδύσουμε πολλά στην εκμάθηση του εργαλείου, όπως θα έπρεπε να κάνουν οι παραδοσιακές γνώσεις της SQL.

Ορισμός της SQL στο Hadoop

Η SQL στο Hadoop είναι μια ομάδα εφαρμογών που σας επιτρέπουν να εκτελείτε επερωτήσεις τύπου SQL σε μεγάλα δεδομένα που φιλοξενούνται από το πλαίσιο επεξεργασίας δεδομένων Hadoop. Προφανώς, η αναζήτηση, η ανάκτηση δεδομένων και η ανάλυση δεδομένων έγιναν ευκολότερα με την προσθήκη SQL στο Hadoop. Δεδομένου ότι η SQL σχεδιάστηκε αρχικά για σχεσιακές βάσεις δεδομένων, έπρεπε να τροποποιηθεί σύμφωνα με το μοντέλο Hadoop 1 που περιλαμβάνει το MapReduce και το Hadoop Distributed File System (HDFS) και το μοντέλο Hadoop 2 που δεν διαθέτει MapReduce και HDFS.

Μία από τις πρώτες προσπάθειες συνδυασμού της SQL με τον Hadoop είχε ως αποτέλεσμα τη δημιουργία της αποθήκης δεδομένων Hive με το λογισμικό HiveQL, το οποίο θα μπορούσε να μεταφράσει ερωτήσεις τύπου SQL σε εργασίες MapReduce. Μετά από αυτό, αναπτύχθηκαν πολλές αιτήσεις που θα μπορούσαν να κάνουν παρόμοιες εργασίες. Τα σημαντικότερα από τα πιο πρόσφατα εργαλεία είναι τα Drill, BigSQL, HAWQ, Impala, Hadapt, Stinger, H-SQL, Splice, Presto, PolyBase, Spark, JethroData, Shark και Tez.