Τι είναι ακριβώς το hadoop; μια θεωρία του κυνικού

Οτιδήποτε φαίνεται πολύ καλό για να είναι αλήθεια είναι συνήθως. Αυτό μπορεί να συμβαίνει με το Apache Hadoop, το πολύ ανοιχτό έργο open-source που ο καθένας συνεχίζει να μιλάει. Τι ακριβώς είναι αυτό; Καλή ερώτηση!

Εμπειρογνώμονες

Ο αναλυτής Mark Madsen της Τρίτης Φύσης το καρφώθηκε στον τοίχο λίγο πίσω σε ένα πυρετό κομμάτι στο InsideAnalysis.com: "Τι είναι ο Hadoop, τι δεν είναι ο Hadoop". Ως κάποιος που ξέρει πώς να σχεδιάσει λύσεις πραγματικού κόσμου, στη συνέχεια να τις αναπτύξει, οι συμβουλές του δεν πρέπει να αγνοηθούν.

Αλλά υπάρχει ένα βαθύτερο ρεύμα που ρέει εδώ και ο καιρός είναι να ξεπεράσουμε τις ρίζες αυτής της συναρπαστικής χλωρίδας, για να δούμε αν δεν μπορούμε να κερδίσουμε κάποια προοπτική για το τι συμβαίνει σε περισσότερα από τα μακροοικονομικά επίπεδα. Μετά από όλα, οι πωλητές εξακολουθούν να λένε ότι είναι μεγάλη υπόθεση και υπάρχουν πολλοί συμμετέχοντες.

Απασχοληθείτε με τους Επιμελητές! (?)

Τρεις εταιρείες κατέχουν επί του παρόντος την πλειοψηφία της αγοράς της Hadoop στην αγορά: Cloudera, Hortonworks και MapR. Σε μια πρόσφατη, αρκετά αμφιλεγόμενη ενημέρωση μέσω του Boulder BI Brain Trust (#BBBT), ο Jim Walker του Hortonworks έκανε αυτό το περίεργο σχόλιο:

"Δεν μπορείτε να προωθήσετε την τεχνολογία εάν δεν χρησιμοποιείτε τους υπεύθυνους!"

Τι είπες?

Δεν ακούγεται σαν κάτι που θα μπορούσε να πει ο γερουσιαστής Palpatine σε μια ταινία Star Wars;

Ο γερουσιαστής Παλπατίν: "Απασχοληθείτε με τους δολοφόνους!"

Nearby Minion: "Αλλά, κύριε! Σκεφτείτε τα παιδιά!"

Για τον απλό λαό που απλά προσπαθεί να κάνει τα πράγματα, οι committers είναι άνθρωποι που είναι αφιερωμένοι σε ένα συγκεκριμένο έργο ανοιχτού κώδικα. Το Ίδρυμα Apache έχει αυστηρά πρωτόκολλα με τα οποία τα έργα τους προχωρούν, κάτι που είναι συχνά καλό.

Τούτου λεχθέντος, το σχόλιο του Walker απαιτεί εξέταση. Μια συγκεκριμένη ερώτηση (με κίνδυνο να μιλήσουμε για ημέρες παιδικής χαράς) θα ήταν: Είναι μια υπόσχεση ή μια απειλή; Μήπως λέει ότι η Hortonworks μπορεί να πάρει τη μπάλα και να πάει στο σπίτι;

Συνεργασία ή Ανταγωνισμός;

Η ενδιαφέρουσα, αν παραδόξως, γωνία εδώ είναι ότι σύμφωνα με πληροφορίες, οι περισσότεροι από τους υπεύθυνους για την ομάδα Hadoop (περίπου 30 περίπου) προέρχονται από την Hortonworks και την Cloudera - οι οποίοι είναι ανταγωνιστές. Αυτή είναι μια πολύ περίεργη περίπτωση ανταγωνισμού.

Λοιπόν, ποια είναι η συμφωνία; Εδώ είναι μια εκπαιδευμένη εικασία: ο Hadoop οφείλει σε μεγάλο βαθμό τη φήμη του σε ένα έξυπνο σχέδιο που σχεδιάστηκε από μια ομάδα επενδυτών κεφαλαίων της Silicon Valley και μηχανικών που ουσιαστικά προσπαθούν να αντισταθμίσουν τα στοιχήματά τους εναντίον της Oracle.

Η γενική ιδέα είναι να σπρώξετε την αγορά με ένα θεμέλιο κώδικα που μπορεί να ενισχυθεί και να ενισχυθεί από ένα στόλο προγραμματιστών που θα δημιουργήσει ιδανικά, με την πάροδο του χρόνου, όλα τα εργαλεία διαχείρισης δεδομένων, συμπεριλαμβανομένων των προϊόντων βάσης δεδομένων. Τα VC μπορούν να επενδύσουν και να εξαργυρώσουν κάποια μέρα. Αλλά υπάρχουν μερικές σοβαρές προκλήσεις στο παιχνίδι.

Όπως όλες οι μονολιθικές επιχειρήσεις, η Oracle συχνά βρίσκεται στο crosshair πολλών μικρότερων παικτών. Και ποιος δεν θα ήθελε απλά μια φέτα από τα νοστιμότατα έσοδά τους; Μόνο το τελευταίο τρίμηνο, η Oracle κράτησε ~ 9 δισεκατομμύρια δολάρια. Αλλά η πρόκληση του Big Red και η νίκη τους είναι δύο πολύ διαφορετικές πραγματικότητες.

Δωρεάν Webcast: Τι είναι ο Hadoop και πού πηγαίνει; Γίνετε μέλος του Eric Kavanagh, του Robin Bloor και του Techopedia για μια συζήτηση για το πώς ο Hadoop διαφέρει πολύ από το Linux ή το SOA και γιατί το μέλλον του παραμένει σε μεγάλο βαθμό άγραφο.

Προβλήματα συσκευασίας

Το πράγμα για τον Hadoop, per se, είναι ότι δεν είναι μια συσκευασμένη λύση με κανένα τρόπο. Πρόκειται μάλλον για μια περίπλοκη συλλογή ενοτήτων που επιτρέπουν στους προγραμματιστές υψηλής ποιότητας να εκμεταλλεύονται μαζικούς αλγόριθμους παράλληλης επεξεργασίας για να κάνουν πολύ συγκεκριμένα πράγματα. Αλλά δεν υπάρχει φανταχτερό περιβάλλον εργασίας χρήστη, και τα εγχειρίδια είναι βάναυση.

Προσθέστε αυτήν την κρίσιμη δυσκολία: χρειάζεστε επίσης επιχειρηματίες που έχουν τουλάχιστον μια γενική κατανόηση του τι μπορεί να κάνει. Αυτοί οι άνθρωποι πρέπει να είναι σε θέση να δημιουργήσουν ιδέες για το πώς μπορεί να χρησιμοποιηθεί, και στη συνέχεια να επικοινωνούν με τους προγραμματιστές, οι οποίοι πρέπει στη συνέχεια να παράγουν, να δοκιμάσουν, να εφαρμόσουν και να υποστηρίξουν εφαρμογές.

Η ενορχήστρωση αυτού του χορού είναι το πώς τα Cloudera και Hortonworks κάνουν πολλά από τα χρήματά τους. Το πρόβλημα είναι ότι οι περισσότερες από τις λύσεις που δημιουργούνται μέσω αυτής της μεθόδου είναι μοναδικές και συνήθως επικεντρώνονται σε λειτουργικά συστήματα σε αντίθεση με τα αναλυτικά. Μετάφραση? Τέτοιου είδους πράγματα δεν προσφέρονται πραγματικά σε συσκευασμένα προϊόντα λογισμικού.

Συσκευασία Κερδοφορία!

Αυτό μας φέρνει πίσω στην Oracle. Ο Larry Ellison και τα αγόρια κάνουν την τεχνολογία βάσης δεδομένων, το υλικό, τις υπηρεσίες και (περιμένετε …) πακέτο λογισμικού. Ο Cloudera φαινόταν να το βγάζει αυτό, εξ ου και η εστίασή τους στο Impala. Αλλά Hortonworks;

Το μοντέλο τους μοιάζει πιο στενά με αυτό του RedHat, των ανθρώπων που έχτισαν μια επιχείρηση δισεκατομμυρίων δολαρίων πάνω από το λειτουργικό σύστημα Linux. Ο Nary, ένας μεγάλος πωλητής στον κλάδο του λογισμικού της επιχείρησης, δεν γράφει για το Linux, το λειτουργικό σύστημα με το οποίο η IBM με επικεφαλής την Microsoft διέκοψε στο πέρασμα. Αλλά ο Hadoop δεν είναι Linux, όχι με μεγάλη απόσταση.

Ο Δρ. Geoffrey Malafsky, πρώην νανοτεχνολόγος για το Πολεμικό Ναυτικό των ΗΠΑ, τώρα ερευνητής δεδομένων με Phasic Systems και το Ινστιτούτο PSIKORS, αποστάζει την πρόταση αξίας Hadoop όπως αυτή:

"Hadoop είναι μεγάλη για αναζήτηση, πολύ μεγάλη ανάλυση τάσεων για στοχαστικά αποτελέσματα, και πιθανώς κάποια πολύ φτηνή έξυπνη παράλληλη επεξεργασία πράξεων όπως η πρώην σύζυγός μου έκαναν: κβαντικός μηχανικός υπολογισμός κύματος λειτουργίας στερεάς κατάστασης και χημικών αντιδράσεων. για τους υπερυπολογιστές και μετακινήθηκε κάπως σε παράλληλη επεξεργασία, αλλά είναι μια σκληρή αλλαγή της προσέγγισης προγραμματισμού.Πολλοί, έξυπνοι, ενεργητικοί μεταπτυχιακοί φοιτητές θα είναι αυτοί που θα κάνουν αυτό να συμβεί.Υπάρχει υποψία ότι οι ερευνητικές επιχορηγήσεις αρχίζουν να πηγαίνουν προς αυτή την κατεύθυνση για μερικές υψηλής ισχύος υπολογιστικές εφαρμογές. "

Θα παρατηρήσετε ότι δεν ακούγεται τίποτα όπως αποθήκευση δεδομένων, επιχειρηματική ευφυΐα, ενσωμάτωση δεδομένων ή ακόμα και μεγάλα δεδομένα. Ακούγεται σαν supercomputing. Και για κάποιο ενδιαφέρον λόγο, οι κόσμοι υπολογιστών υψηλών επιδόσεων και επιχειρησιακής νοημοσύνης ποτέ δεν συγκρούστηκαν ή συσσωματώθηκαν με κανένα ουσιαστικό τρόπο.

Long Road Ahead για τα Hortonworks και Cloudera

Και εδώ είναι τα πραγματικά άσχημα νέα για το Hortonworks και πιθανόν για το Cloudera. Οι μεγάλοι πωλητές όπως η IBM και η SAP και η Oracle και η Teradata - για να το βάλουν αυτό ήπια, και να παραθέσω την Dire Straits: "Οι τύποι δεν είναι χαζοί!" Πριν από τρία και περισσότερα χρόνια, όλοι τους έθεσαν σε εφαρμογή σοβαρές στρατηγικές Hadoop.

Τα βασικά σε αυτά τα σχέδια είναι τα είδη των επιχειρησιακών χρηστών που περιμένουν: γραφικές διεπαφές χρήστη, λειτουργικότητα drag-and-drop, εργαλεία μοντελοποίησης και ανεύρεσης, ροή εργασίας, διακυβέρνηση, ασφάλεια. με λίγα λόγια, όλα τα κομμάτια που κάνουν το επιχειρησιακό λογισμικό χρησιμοποιήσιμο. Και φυσικά, αυτοί οι μεγάλοι πωλητές έχουν τεράστιες βάσεις εγκατάστασης.

Για να είμαστε σίγουροι, οι Cloudera και Hortonworks έκαναν καλή δουλειά, αλλά μόνο ένα μικρό κλάσμα από αυτό που παίρνουν οι μεγάλοι παίκτες κάθε χρόνο. Μήπως τα μαθηματικά σχετικά με το πόσο οι αμφισβητίες χρεώνουν τους πελάτες τους, σε σύγκριση με το πόσο το κόστος τους πιθανό είναι, και η εικόνα δεν είναι τόσο ρόδινη. Χορηγείται, αυτό είναι το ίδιο για την πορεία με ανησυχίες λογισμικού πρώιμου σταδίου, αλλά ακόμα …

Το μέλλον του Hadoop;

Έτσι, θα μπορούσαμε να δούμε το κλασικό κύμα εξαγορών, όπως είχαμε και πάλι πίσω από τις άκρες, όταν η IBM αγόρασε την Cognos, η Oracle πήρε το Hyperion και η SAP ανέλαβε BusinessObjects; Ίσως, αλλά τα νέα παιδιά σε αυτό το μπλοκ δεν κατέχουν τον Hadoop. το δανείζουν απλά. Και όπως είναι πολλά υποσχόμενη όπως το YARN και η Tez, οι κύκλοι απελευθέρωσης φαίνεται να υστερούν σε σχέση με αυτό που παράγουν οι βαρύτεροι hitters.

Ακριβώς την άλλη μέρα, ένας εμπιστευόμενος κλάδος σχολίασε ότι η πολιτική στο Apache μπορεί να είναι σοβαρή συμφόρηση. Αυτό δεν προκαλεί έκπληξη, ειδικά όταν εξετάζετε τα δολάρια που εμπλέκονται-υπάρχει μεγάλο κίνητρο για τους πρωτοπόρους να το καταστήσουν πλούσιο. Και έχει παρατηρήσει κανείς πως το Chrome φαίνεται να ξεπέρασε τον Firefox σε λειτουργικότητα και λειτουργικότητα τον τελευταίο καιρό; Κλειστή πηγή, καθένας;

Ένα πράγμα είναι σίγουρο: αυτό το παιχνίδι θα παίξει έξω με μερικούς ενδιαφέροντες τρόπους. Ναι, τα θηλαστικά (διαβάστε τους μικρούς πωλητές) μπορούν συχνά να ξεπεράσουν τους δεινόσαυρους. αλλά υπάρχουν ακόμα αλιγάτορες και κροκόδειλοι σε όλο τον κόσμο. και αν σκοντάψετε σε κάποιον απρόσμενα, ίσως ανακαλύψετε πόσο αιχμηρά είναι τα δόντια. Μερικά κρόκα μαζί θα μπορούσαν ακόμη να πάρουν έναν ελέφαντα ή δύο.