Από το προσωπικό της Techopedia, 24 Φεβρουαρίου 2016
Takeaway: Η υποδοχή Rebecca Jozwiak συζητά τα αναλυτικά ροής με κορυφαίους ειδικούς της βιομηχανίας.
Δεν έχετε εισέλθει αυτήν τη στιγμή. Συνδεθείτε ή εγγραφείτε για να δείτε το βίντεο.
Rebecca Jozwiak: Κυρίες και κύριοι, γεια σου και καλώς ήρθατε στο Hot Technologies του 2016! Ο σημερινός τίτλος είναι "Η αξιοποίηση της Firehose: Απόκτηση επιχειρηματικής αξίας από ροή δεδομένων". Αυτή είναι η Rebecca Jozwiak. Είμαι ο δεύτερος στην εντολή για webcast host όταν ο αγαπητός μας Eric Kavanagh δεν μπορεί να είναι εδώ, οπότε είναι ωραίο να βλέπετε πολλούς από εσάς εκεί έξω σήμερα.
Αυτό το επεισόδιο είναι λίγο διαφορετικό από τα άλλα μας. Μας μίλησε κάπως για το τι είναι ζεστό και φυσικά φέτος είναι ζεστό. Τα τελευταία χρόνια ήταν ζεστά. Υπάρχουν πάντα νέα πράγματα που βγαίνουν. Σήμερα, μιλάμε για streaming analytics. Η αναλυτική ροή είναι κάτι το ίδιο νέο. Φυσικά streaming, κεντρικά δεδομένα, δεδομένα RFID, αυτά δεν είναι αναγκαστικά νέα. Αλλά στο πλαίσιο των αρχιτεκτονικών δεδομένων, έχουμε επικεντρωθεί τόσο σε δεδομένα που βρίσκονται σε κατάσταση ηρεμίας εδώ και δεκαετίες. Βάσεις δεδομένων, συστήματα αρχείων, αποθετήρια δεδομένων - όλα για το σκοπό κυρίως της επεξεργασίας παρτίδων. Αλλά τώρα με τη μετατόπιση για να δημιουργήσει αξία από streaming δεδομένων, τα συναισθήματα δεδομένων, μερικά αποκαλούν ζωντανά ρεύματα, απαιτούν πραγματικά μια αρχιτεκτονική που βασίζεται σε ροή, όχι τα δεδομένα σε αρχιτεκτονικές ανάπαυσης που έχουμε συνηθίσει και πρέπει να είναι ικανά χειρισμός γρήγορης κατάποσης, επεξεργασίας σε πραγματικό χρόνο ή σχεδόν σε πραγματικό χρόνο. Πρέπει να είναι σε θέση να εξυπηρετήσει όχι μόνο το Διαδίκτυο των πραγμάτων, αλλά και το Διαδίκτυο όλων.
Φυσικά, ιδανικά, θα ήταν ωραίο να έχουμε τις δύο αρχιτεκτονικές να ζουν δίπλα-δίπλα, με το ένα χέρι να πλένουν το άλλο, να το πω έτσι. Παρόλο που τα δεδομένα μιας ημέρας, τα δεδομένα μιας εβδομάδας, τα παλιά δεδομένα εξακολουθούν φυσικά να έχουν αξία, ιστορικές αναλύσεις, ανάλυση τάσεων, αυτά τα δεδομένα ζωντανεύουν τις ζωντανές μυστικές πληροφορίες αυτές τις μέρες και γι 'αυτό το λόγο η ανάλυση ροής έχει γίνει τόσο σημαντική.
Μιλάω περισσότερο γι 'αυτό σήμερα. Έχουμε τον επιστήμονα δεδομένων μας, Dez Blanchfield, που καλεί από την Αυστραλία. Είναι νωρίς το πρωί γι 'αυτόν τώρα. Έχουμε τον επικεφαλής αναλυτή μας, Δρ. Robin Bloor. Είμαστε ενωμένοι με τον Anand Venugopal, επικεφαλής προϊόντος για το StreamAnalytix στις Impetus Technologies. Έχουν πραγματικά επικεντρωθεί στην πτυχή της ροής των αναλύσεων αυτού του χώρου.
Με αυτό, θα προχωρήσω και θα το περάσω στο Dez.
Dez Blanchfield: Σας ευχαριστώ. Πρέπει να πάρω τον έλεγχο της οθόνης εδώ και να προχωρήσω.
Rebecca Jozwiak: Εδώ πηγαίνετε.
Dez Blanchfield: Ενώ παγιδεύουμε τις διαφάνειες, επιτρέψτε μου να καλύψω μόνο το κεντρικό θέμα.
Θα το κρατήσω αρκετά υψηλό και θα το κρατήσω σε περίπου 10 λεπτά. Αυτό είναι ένα πολύ μεγάλο θέμα. Συμμετείχα σε ένα γεγονός όπου περάσαμε δύο έως τρεις ημέρες κατάδυσης στις λεπτομέρειες της επεξεργασίας ροής και των σημερινών πλαισίων που αναπτύσσουμε και τι θα έπρεπε να κάνουν τα αναλυτικά στοιχεία σε αυτές τις ροές μεγάλου όγκου.
Θα ξεκαθαρίσουμε μόνο τι εννοούμε με τη ροή των αναλυτικών στοιχείων και στη συνέχεια να διερευνήσουμε εάν η επιχειρηματική αξία μπορεί να προέλθει επειδή αυτό είναι πραγματικά αυτό που αναζητούν οι επιχειρήσεις. Επιδιώκουν να τους εξηγήσουν πολύ γρήγορα και συνοπτικά, από πού μπορώ να αντλήσω αξία εφαρμόζοντας κάποια μορφή αναλύσεων στα δεδομένα ρεύματος;
Τι είναι η ροή των αναλυτικών στοιχείων;
Τα αναλυτικά ροής δίνουν στους οργανισμούς έναν τρόπο να εξάγουν αξία από τα δεδομένα μεγάλου όγκου και υψηλής ταχύτητας που έχουν έρθει μέσω της επιχείρησης σε διάφορες μορφές σε κίνηση. Η σημαντική διαφορά εδώ είναι ότι είχαμε μια μακρά ιστορία ανάπτυξης αναλυτικών στοιχείων και φακών και απόψεων δεδομένων τα οποία επεξεργαζόμαστε σε κατάσταση ηρεμίας για δεκαετίες από την εφευρετικότητα του mainframe. Η μαζική μετατόπιση παραδείγματος που έχουμε δει τα τελευταία τρία έως πέντε χρόνια σε αυτό που ονομάζουμε "web scale" είναι η αξιοποίηση των ροών δεδομένων που έρχονται σε εμάς σε πραγματικό χρόνο ή κοντά σε πραγματικό χρόνο και όχι μόνο την επεξεργασία και αναζήτηση συσχετισμού γεγονότων ή αλλά προκαλούν πραγματικά λεπτομερείς, εμπεριστατωμένες αναλύσεις σε αυτά τα ρεύματα. Είναι μια σημαντική στροφή προς αυτό που έχουμε κάνει πριν από το οποίο είτε συλλέγουμε δεδομένα, τοποθετούμε το σε κάποιο αποθετήριο, παραδοσιακά μεγάλες βάσεις δεδομένων, μεγάλα μεγάλα πλαίσια δεδομένων όπως η πλατφόρμα Hadoop και επεξεργαζόμαστε κατά παρτίδες την επεξεργασία και παίρνουμε κάποιο είδος διορατικότητας.
Έχουμε πολύ καλό να το κάνουμε αυτό πολύ γρήγορα και να δοκιμάζουμε πολύ βαρύ σίδερο στα πράγματα, αλλά εξακολουθούμε να συλλέγουμε πραγματικά δεδομένα, να τα αποθηκεύουμε και στη συνέχεια να τα εξετάζουμε και να πάρουμε κάποια στοιχεία ή αναλύσεις σχετικά με αυτό. Η στροφή προς την εκτέλεση αυτών των αναλυτικών στοιχείων, καθώς τα δεδομένα μεταδίδονται, υπήρξε μια πολύ νέα και συναρπαστική περιοχή ανάπτυξης για τους τύπους των πραγμάτων που συμβαίνουν γύρω από τα μεγάλα δεδομένα. Απαιτεί μια εντελώς διαφορετική προσέγγιση για την απλή σύλληψη, αποθήκευση και επεξεργασία και εκτέλεση αναλυτικών στοιχείων.
Ένας από τους βασικούς οδηγούς για τη μετατόπιση και την εστίαση στην εκτέλεση αναλυτικών στοιχείων στη ροή είναι ότι μπορείτε να αποκτήσετε σημαντική επιχειρηματική αξία από το να αποκτήσετε αυτές τις γνώσεις ταχύτερα και πιο εύκολα καθώς τα δεδομένα έρχονται σε εσάς, καθώς οι πληροφορίες τίθενται στη διάθεση της επιχείρησης. Η ιδέα της επεξεργασίας στο τέλος της ημέρας δεν έχει πλέον σημασία σε ορισμένες βιομηχανίες. Θέλουμε να είμαστε σε θέση να κάνουμε τα αναλύματα εν κινήσει. Μέχρι το τέλος της ημέρας, γνωρίζουμε ήδη τι έχει συμβεί, όπως συνέβη, αντί να φτάσουμε στο τέλος της ημέρας και να κάνουμε μια 24ωρη εργασία παρτίδας και να πάρουμε αυτές τις γνώσεις.
Τα αναλυτικά στοιχεία ροής είναι σχετικά με την πρόσβαση στο ρεύμα, ενώ τα ρεύματα δεδομένων είναι συνήθως πολλαπλές ροές πολύ μεγάλου όγκου δεδομένων και δεδομένων που έρχονται σε μας σε κίνηση πολύ, πολύ γρήγορα και να πάρουμε γνώσεις ή αναλύσεις σε αυτά τα ρεύματα καθώς μας έρχονται σε αντίθεση για να επιτρέψει ότι βγαίνει σε κατάσταση ηρεμίας και την εκτέλεση αναλυτικών στοιχείων σε αυτά.
Όπως ανέφερα, είχαμε δεκαετίες και δεκαετίες να εκτελούμε αυτό που ονομάζω αναλύσεις παρτίδων. Έχω βάλει μια πολύ ωραία εικόνα εδώ. Αυτή είναι μια εικόνα ενός κύριου που στέκεται μπροστά σε ένα ψεύτικο υπολογιστή που δημιουργήθηκε από την RAND Corporation πριν από μια ζωή και αυτό είναι που είδαν έναν υπολογιστή σε ένα σπίτι να μοιάζει. Αυτό που είναι ενδιαφέρον είναι ότι ακόμα και τότε είχαν αυτή την έννοια όλων αυτών των μικρών κλήσεων και αυτοί οι πίνακες παριστάνουν πληροφορίες που έρχονται από το σπίτι και επεξεργάζονται σε πραγματικό χρόνο και σας λένε τι συμβαίνει. Ένα απλό παράδειγμα είναι ένα σύνολο βαρομετρικής πίεσης και θερμοκρασίας που μπορούμε να δούμε πού βλέπουμε τι συμβαίνει σε πραγματικό χρόνο. Αλλά φαντάζομαι ότι ακόμη και όταν ο RAND Corporation έβαλε το μικρό αυτό μακέτα μαζί, σκέφτηκαν ήδη να επεξεργάζονται δεδομένα και να εκτελούν αναλυτικά στοιχεία, καθώς έρχεται σε μορφή ροής. Δεν είμαι σίγουρος γιατί βάζουν ένα τιμόνι στον υπολογιστή, αλλά αυτό είναι πολύ δροσερό.
Από την εφεύρεση του εκτυπωτή, είχαμε μια άποψη για τη συλλογή δεδομένων και την εκτέλεση αναλύσεων παρτίδων σε αυτό. Όπως έχω πει με την μεγάλη στροφή τώρα και έχουμε δει κάτι τέτοιο από όσους αγαπούν τους παίκτες ιστού που όλοι γνωρίζουμε, είναι όλα τα εμπορικά σήματα όπως το Twitter, το Facebook και το LinkedIn, η διαδραστική συμπεριφορά που έχουμε με αυτές τις κοινωνικές οι πλατφόρμες απαιτούν όχι μόνο τη σύλληψη, την αποθήκευση και στη συνέχεια την επεξεργασία σε λειτουργία παρτίδας, αλλά στην πραγματικότητα καταγράφουν και οδηγούν αναλυτικά κατά τη διάρκεια της πτήσης από τα ρεύματα των δεδομένων που περνούν. Όταν το Tweet κάτι, όχι μόνο πρέπει να καταγράψουν και να αποθηκεύσουν και να κάνουν κάτι αργότερα, αλλά πρέπει επίσης να είναι σε θέση να το βάλουν αμέσως πίσω στο ρεύμα μου και να το μοιραστούν με άλλους ανθρώπους που με ακολουθούν. Αυτό είναι ένα μοντέλο επεξεργασίας παρτίδας.
Γιατί να ακολουθήσουμε αυτή τη διαδρομή; Γιατί οι οργανισμοί θα επενδύσουν χρόνο, προσπάθεια και χρήμα ακόμα και στην πρόκληση να προσπαθήσουν να κατεβάσουν την πορεία των αναλύσεων ρεύματος; Οι οργανισμοί έχουν αυτή τη μαζική επιθυμία να αποκτήσουν κέρδη απόδοσης έναντι των ανταγωνιστών τους στις βιομηχανίες που βρίσκονται και το κέρδος απόδοσης μπορεί να υλοποιηθεί γρήγορα μέσω απλών αναλύσεων ροής και μπορεί να ξεκινήσει με μια απλή παρακολούθηση δεδομένων σε πραγματικό χρόνο, οικείος με. Πήρα ένα μικρό στιγμιότυπο του Google Analytics. Αυτή είναι ίσως μία από τις πρώτες στιγμές που έχουμε πραγματικά τα hands-on για την ανάλυση των καταναλωτών. Έτσι, καθώς οι άνθρωποι επισκέπτονταν τον ιστότοπό σας και παίρνετε αυτά τα αποτελέσματα, με ένα μικρό κομμάτι JavaScript στο κάτω μέρος της ιστοσελίδας σας σε μορφή HTML που ενσωματώθηκε στον ιστότοπό σας, αυτοί οι μικρόκοσμοι κώδικες έγιναν σε πραγματικό χρόνο πίσω στο Google και ήταν πραγματοποιώντας αναλύσεις σε αυτά τα ρεύματα δεδομένων που προέρχονται από κάθε σελίδα του ιστότοπού σας, κάθε αντικείμενο στον ιστότοπό σας σε πραγματικό χρόνο και σας στέλνουν πίσω σε αυτή την πραγματικά όμορφη μικρή ιστοσελίδα σε ένα ταμπλό του πραγματικού χρόνου γράφημα, χαριτωμένα μικρά ιστογράμματα και γραμμικό γράφημα που σας δείχνει τον αριθμό X που λάβατε ιστορικά τη σελίδα σας, αλλά εδώ είναι πόσοι υπάρχουν τώρα.
Όπως μπορείτε να δείτε σε αυτό το screenshot, λέει 25 τώρα. Αυτό είναι 25 άτομα την στιγμή που το screenshot ήταν σε αυτή τη σελίδα. Αυτή είναι η πρώτη πραγματική ευκαιρία που παίζαμε στο εργαλείο ανάλυσης ποιότητας για καταναλωτές. Νομίζω ότι πολλοί άνθρωποι το πήραν πραγματικά. Μόλις κατάλαβαν τη δύναμη να γνωρίζουν τι συνέβαινε και πώς μπορούν να ανταποκριθούν σε αυτό. Όταν σκεφτόμαστε την κλίμακα της αεροηλεκτρονικής, τα αεροσκάφη που πετούν γύρω, υπάρχουν περίπου 18.700 εσωτερικές πτήσεις ημερησίως μόνο στις ΗΠΑ. Διάβασα ένα χαρτί πριν από λίγο καιρό - ήταν περίπου έξι ή επτά χρόνια πριν - ότι το ποσό των δεδομένων που παράγονται από αυτά τα αεροσκάφη ήταν περίπου 200 έως 300 megabytes στο παλιό μηχανολογικό μοντέλο. Στα σημερινά σχέδια των αεροσκαφών, αυτά τα αεροσκάφη παράγουν περίπου 500 gigabytes δεδομένων ή περίπου μισό terabyte δεδομένων ανά πτήση.
Όταν κάνετε τα μαθηματικά πολύ γρήγορα από την κορυφή του κεφαλιού σας, οι 18.700 εσωτερικές πτήσεις κάθε 24 ώρες στον εναέριο χώρο των Ηνωμένων Πολιτειών και μόνο, εάν όλα τα σύγχρονα αεροσκάφη παράγουν περίπου μισό terabyte, δηλαδή 43 έως 44 petabytes δεδομένων που έρχονται και συμβαίνει όταν τα αεροπλάνα βρίσκονται στον αέρα. Αυτό συμβαίνει όταν προσγειώνονται και κάνουν χωματερές δεδομένων. Αυτό συμβαίνει όταν εισέρχονται στο κατάστημα και έχουν πλήρη χωματερή από τις ομάδες μηχανικών για να δουν τι συμβαίνει στα έδρανα, τους τροχούς και μέσα στις μηχανές. Ορισμένα από αυτά τα δεδομένα πρέπει να υποβάλλονται σε επεξεργασία σε πραγματικό χρόνο, ώστε να μπορούν να αποφασίζουν εάν υπάρχει ένα πραγματικό ζήτημα, ενώ το αεροπλάνο ήταν στον αέρα ή ενώ ήταν στο έδαφος. Δεν μπορείτε απλά να το κάνετε αυτό σε κατάσταση παρτίδας. Σε άλλες βιομηχανίες που βλέπουμε εκεί έξω γύρω από τη χρηματοδότηση, την υγεία, την κατασκευή και τη μηχανική, εξετάζουν επίσης πώς μπορούν να πάρουν με αυτή τη νέα εικόνα για το τι συμβαίνει σε πραγματικό χρόνο, σε αντίθεση με αυτό που αποθηκεύεται απλά στις βάσεις δεδομένων όρος.
Υπάρχει επίσης αυτή η έννοια της αντιμετώπισης των δεδομένων ως αυτό που ονομάζω ένα φθαρτό αγαθό ή ένα φθαρτό αγαθό - ότι πολλά δεδομένα χάνουν αξία με την πάροδο του χρόνου. Αυτό συμβαίνει όλο και περισσότερο με τις εφαρμογές κινητικότητας και τα εργαλεία κοινωνικής δικτύωσης, διότι αυτό που λένε οι άνθρωποι και τι είναι η τάση τώρα είναι αυτό που θέλετε να απαντήσετε. Όταν σκεφτόμαστε άλλα μέρη της ζωής μας με την εφοδιαστική και την ναυτιλία γύρω από τα τρόφιμα, κατανοούμε την έννοια των φθαρτών εμπορευμάτων με αυτή την έννοια. Αλλά σκεφτείτε τα δεδομένα που διέρχονται από τον οργανισμό σας και την αξία που έχει. Εάν κάποιος κάνει κάποια δουλειά μαζί σας αυτή τη στιγμή και μπορείτε να αλληλεπιδράσετε μαζί τους σε πραγματικό χρόνο, δεν θέλετε να περιμένετε μια ώρα, ώστε τα δεδομένα να μπορούν να καταγραφούν και να τεθούν σε ένα σύστημα όπως το Hadoop και μετά πατήστε αυτό το κουμπί, εσείς δεν θα μπορέσετε να το αντιμετωπίσετε αυτή τη στιγμή και θέλετε να μπορείτε να το κάνετε αμέσως μετά από αίτημα του πελάτη. Υπάρχει ένας όρος που θα δείτε πολλά που τώρα που οι άνθρωποι μιλάνε για να έχουν αυτή τη ροή δεδομένων σε πραγματικό χρόνο που μπορεί να σας δώσει εξατομίκευση και αυτό το συντονισμό στο σύστημα που χρησιμοποιείτε για την ατομική σας εμπειρία. Έτσι, όταν χτυπήσετε ένα εργαλείο όπως το εργαλείο αναζήτησης Google για παράδειγμα, αν κάνω ένα ερώτημα και κάνετε το ίδιο ερώτημα, πάντα δεν λαμβάνουμε τα ίδια ακριβώς δεδομένα. Παίρνουμε ουσιαστικά αυτό που αναφέρομαι ως εμπειρία διασημοτήτων. Με αντιμετωπίζει μια εφάπαξ. Παίρνω τη δική μου προσωπική εκδοχή για το τι συμβαίνει σε αυτά τα συστήματα με βάση τα προφίλ και τα δεδομένα που έχουν συλλέξει για μένα και ήμουν σε θέση να κάνω αναλυτικά στοιχεία σε πραγματικό χρόνο στη ροή.
Αυτή η ιδέα ότι τα δεδομένα είναι ένα φθαρτό εμπόρευμα είναι ένα πραγματικό πράγμα για τώρα και η αξία των δεδομένων που μειώνονται με την πάροδο του χρόνου είναι κάτι που πρέπει να αντιμετωπίσουμε σήμερα. Δεν είναι χθες κάτι. Μου αρέσει αυτή η εικόνα μιας αρκούδας που αρπάζει έναν σολομό να πηδά έξω από τον ποταμό επειδή πραγματικά χρωστά ακριβώς αυτό που βλέπω streaming analytics. Είναι αυτό το τεράστιο ποτάμι των δεδομένων που έρχονται σε μας, ένα firehose αν θέλετε, και η αρκούδα κάθεται στο μέσο του κολπίσκου. Θα πραγματοποιήσει αναλύσεις σε πραγματικό χρόνο σχετικά με το τι συμβαίνει γύρω του, έτσι ώστε να μπορεί να σχεδιάσει την ικανότητά του να συλλαμβάνει αυτά τα ψάρια στον αέρα. Δεν είναι σαν να βυθίζετε απλά το ρεύμα και να το αρπάξετε. Αυτό το πράγμα είναι άλμα στον αέρα και πρέπει να είναι στο σωστό μέρος την κατάλληλη στιγμή για να πιάσει αυτό το ψάρι. Διαφορετικά, δεν παίρνει πρωινό ή μεσημεριανό γεύμα.
Ένας οργανισμός θέλει να κάνει το ίδιο πράγμα με τα δεδομένα του. Θέλουν να εξάγουν αξία από ό, τι είναι τώρα τεράστιοι όγκοι δεδομένων σε κίνηση. Θέλουν να αναλύσουν τα δεδομένα και τα δεδομένα υψηλής ταχύτητας, έτσι δεν είναι μόνο η ποσότητα των δεδομένων που έρχονται σε μας, αλλά είναι η ταχύτητα από την οποία προέρχεται από αυτό. Στην ασφάλεια, για παράδειγμα, είναι όλα τα δρομολογητές, οι διακόπτες, οι διακομιστές, τα τείχη προστασίας και όλα τα συμβάντα που προέρχονται από αυτά και δεκάδες χιλιάδες, αν όχι εκατοντάδες χιλιάδες συσκευές, σε ορισμένες περιπτώσεις είναι αλλοιώσιμα δεδομένα. Όταν το σκεφτόμαστε στο Διαδίκτυο των Πραγμάτων και στο βιομηχανικό Διαδίκτυο, μιλάμε για εκατομμύρια, αν όχι για δισεκατομμύρια αισθητήρες τελικά, και δεδομένου ότι τα δεδομένα έρχονται μέσω των οποίων γίνεται η ανάλυση, εξετάζουμε τώρα τη διεξαγωγή σύνθετων εκδηλώσεων επεξεργασίας σε τάξεις μεγέθους και ταχύτητας που δεν έχουμε δει ποτέ πριν και έχουμε να αντιμετωπίσουμε αυτό σήμερα. Πρέπει να κατασκευάσουμε εργαλεία και συστήματα γύρω από αυτό. Είναι μια πραγματική πρόκληση για τους οργανισμούς γιατί από τη μια πλευρά έχουμε τις πολύ μεγάλες μάρκες που κάνουν DIY, ψήνουμε τον εαυτό σας, όταν έχουν την ικανότητα να το κάνουν αυτό και το set των δεξιοτήτων και της μηχανικής. Αλλά για τον μέσο όρο, δεν συμβαίνει αυτό. Δεν έχουν τα σύνολα δεξιοτήτων. Δεν έχουν την ικανότητα ή το χρόνο ή ακόμα και τα χρήματα για να επενδύσουν στο να το υπολογίσουν. Στόχος όλων είναι αυτή η έννοια της λήψης αποφάσεων σχεδόν σε πραγματικό χρόνο.
Χρησιμοποιήστε περιπτώσεις που έχω συναντήσει και βρίσκονται σε κάθε ευρύ φάσμα κάθε τομέα που μπορείτε να φανταστείτε, οι άνθρωποι κάθονται και δίνουν προσοχή και λένε, πώς εφαρμόζουμε κάποια αναλυτικά στοιχεία στα ρεύματά μας; Μιλάμε για ηλεκτρονικές υπηρεσίες ιστού. Υπάρχουν οι παραδοσιακές πλατφόρμες κοινωνικών μέσων και η online ηλεκτρονική απόσπαση και η λιανική πώληση - εφαρμογές για παράδειγμα. Όλοι προσπαθούν να μας δώσουν αυτή την εμπειρία διασημοτήτων σε πραγματικό χρόνο. Αλλά όταν φτάσουμε σε περισσότερες υπηρεσίες τεχνολογικής στοίβας, τηλεφωνικές υπηρεσίες, φωνή και βίντεο, βλέπω τους ανθρώπους που περπατούν να κάνουν FaceTime σε τηλέφωνα. Είναι απλά εκρήγνυται. Μαστίζει το μυαλό μου ότι οι άνθρωποι κρατούν το τηλέφωνο έξω μπροστά τους και μιλάνε σε μια ροή βίντεο ενός φίλου σε αντίθεση με το κράτησε στο αυτί τους πια. Αλλά ξέρουν ότι μπορούν να το κάνουν και προσαρμόστηκαν και τους άρεσε αυτή η εμπειρία. Η ανάπτυξη αυτών των εφαρμογών και οι πλατφόρμες που τους παρέχουν πρέπει να πραγματοποιούν αναλύσεις σε πραγματικό χρόνο σχετικά με την κυκλοφορία και τα προφίλ της κυκλοφορίας, ώστε να μπορούν να κάνουν απλά πράγματα, όπως η δρομολόγηση τέτοιου βίντεο τέλεια, ώστε η ποιότητα της φωνής το βίντεο που λαμβάνετε είναι επαρκές για να έχετε μια καλή εμπειρία. Δεν μπορείτε να επεξεργαστείτε παρτίδες αυτού του είδους τα δεδομένα. Δεν θα έκανε την ροή βίντεο σε πραγματικό χρόνο μια λειτουργική υπηρεσία.
Υπάρχει μια πρόκληση διακυβέρνησης στις χρηματοπιστωτικές συναλλαγές. Δεν είναι εντάξει να φτάσετε στο τέλος της ημέρας και να μάθετε ότι έσπασε το νόμο μεταφέροντας ιδιωτικά δεδομένα γύρω από τον τόπο. Στην Αυστραλία, έχουμε μια πολύ ενδιαφέρουσα πρόκληση, όπου η μετακίνηση δεδομένων που σχετίζονται με την προστασία της ιδιωτικής ζωής offshore είναι ένα όχι-όχι. Δεν μπορείτε να πάρετε το δικό μου PID, προσωπικά προσωπικά στοιχεία ταυτότητάς μου, offshore. Υπάρχουν νόμοι στην Αυστραλία για να σταματήσει αυτό από το να συμβεί. Οι πάροχοι χρηματοπιστωτικών υπηρεσιών, ιδίως σίγουρα, κυβερνητικές υπηρεσίες και πρακτορεία, πρέπει να κάνουν αναλύσεις σε πραγματικό χρόνο σχετικά με τα δεδομένα και τις οδηγίες τους μαζί μου για να βεβαιωθώ ότι αυτά που μου παρέχουν δεν εξέρχονται από τις ακτές. Όλα τα πράγματα πρέπει να παραμείνουν τοπικά. Πρέπει να το κάνουν πραγματικό χρόνο. Δεν μπορούν να σπάσουν το νόμο και να ζητήσουν συγχώρεση αργότερα. Ανίχνευση απάτης - είναι αρκετά προφανές ότι ακούμε για συναλλαγές με πιστωτικές κάρτες. Αλλά καθώς οι τύποι συναλλαγών που κάνουμε στις χρηματοπιστωτικές υπηρεσίες αλλάζουν πολύ, πολύ γρήγορα, υπάρχουν πράγματα που το PayPal κάνει πρώτα τώρα για την ανίχνευση της απάτης σε πραγματικό χρόνο, όπου τα χρήματα δεν μετακινούνται από το ένα πράγμα στο άλλο, αλλά είναι μια οικονομική συναλλαγή μεταξύ συστημάτων. Ebay πλατφόρμες υποβολής προσφορών, ανίχνευση απάτης πρέπει να γίνει σε πραγματικό χρόνο σε ένα γραφείο ροής.
Υπάρχει μια τάση που κινείται τώρα στην εκτέλεση της εξαγωγής και της μετατροπής της δραστηριότητας φόρτωσης στις ροές, έτσι δεν θέλουμε να συλλάβουμε τίποτα που πηγαίνει στο ρέμα. Δεν μπορούμε πραγματικά να το κάνουμε αυτό. Οι άνθρωποι έχουν μάθει ότι τα δεδομένα αρέσκονται να σπάσουν πολύ γρήγορα αν συλλάβουμε τα πάντα. Το τέχνασμα τώρα είναι να εκτελέσετε αναλυτικά στοιχεία σε αυτά τα ρεύματα και να το ETL σε αυτό και απλά να συλλάβετε αυτό που χρειάζεστε, ενδεχομένως μεταδεδομένα, και στη συνέχεια να προωθήσετε τις αναλυτικές προβλέψεις όπου μπορούμε στην πραγματικότητα να πούμε τι πρόκειται να συμβεί λίγο πιο κάτω στα μονοπάτια για το τι 'είδα μόλις στη ροή με βάση τα αναλυτικά στοιχεία που κάναμε σε αυτό.
Οι παροχείς ενέργειας και υπηρεσιών κοινής ωφέλειας βιώνουν αυτή τη μαζική επιθυμία από τους καταναλωτές να έχουν τιμολόγηση ζήτησης. Θα ήθελα να αποφασίσω ότι θέλω να αγοράσω πράσινη ενέργεια σε μια συγκεκριμένη ώρα της ημέρας, επειδή είμαι μόνος στο σπίτι και δεν χρησιμοποιώ πολλές συσκευές. Αλλά αν έχω δείπνο, ίσως να θέλω να έχω όλες τις συσκευές μου και δεν θέλω να αγοράζω φτηνή ενέργεια και να περιμένω να παραδοθεί, αλλά πρόθυμος να πληρώσει για μεγαλύτερο κόστος για να πάρει αυτή την εξουσία. Αυτή η τιμολόγηση ζήτησης, ιδίως σε επιχειρήσεις κοινής ωφέλειας και ενεργειακό χώρο, έχει ήδη συμβεί. Το Uber για παράδειγμα είναι ένα κλασικό παράδειγμα πράγματα που μπορείτε να κάνετε καθημερινά και όλα εξαρτώνται από την τιμολόγηση της ζήτησης. Υπάρχουν μερικά κλασικά παραδείγματα ατόμων στην Αυστραλία που εισπράττουν 10.000 δολάρια, λόγω της τεράστιας ζήτησης στην παραμονή της Πρωτοχρονιάς. Είμαι βέβαιος ότι έχουν αντιμετωπίσει αυτό το ζήτημα, αλλά οι ροές αναλύσεων που εκτελούνται σε πραγματικό χρόνο, ενώ στο αυτοκίνητο σας λένε πόσα πρέπει να πληρώσω.
Το Διαδίκτυο των πραγμάτων και των ροών αισθητήρων - έχουμε μόλις ξύσει την επιφάνεια σε αυτό και είχαμε πραγματικά ακριβώς τη βασική συζήτηση που συμβαίνει σε αυτό αλλά θα δούμε μια ενδιαφέρουσα μετατόπιση στον τρόπο με τον οποίο η τεχνολογία ασχολείται με αυτό γιατί όταν μιλάτε όχι περίπου χιλιάδες ή δεκάδες χιλιάδες αλλά εκατοντάδες χιλιάδες και ενδεχομένως δισεκατομμύρια συσκευές που ρέουν σε σας, σχεδόν καμία από τις τεχνολογικές στοίβες που έχουμε τώρα είναι κατασκευασμένες για να αντιμετωπίσουν αυτό.
Υπάρχουν μερικά πραγματικά καυτά θέματα που θα δούμε γύρω από την περιοχή όπως η ασφάλεια και ο κυβερνοχώρος. Είναι πολύ πραγματικές προκλήσεις για εμάς. Υπάρχει ένα πραγματικά τακτοποιημένο εργαλείο που ονομάζεται North στο διαδίκτυο όπου μπορείτε να καθίσετε και να παρακολουθήσετε σε μια ιστοσελίδα διάφορες cyberattacks που συμβαίνουν σε πραγματικό χρόνο. Όταν το εξετάζετε, νομίζετε ότι "είναι μια όμορφη μικρή ιστοσελίδα", αλλά μετά από περίπου πέντε λεπτά, συνειδητοποιείτε τον όγκο των δεδομένων που το σύστημα κάνει αναλυτικά σε όλα τα διαφορετικά ρεύματα όλων των διαφορετικών συσκευών σε όλο τον κόσμο που τροφοδοτούνται σε αυτά. Ξεκινάει να μπερδεύει το μυαλό του πώς εκτελούν αυτό στο άκρο αυτού του ρεκόρ ουσιαστικά και σας παρέχει αυτή την απλή μικρή οθόνη που σας λέει τι να ή κάτι άλλο που επιτίθεται σε αυτό σε πραγματικό χρόνο και τι είδους επιθέσεις. Αλλά είναι ένας πολύ καλός τρόπος για να πάρετε μια καλή γεύση από το ποια ανάλυση ροής μπορεί να κάνει για εσάς σε πραγματικό χρόνο απλά παρακολουθώντας αυτή τη σελίδα και να πάρει μια αίσθηση μόνο του όγκου και της πρόκλησης της λήψης των ροών, και αντιπροσωπεύουν αυτό σε πραγματικό χρόνο.
Νομίζω ότι η συζήτηση που έχω για το υπόλοιπο της συνόδου πρόκειται να καλύψει όλα αυτά τα είδη των πραγμάτων με μια ενδιαφέρουσα άποψη, από τη δική μου άποψη, και αυτή είναι η πρόκληση του DIY, το ψήνετε μόνοι σας, ταιριάζει σε μερικές από τις κλασικούς μονόκερες που είναι σε θέση να αντέξουν οικονομικά να οικοδομήσουν αυτά τα είδη των πραγμάτων. Έχουν τα δισεκατομμύρια δολάρια για να χτίσουν αυτές τις ομάδες μηχανικών και να χτίσουν τα κέντρα δεδομένων τους. Όμως, για το 99, 9% των οργανισμών εκεί έξω που θέλουν να οδηγήσουν την αξία τους στην ανάλυση ροής των επιχειρήσεων, πρέπει να αποκτήσουν μια υπηρεσία off-the-shelf. Πρέπει να αγοράσουν ένα προϊόν από το κουτί και γενικά χρειάζονται κάποια συμβουλευτική υπηρεσία και επαγγελματική υπηρεσία για να τους βοηθήσει να το εφαρμόσουν και κερδίζουν την αξία αυτή πίσω στην επιχείρηση και την πουλήσουν πίσω στην επιχείρηση ως λύση εργασίας.
Με αυτό, θα σας παραδώσω, τη Ρεβέκκα, γιατί πιστεύω ότι τώρα πρόκειται να καλύψουμε λεπτομερώς.
Rebecca Jozwiak: Εξαιρετική. Σας ευχαριστώ πολύ, Dez. Αυτή είναι μια εξαιρετική παρουσίαση.
Τώρα, θα περάσω τη μπάλα στον Robin. Πάρε το μακριά.
Robin Bloor: Εντάξει. Επειδή ο Dez έχει βρεθεί σε μια δύσκολη επεξεργασία των ρυακιών, δεν μου φαίνεται λογικό να το καλύψω ξανά. Γι 'αυτό και θα πάρω μια εντελώς στρατηγική άποψη. Κοιτάζοντας σχεδόν από ένα πολύ υψηλό επίπεδο προς τα κάτω σε τι γίνεται η κόλαση και τοποθετώντας το γιατί νομίζω ότι θα μπορούσε να βοηθήσει τους ανθρώπους, ειδικά εμείς οι άνθρωποι που δεν έχουν στρατοπεδεύσει σε ρεύματα επεξεργασίας σε μεγάλο βάθος πριν.
Η επεξεργασία των ρευμάτων υπήρξε εδώ και πολύ καιρό. Συνηθίζαμε να το ονομάζουμε CEP. Υπήρχαν συστήματα πραγματικού χρόνου πριν από αυτό. Τα αρχικά συστήματα ελέγχου της διαδικασίας επεξεργάζονταν στην πραγματικότητα ρεύματα πληροφοριών - φυσικά, τίποτα δεν πήγαινε όσο είναι σήμερα. Αυτό το γραφικό που βλέπετε στην διαφάνεια εδώ. δείχνει πραγματικά πολλά πράγματα, αλλά δείχνει πάνω και πέρα από οτιδήποτε άλλο - το γεγονός ότι υπάρχει ένα φάσμα λανθάνουσας περιόδου που εμφανίζονται σε διαφορετικά χρώματα εδώ. Αυτό που συνέβη πραγματικά από την εφεύρεση υπολογιστών ή εμπορικών υπολογιστών που έφτασε γύρω στο 1960 είναι ότι όλα πήγαν γρηγορότερα και γρηγορότερα. Κάποτε μπορούσαμε να εξαρτώνται από τον τρόπο που αυτό βγαίνει στην πραγματικότητα αν σας αρέσει στα κύματα, γιατί αυτό είναι αυτό που μοιάζει. Αυτό εξαρτάται από αυτό. Επειδή το νόμο του Moore ήταν το νόμο και ο νόμος του Moore θα μας έδινε παράγοντα δέκα φορές μεγαλύτερη ταχύτητα σε διάστημα περίπου έξι ετών. Στη συνέχεια, μόλις φτάσαμε μέχρι το 2013, όλα έσπασε και ξαφνικά άρχισε να επιταχύνεται με ρυθμό που δεν έχουμε ποτέ, κάτι που είναι παράξενα χωρίς προηγούμενο. Παίρνουμε έναν παράγοντα περίπου δέκα όσον αφορά την αύξηση της ταχύτητας και συνεπώς τη μείωση της λανθάνουσας κατάστασης κάθε έξι χρόνια. Στα έξι χρόνια από το 2010, έχουμε ένα πολλαπλάσιο τουλάχιστον χιλιάδων. Τρεις τάξεις μεγέθους και όχι μία.
Αυτό συμβαίνει και αυτός είναι ο λόγος για τον οποίο η βιομηχανία με τον ένα ή τον άλλο τρόπο φαίνεται να κινείται με φανταστικές ταχύτητες - γιατί είναι. Ακριβώς περνώντας από τη σημασία αυτού του συγκεκριμένου γραφικού, οι χρόνοι απόκρισης είναι στην πραγματικότητα από τον τρόπο που βρίσκονται σε αλγοριθμική κλίμακα κάτω από τον κάθετο άξονα. Ο πραγματικός χρόνος είναι ταχύτητα του υπολογιστή, ταχύτερη από τα ανθρώπινα όντα. Οι διαδραστικοί χρόνοι είναι πορτοκαλί. Είναι όταν αλληλεπιδράτε με τον υπολογιστή όπου θέλετε πραγματικά ένα δέκατο έως περίπου ένα δευτερόλεπτο λανθάνουσας περιόδου. Πάνω, υπάρχει συναλλακτική συναλλαγή όπου πραγματικά σκεφτόμαστε τι κάνετε στον υπολογιστή, αλλά αν αυτό βγαίνει σε περίπου δεκαπέντε δευτερόλεπτα γίνεται απαράδεκτο. Οι άνθρωποι στην πραγματικότητα απλά δεν θα περιμένουν τον υπολογιστή. Όλα έγιναν σε παρτίδα. Πολλά πράγματα που έγιναν στην παρτίδα έρχονται τώρα κατευθείαν στο χώρο συναλλαγών, απευθείας στον διαδραστικό χώρο ή ακόμα και στον χώρο πραγματικού χρόνου. Ενώ στο παρελθόν, ένα κυματιστό με πολύ μικρές ποσότητες δεδομένων που μπορούμε να κάνουμε μερικά από αυτά, μπορούμε τώρα να κάνουμε με πολύ μεγάλες ποσότητες δεδομένων χρησιμοποιώντας ένα εξαιρετικά κλιμακωτό περιβάλλον.
Έτσι, βασικά, όλα αυτά λένε ότι είναι πραγματικά η συναλλαγή και οι διαδραστικοί χρόνοι ανθρώπινης αντίδρασης. Ένα πάρα πολύ αυτό που γίνεται με ρέματα τώρα είναι να ενημερώσουμε τα ανθρώπινα όντα για τα πράγματα. Μερικά από αυτά πηγαίνουν γρηγορότερα από αυτό και ενημερώνει καλά τα πράγματα έτσι είναι πραγματικό χρόνο. Στη συνέχεια, παίρνουμε μια άδεια για να πέσει σαν πέτρα, καθιστώντας τα στιγμιαία αναλυτικά εφικτά και παρεμπιπτόντως αρκετά προσιτά. Δεν είναι μόνο η ταχύτητα έχει έρθει κάτω και η κορυφή έχει μόλις κατέρρευσε επίσης. Πιθανώς ο μεγαλύτερος αντίκτυπος σε όλες αυτές τις από όλες τις διάφορες εφαρμογές, μπορείτε να κάνετε όλες αυτές τις προβλέψεις. Θα σου πω γιατί μέσα σε ένα λεπτό.
Αυτό είναι μόνο το κατάστημα υλικού. Έχετε παράλληλο λογισμικό. Μιλάμε για το 2004. Αρχιτεκτονική κλίμακας, πολυπύρηνα μάρκες, αύξηση μνήμης, ρυθμιζόμενη CPU. Οι μονάδες SSD κινούνται τώρα πολύ πιο γρήγορα από το περιστρεφόμενο δίσκο. Μπορείτε να αποχαιρετήσετε πολύ το κύλινδρο. Τα SSD είναι επίσης σε πολλαπλούς πυρήνες, έτσι και πάλι γρηγορότερα και ταχύτερα. Σύντομα θα εμφανιστεί το memristor από την HP. Έχουμε το 3D XPoint από την Intel και τη Micron. Η υπόσχεση αυτών είναι ότι θα κάνει όλα πάνε γρηγορότερα και ταχύτερα ούτως ή άλλως. Όταν σκέφτεστε δύο νέες τεχνολογίες μνήμης, και οι δύο θα κάνουν όλο το θεμελιώδες μικρό κομμάτι, ο ατομικός πίνακας κυκλωμάτων θα πάει πιο γρήγορα, ούτε καν έχουμε δει το τέλος του.
Η ροή τεχνολογίας, η οποία είναι το επόμενο μήνυμα πραγματικά, είναι εδώ για να μείνει. Θα χρειαστεί να υπάρξει μια νέα αρχιτεκτονική. Εννοώ το Dez ανέφερε κάτι τέτοιο σε πολλά σημεία στην παρουσίασή του. Για δεκαετίες είδαμε την αρχιτεκτονική ως συνδυασμό σωρών δεδομένων και σωλήνων δεδομένων. Έχουμε την τάση να επεξεργαζόμαστε τους σωρούς και τείνουμε να διοχετεύουμε τα δεδομένα μεταξύ των σωρών. Κινούμαστε τώρα θεμελιωδώς προς αυτό που ονομάζουμε αρχιτεκτονική δεδομένων Lambda που συνδυάζει την επεξεργασία ροών δεδομένων με σωρούς δεδομένων. Όταν επεξεργάζεστε μια ροή γεγονότων που έρχονται σε αντίθεση με τα ιστορικά δεδομένα ως ροή δεδομένων ή σωρό δεδομένων, αυτό εννοώ με την αρχιτεκτονική Lambda. Αυτό είναι στα σπάργανα. Είναι μόνο ένα μέρος της εικόνας. Εάν θεωρείτε κάτι τόσο περίπλοκο όπως το Διαδίκτυο για όλα όσα ανέφερε και ο Dez, θα συνειδητοποιήσετε ότι υπάρχουν όλα τα είδη θέσεων θέσης δεδομένων - οι αποφάσεις σχετικά με το τι θα πρέπει να επεξεργαστείτε στη ροή.
Το πράγμα που λέω πραγματικά εδώ είναι ότι όταν επεξεργαζόμαστε σε παρτίδα, επεξεργαζόμαστε όντως ροές. Δεν μπορούσαμε να το κάνουμε μόνο μία φορά. Απλώς περιμένουμε μέχρι να υπάρξει ένας μεγάλος αριθμός σωμάτων και στη συνέχεια επεξεργαζόμαστε όλα μαζί. Κινούμαστε σε μια κατάσταση όπου μπορούμε πραγματικά να επεξεργαστούμε πράγματα στη ροή. Εάν μπορούμε να επεξεργαστούμε πράγματα στη ροή, τότε τα σωρός δεδομένων που κρατάμε θα είναι τα στατικά δεδομένα που πρέπει να αναφέρουμε για να επεξεργαστούμε τα δεδομένα στη ροή.
Αυτό μας οδηγεί σε αυτό το συγκεκριμένο πράγμα. Το έχω αναφέρει προηγουμένως σε κάποια παρουσίαση με τη βιολογική αναλογία. Ο τρόπος με τον οποίο θα ήθελα να σκεφτείτε είναι αυτή τη στιγμή ότι είμαστε άνθρωποι. Έχουμε τρία διαφορετικά δίκτυα για την πρόβλεψη επεξεργασίας σε πραγματικό χρόνο. Ονομάζονται σωματικά, αυτόνομα και εντερικά. Το εντερικό είναι το στομάχι σας. Το αυτόνομο νευρικό σύστημα φροντίζει τον αγώνα και τις πτήσεις. Φροντίζει πραγματικά για γρήγορες αντιδράσεις στο περιβάλλον. Το σωματικό που φροντίζει για τη μετακίνηση του σώματος. Αυτά είναι συστήματα σε πραγματικό χρόνο. Το ενδιαφέρον πράγμα - ή νομίζω ότι είναι ενδιαφέρον - είναι πολλά από αυτά είναι πιο προγνωστικά από ό, τι θα φανταζόσαστε. Είναι σαν να βλέπετε πραγματικά μια οθόνη περίπου 18 ιντσών από το πρόσωπό σας. Όλα όσα μπορείτε να δείτε καθαρά, όλα όσα το σώμα σας είναι σε θέση να δει καθαρά είναι στην πραγματικότητα περίπου ένα ορθογώνιο 8 × 10. Ό, τι έξω από αυτό είναι στην πραγματικότητα θολή σε ό, τι αφορά το σώμα σας, αλλά το μυαλό σας γεμίζει πραγματικά τα κενά και δεν το κάνει θολό. Δεν βλέπετε καθόλου θόλωση. Το βλέπετε ξεκάθαρα. Το μυαλό σας κάνει πραγματικά μια μέθοδο πρόβλεψης της ροής δεδομένων για να δείτε αυτή τη σαφήνεια. Αυτό είναι κάτι περίεργο, αλλά μπορείτε πραγματικά να εξετάσετε τον τρόπο λειτουργίας του νευρικού συστήματος και τον τρόπο με τον οποίο καταφέρνουμε να φτάσουμε και να συμπεριφέρουμε εύλογα - τουλάχιστον μερικούς από εμάς - λογικά εύστοχα και να μην χτυπάμε τα πράγματα συνέχεια.
Είναι όλα από μια σειρά από νευρωνικά αναλυτικά κλίμακα μέσα εδώ. Αυτό που πρόκειται να συμβεί είναι ότι οι οργανώσεις πρόκειται να έχουν το ίδιο είδος και πρόκειται να οικοδομήσουν το ίδιο πράγμα και πρόκειται να είναι η επεξεργασία των ρευμάτων, συμπεριλαμβανομένων των εσωτερικών ρευμάτων της οργάνωσης - τα πράγματα που συμβαίνουν μέσα τα πράγματα που συμβαίνουν έξω από αυτήν, οι άμεσες απαντήσεις που πραγματικά πρέπει να γίνουν, φυσικά, τροφοδοτούν τον άνθρωπο να πάρει αποφάσεις, να κάνει όλα αυτά να συμβούν. Αυτό είναι όπου πηγαίνουμε, όσο μπορώ να δω.
Ένα από τα πράγματα που είναι συνέπεια αυτής είναι ότι το επίπεδο της εφαρμογής συνεχούς ροής πηγαίνει καλά. Θα υπάρξει κάτι πάρα πολύ περισσότερο από αυτό που βλέπουμε τώρα. Αυτή τη στιγμή, παίρνουμε το φτωχό φρούτο να κάνουμε τα πράγματα που είναι προφανή.
Έτσι ούτως ή άλλως αυτό είναι το συμπέρασμα εδώ. Τα αναλυτικά ροής είναι κάποτε μια εξειδικευμένη θέση, αλλά καθίστανται συνηθισμένα και σύντομα θα υιοθετηθούν γενικά.
Με αυτό, θα το μεταφέρω πίσω στη Ρεμπέκα.
Rebecca Jozwiak: Σας ευχαριστώ πολύ, Robin. Μεγάλη παρουσίαση ως συνήθως.
Ανάν, είσαι επόμενος. Το πάτωμα είναι δικό σου.
Ανάνς Βενγκουπόπαλ: Φανταστικό. Σας ευχαριστώ.
Το όνομά μου είναι Anand Venugopal και είμαι ο επικεφαλής του προϊόντος για το StreamAnalytix. Πρόκειται για προϊόν που προσφέρεται από την Impetus Technologies, από το Los Gatos της Καλιφόρνια.
Το Impetus είχε στην πραγματικότητα μια μεγάλη ιστορία ως ένας μεγάλος πάροχος λύσεων για τις μεγάλες επιχειρήσεις. Έχουμε λοιπόν πραγματοποιήσει μια σειρά εφαρμογών ροής αναλύσεων ως εταιρεία παροχής υπηρεσιών και μάθαμε πολλά μαθήματα. Κάναμε επίσης μια στροφή προς την καθιέρωση μιας εταιρίας προϊόντων και μιας εταιρίας που βασίζεται σε λύσεις τα τελευταία δύο χρόνια και η ροή των αναλυτικών στοιχείων κατευθύνει τη δαπάνη για τη μετατροπή του Impetus σε μια επιχείρηση με μεγάλη γκάμα προϊόντων. Υπάρχουν ορισμένα κρίσιμα, πολύ, πολύ βασικά περιουσιακά στοιχεία που η Impetus εκκαθάρισε χάρη στην έκθεση μας στις επιχειρήσεις και το StreamAnalytix είναι ένα από αυτά.
Είμαστε 20 χρόνια στην επιχείρηση και υπάρχει ένα μεγάλο μίγμα προϊόντων και υπηρεσιών που μας κάνει ένα τεράστιο πλεονέκτημα. Και η StreamAnalytix γεννήθηκε από όλα τα διδάγματα που αντλήθηκαν από τις πρώτες πέντε ή έξι εφαρμογές ροής.
Θα ασχοληθώ με μερικά πράγματα, αλλά οι αναλυτές, Dez και Robin, έχουν κάνει μια φανταστική δουλειά στην κάλυψη του συνολικού χώρου, επομένως πρόκειται να παραλείψω πολλά περιεχόμενα που επικαλύπτονται. Πιθανότατα θα πάω γρήγορα. Βλέπουμε εκτός από τις πραγματικές περιπτώσεις ροής χρησιμοποιώντας πολύ απλή επιτάχυνση παρτίδας όπου υπάρχουν κυριολεκτικά πολύ, πολύ σημαντικές διαδικασίες παρτίδας σε επιχειρήσεις. Όπως μπορείτε να δείτε, ολόκληρος αυτός ο κύκλος ανίχνευσης ενός γεγονότος και ανάλυσης και δράσης σε αυτό θα μπορούσε πράγματι να πάρει εβδομάδες σε μεγάλες επιχειρήσεις και όλοι προσπαθούν να συρρικνωθεί σε λεπτά και μερικές φορές δευτερόλεπτα και χιλιοστά του δευτερολέπτου. Επομένως, όλα ταχύτερα από όλες αυτές τις διαδικασίες παρτίδας είναι υποψήφιοι για απόκτηση επιχειρήσεων και αυτό είναι πολύ καλά που η αξία των δεδομένων μειώνεται δραματικά με την ηλικία της, έτσι η μεγαλύτερη αξία υπάρχει στην αρχική μερίδα στα δευτερόλεπτα που μόλις συνέβη. Στην ιδανική περίπτωση, εάν θα μπορούσατε να προβλέψετε τι θα συμβεί, αυτή είναι η υψηλότερη τιμή. Αυτό όμως εξαρτάται από την ακρίβεια. Η επόμενη υψηλότερη τιμή είναι όταν βρίσκεται εκεί όταν συμβαίνει, μπορείτε να την αναλύσετε και να απαντήσετε. Φυσικά, η αξία μειώνεται εντυπωσιακά μετά από αυτό, το κύριο περιοριστικό BI στο οποίο είμαστε.
Είναι ενδιαφέρον. Μπορεί να περιμένετε κάποια δραματικά επιστημονική απάντηση στο γιατί αναλύουν ροές. Με πολλές περιπτώσεις, αυτό που βλέπουμε είναι ότι είναι τώρα εφικτό και επειδή όλοι γνωρίζουν ότι η παρτίδα είναι παλιά, η παρτίδα είναι βαρετή και η παρτίδα δεν είναι δροσερή. Υπάρχει αρκετή εκπαίδευση που όλοι είχαν τώρα στο γεγονός ότι υπάρχει δυνατότητα ροής και όλοι έχουν τον Hadoop τώρα. Τώρα οι διανομές του Hadoop διαθέτουν ενσωματωμένη τεχνολογία συνεχούς ροής, είτε πρόκειται για streaming Storm ή Spark και φυσικά ουρές μηνυμάτων όπως Kafka κ.λπ.
Οι επιχειρήσεις που βλέπουμε κινούνται σε αυτό και αρχίζουν να πειραματίζονται με αυτές τις περιπτώσεις και βλέπουμε δύο ευρείες κατηγορίες. Το ένα έχει σχέση με την ανάλυση των πελατών και την εμπειρία των πελατών και τη δεύτερη λειτουργική ευφυΐα. Θα έρθω σε μερικές λεπτομέρειες σχετικά με αυτό λίγο αργότερα. Ολόκληρη η γωνιά της εξυπηρέτησης πελατών και της πελατειακής εμπειρίας και εμείς στην Impetus StreamAnalytix το έχουμε κάνει με πολλούς διαφορετικούς τρόπους είναι στην πραγματικότητα όλα πραγματικά, καταγράφοντας πραγματικά την πολυκαναλική εμπλοκή του καταναλωτή σε πραγματικό χρόνο και παρέχοντάς τους πολύ πολύ ευαίσθητες από το περιβάλλον εμπειρίες που δεν είναι κοινά σήμερα. Εάν περιηγείστε στον ιστό, στον ιστότοπο της Τράπεζας της Αμερικής και ερευνούσατε κάποια προϊόντα και απλά τηλεφωνείτε στο τηλεφωνικό κέντρο. Θα έλεγαν, "Hey Joe, ξέρω ότι ερευνούσατε κάποια τραπεζικά προϊόντα, θα θέλατε να σας πληρώσω;" Δεν το περιμένετε σήμερα, αλλά αυτό είναι το είδος της εμπειρίας που είναι πραγματικά δυνατό με την ανάλυση ροής. Σε πολλές περιπτώσεις, κάνει μια τεράστια διαφορά, ειδικά αν ο πελάτης άρχισε να ερευνά τρόπους να βγεί από τη σύμβασή τους μαζί σας κοιτάζοντας τις πρόωρες ρήτρες τερματισμού ή τους όρους λήξης της προθεσμίας στην ιστοσελίδα σας και στη συνέχεια να καλέσετε και δεν μπορείτε να τους αντιμετωπίσει άμεσα, αλλά απλά να κάνει έμμεσα μια προσφορά για κάποιο είδος πρώτης προώθησης, επειδή το σύστημα ξέρει ότι αυτό το πρόσωπο κοιτάζει τον πρόωρο τερματισμό και κάνετε αυτή την προσφορά σε εκείνο το σημείο, θα μπορούσατε πολύ καλά να προστατεύσετε αυτόν τον καταιγιστικό πελάτη και να προστατεύσετε αυτό το περιουσιακό στοιχείο .
Αυτό θα ήταν ένα παράδειγμα, καθώς και πολλές υπηρεσίες πελατών είναι όλα πολύ καλά παραδείγματα. Εφαρμόζουμε σήμερα μειώνει το κόστος στο τηλεφωνικό κέντρο και παρέχει δραματικές εμπειρίες από τους πελάτες. Ο Dez έκανε μια σπουδαία δουλειά, συνοψίζοντας κάποιες από τις περιπτώσεις χρήσης. Μπορείτε να κοιτάξετε σε αυτό το γράφημα για μερικά λεπτά. Το ταξινόμησα ως κατακόρυφα, οριζόντια και συνδυασμένες περιοχές, IoT, εφαρμογή για κινητά και τηλεφωνικό κέντρο. Είναι όλα κατακόρυφα και οριζόντια. Εξαρτάται από το πώς το βλέπεις. Κάτω, βλέπουμε πολλές οριζόντιες χρήσεις που είναι αρκετά συνηθισμένες στις κάθετες βιομηχανίες και υπάρχουν κάθετες συγκεκριμένες περιπτώσεις χρήσης, συμπεριλαμβανομένων των χρηματοπιστωτικών υπηρεσιών, της υγειονομικής περίθαλψης, της τηλεπικοινωνίας, της κατασκευής κλπ. Αν πραγματικά ρωτάς τον εαυτό σου την ερώτηση ή λέει τον εαυτό σου ότι, "Ω, δεν ξέρω ποια είναι η χρήση των περιπτώσεων. Δεν είμαι σίγουρος αν υπάρχει πραγματική επιχειρηματική αξία στην ροή αναλυτικών στοιχείων για την εταιρεία μου ή για την επιχείρησή μας, "σκεφτείτε σκληρά, σκεφτείτε δύο φορές. Συζητήστε με περισσότερους ανθρώπους επειδή υπάρχουν περιπτώσεις χρήσης που στην εταιρεία σας είναι σχετικές σήμερα. Θα πάρω στην αξία της επιχείρησης για το πώς ακριβώς προέρχεται η αξία της επιχείρησης.
Στο κάτω μέρος της πυραμίδας εδώ, έχετε προληπτική συντήρηση, ασφάλεια, προστατευτική προστασία κλπ. Αυτές οι περιπτώσεις χρήσης αποτελούν προστασία των εσόδων και των περιουσιακών στοιχείων. Εάν ο Target προστατεύσει την παραβίαση ασφαλείας που συνέβη μέσα σε ώρες και εβδομάδες, ο CIO θα μπορούσε να έχει σώσει τη δουλειά του. Θα μπορούσε να εξοικονομήσει δεκάδες ή εκατοντάδες εκατομμύρια δολάρια, κλπ. Οι αναλύσεις συνεχούς ροής σε πραγματικό χρόνο βοηθούν πραγματικά στην προστασία αυτών των περιουσιακών στοιχείων και στην προστασία των απωλειών. Αυτή είναι η άμεση προστιθέμενη αξία της επιχείρησης εκεί.
Η επόμενη κατηγορία γίνεται πιο κερδοφόρα, μειώνοντας το κόστος και κερδίζοντας περισσότερα έσοδα από την τρέχουσα λειτουργία. Αυτή είναι η αποτελεσματικότητα της τρέχουσας επιχείρησης. Αυτές είναι όλες οι κατηγορίες των περιπτώσεων χρήσης που ονομάζουμε επιχειρησιακή νοημοσύνη σε πραγματικό χρόνο, όπου παίρνετε βαθιές ιδέες για το πώς συμπεριφέρεται το δίκτυο, πώς συμπεριφέρονται οι λειτουργίες των πελατών σας, πώς συμπεριφέρεται η επιχειρηματική σας διαδικασία και ότι είστε σε θέση να τροποποιήσετε όλα αυτά σε πραγματικό χρόνο, επειδή λαμβάνετε ανατροφοδότηση, λαμβάνετε ειδοποιήσεις. Παίρνετε αποκλίσεις, αποκλίσεις σε πραγματικό χρόνο και μπορείτε γρήγορα να δράσετε και να διαχωρίσετε τη διαδικασία που εξέρχεται από τα όρια.
Θα μπορούσατε επίσης να εξοικονομήσετε πολλά χρήματα σε ακριβές αναβαθμίσεις κεφαλαίου και πράγματα που νομίζετε ότι είναι απαραίτητα, τα οποία μπορεί να μην είναι απαραίτητα εάν βελτιστοποιήσετε την υπηρεσία δικτύου. Ακούσαμε μια περίπτωση όπου μια μεγάλη εταιρία τηλεπικοινωνιών αναβάθμισε την αναβάθμιση της υποδομής δικτύου κατά 40 εκατομμύρια δολάρια, επειδή διαπίστωσε ότι είχαν αρκετή ικανότητα να διαχειριστούν την τρέχουσα κυκλοφορία τους, δηλαδή βελτιστοποιώντας και βελτιώνοντας την έξυπνη δρομολόγηση της κυκλοφορίας τους και παρόμοια πράγματα. Όλα αυτά είναι δυνατά μόνο με έναν αναλυτικό και μηχανισμό δράσης σε πραγματικό χρόνο που ενεργεί σε αυτές τις γνώσεις σε πραγματικό χρόνο.
Το επόμενο επίπεδο προστιθέμενης αξίας είναι το up-sell, cross-sell όπου υπάρχουν ευκαιρίες να πραγματοποιηθούν περισσότερα έσοδα και κέρδη από τις τρέχουσες προσφορές. Αυτό είναι ένα κλασικό παράδειγμα που πολλοί από εμάς γνωρίζουν ότι έχουν βιώσει πού σκέφτεστε στη ζωή σας όπου είστε πρόθυμοι να αγοράσετε ένα προϊόν σήμερα που δεν σας προσφέρεται. Σε πολλές, πολλές περιπτώσεις, αυτό συμβαίνει. Έχετε τα πράγματα στο μυαλό σας ότι θέλετε να αγοράσετε ότι γνωρίζετε ότι θέλετε να αγοράσετε, ότι έχετε μια λίστα υποχρεώσεων ή κάτι τέτοιο, που η γυναίκα σας σας είπε ή αν δεν έχετε γυναίκα αλλά θέλετε πραγματικά να αγοράσετε και πηγαίνετε είτε να ψωνίζετε σε έναν ιστότοπο είτε να αλληλεπιδράτε σε ένα κατάστημα λιανικής πώλησης, το κατάστημα απλά δεν έχει το πλαίσιο, δεν έχει την ευφυΐα για να υπολογίσει τι μπορεί να χρειαστείτε. Ως εκ τούτου, δεν παίρνουν την επιχείρησή τους ασφαλή. Αν οι αναλύσεις συνεχούς ροής μπορούν να αναπτυχθούν για να κάνουν ακριβείς προβλέψεις και είναι πραγματικά δυνατές σε αυτό που θα ταιριάζει περισσότερο σε αυτό το συγκεκριμένο πλαίσιο, αυτός ο πελάτης αυτή τη στιγμή σε αυτή τη θέση, υπάρχουν πολλά up-sell και cross-sell και αυτό προέρχεται και πάλι από streaming analytics - να είναι σε θέση να κάνει μια απόφαση ευαισθησίας σχετικά με αυτό που αυτός ο πελάτης είναι πιθανό να αγοράσει ή να ανταποκριθεί σε εκείνη την στιγμή της αλήθειας όταν υπάρχει μια ευκαιρία. Αυτός είναι ο λόγος που μου αρέσει αυτή η εικόνα που ο Ζζ έδειξε με την αρκούδα που μόλις έφαγε να φάει εκείνο το ψάρι. Αυτό είναι λίγο πολύ.
Πιστεύουμε επίσης ότι υπάρχει μια μεγάλη κατηγορία έξω από δραματικές, μετασχηματιστικές αλλαγές σε μια επιχείρηση που προσφέρει εντελώς νέα προϊόντα και υπηρεσίες απλά βασισμένη στην παρατήρηση της συμπεριφοράς των πελατών, όλα βασισμένα στην παρατήρηση της συμπεριφοράς μιας άλλης επιχείρησης. Εάν, ας πούμε, μια εταιρία τηλεπικοινωνιών ή καλωδιακής τηλεόρασης που πραγματικά παρακολουθεί τα πρότυπα χρήσης των πελατών σε ποιο τμήμα της αγοράς βλέπει, ποιο πρόγραμμα, σε ποια στιγμή κλπ., Καταλήγουν να δημιουργούν προϊόντα και υπηρεσίες που σχεδόν απαιτούν για κάποιο τρόπο. Έτσι, η όλη ιδέα της συμπεριφοράς πολλαπλών οθονών τώρα που τώρα το θεωρούμε σχεδόν δεδομένο ότι μπορούμε να δούμε τηλεόραση ή καλωδιακό περιεχόμενο στις εφαρμογές μας για κινητά. Μερικά από αυτά τα παραδείγματα προέρχονται από αυτά τα νέα προϊόντα και υπηρεσίες που προσφέρονται σε εμάς.
Θα έρθω σε, "Ποιες είναι οι αρχιτεκτονικές εκτιμήσεις των αναλυτικών ροών;" Είναι τελικά αυτό που προσπαθούμε να κάνουμε. Αυτή είναι η αρχιτεκτονική Lambda όπου συνδυάζετε τα ιστορικά δεδομένα και τις πληροφορίες σε πραγματικό χρόνο και βλέπετε την ταυτόχρονα. Αυτό είναι που επιτρέπει η Sigma. Όλοι έχουμε την αρχιτεκτονική παρτίδας και την εικόνα της επιχείρησης σήμερα. Βρισκόμαστε σε κάποιο είδος στοίβας BI και στοίβας αξιοποίησης και προσθέτουμε την αρχιτεκτονική Lambda. Καθώς το στρώμα ταχύτητας ή η ανάγκη και το Lambda έχει να κάνει με τη συγχώνευση αυτών των δύο ιδεών και με αυτό τον τρόπο, με έναν πλούσιο τρόπο που συνδυάζει και τις δύο ιδέες.
Υπάρχει ένα άλλο παράδειγμα που ονομάζεται αρχιτεκτονική Kappa που προτείνεται όπου η εικασία είναι ότι το στρώμα ταχύτητας είναι ο μόνος μηχανισμός εισόδου που θα επιμείνει μακροπρόθεσμα. Όλα θα περάσουν από αυτό το στρώμα ταχύτητας. Δεν υπάρχει καν κανένας μηχανισμός ETL χωρίς σύνδεση. Όλα τα ETL θα συμβούν. Καθαρίστε, καθαρίστε τα δεδομένα, ποιότητα ETL - όλα αυτά θα συμβούν στο καλώδιο, γιατί να έχετε κατά νου ότι όλα τα δεδομένα έχουν γεννηθεί σε πραγματικό χρόνο. Σε κάποιο σημείο, ήταν πραγματικό χρόνο. Έχουμε συνηθίσει τόσο να το βάζουμε σε λίμνες, σε ποτάμια και ωκεανούς, και στη συνέχεια να το κάνουμε με στατική ανάλυση που ξεχάσαμε ότι τα δεδομένα γεννήθηκαν κάποια στιγμή σε πραγματικό χρόνο. Όλα τα δεδομένα γεννιούνται ως γεγονότα πραγματικού χρόνου που συνέβησαν στο σημείο του χρόνου και τα περισσότερα από τα δεδομένα που υπάρχουν σήμερα στη λίμνη μόλις βγήκαν στη βάση δεδομένων για μια μεταγενέστερη ανάλυση και έχουμε τώρα το πλεονέκτημα στην αρχιτεκτονική Lambda και Kappa στην πραγματικότητα βλέποντας το, αναλύοντάς το, προεπεξεργαζόντας και αντιδρώντας σε αυτό καθώς φτάνει. Αυτό είναι που επιτρέπουν αυτές οι τεχνολογίες. Όταν το εξετάζετε ως μια συνολική εικόνα, μοιάζει με κάτι τέτοιο, όπου υπάρχει Hadoop μέσα, υπάρχουν MPPs και αποθήκες δεδομένων που έχετε ήδη.
Το θέσαμε αυτό γιατί είναι σημαντικό να μην μιλάμε μόνο για νέες τεχνολογίες σε ένα νησί. Πρέπει να ενσωματωθούν. Πρέπει να έχουν νόημα στο σημερινό επιχειρηματικό πλαίσιο και ως πάροχοι λύσεων που εξυπηρετούν επιχειρήσεις, είμαστε πολύ ευαίσθητοι σε αυτό. Βοηθάμε τις επιχειρήσεις να ενσωματώσουν το όλο θέμα. Υπάρχουν πηγές δεδομένων στην αριστερή πλευρά που τροφοδοτούν τόσο τα επίπεδα Hadoop όσο και τα αποθέματα δεδομένων καθώς και το στρώμα πραγματικού χρόνου στην κορυφή και κάθε μία από αυτές τις οντότητες είναι υπολογιστές αποθεμάτων όπως μπορείτε να δείτε και το επίπεδο κατανάλωσης δεδομένων βρίσκεται στα δεξιά πλευρά. Υπάρχει μια συνεχής προσπάθεια να μετακινηθεί το μεγαλύτερο μέρος της συμμόρφωσης, της διακυβέρνησης, της ασφάλειας, της διαχείρισης του κύκλου ζωής κλπ., Που είναι διαθέσιμο σήμερα, έχουν συγκεντρωθεί σε αυτή τη νέα τεχνολογία.
Ένα από τα πράγματα που προσπαθούν να κάνουν τα αναλυτικά ρεύματα, αν κοιτάξετε το τοπίο σήμερα, υπάρχουν πολλά πράγματα που συμβαίνουν στο τοπίο της τεχνολογίας συνεχούς ροής και από την άποψη του πελάτη της επιχείρησης, υπάρχουν τόσα πολλά που πρέπει να καταλάβετε. Υπάρχουν τόσα πολλά που πρέπει να συμβαδίσει. Υπάρχουν μηχανισμοί συλλογής δεδομένων στην αριστερή πλευρά - NiFi, Logstash, Flume, Sqoop. Προφανώς, έχω διατυπώσει μια δήλωση ότι δεν είναι εξαντλητική. Έρχονται στις ουρές μηνυμάτων και έρχονται στη συνέχεια σε κινητές συσκευές ανοιχτού κώδικα - Storm, Spark Streaming, Samza, Flink, Apex, Heron. Ο ερωδιός δεν είναι πιθανώς ανοιχτός κώδικας ακόμα. Δεν είμαι σίγουρος αν είναι, από το Twitter. Αυτές οι μηχανές συνεχούς ροής οδηγούν ή υποστηρίζουν μια συνιστώσα αναλυτικής εφαρμογής ρύθμισης, όπως σύνθετη επεξεργασία συμβάντων, μηχανική μάθηση, προγνωστική ανάλυση, μονάδα προειδοποίησης, ροή ETL, φίλτρα στατιστικής λειτουργίας εμπλουτισμού. Αυτά είναι όλα αυτά που ονομάζουμε χειριστές τώρα. Το σύνολο αυτών των φορέων, όταν είναι συνεστραμμένο μαζί, θα μπορούσε ενδεχομένως να προσαρμόσει σε μεγάλο βαθμό εάν είναι απαραίτητο, μια εφαρμογή ροής που τρέχει σε μια μηχανή ροής.
Ως μέρος αυτής της αλυσίδας εξαρτημάτων, πρέπει επίσης να αποθηκεύσετε και να καταχωρίσετε τα δεδομένα στην αγαπημένη σας βάση δεδομένων, στον αγαπημένο σας κατάλογο. Μπορεί επίσης να χρειαστεί να διανείμετε την κρυφή μνήμη και πάλι που οδηγεί στο επίπεδο απεικόνισης δεδομένων στη δεξιά πλευρά στο επάνω μέρος σε εμπορικά προϊόντα ή προϊόντα ανοιχτού κώδικα, αλλά τελικά χρειάζεστε κάποιο είδος προϊόντος για να απεικονίσετε αυτά τα δεδομένα σε πραγματικό χρόνο. Επίσης, πρέπει μερικές φορές να υπολογίσετε άλλες εφαρμογές. Έχουμε δει όλοι ότι οι τιμές που προκύπτουν μόνο από τη δράση που παίρνετε στην διορατικότητα, αυτή η ενέργεια πρόκειται να ενεργοποιηθεί από μια αναλυτική στοίβα σε μια άλλη στοίβα εφαρμογών που μπορεί να αλλάξει κάτι τέτοιο στην πλευρά IVR ή να ενεργοποιήσει ένα τηλεφωνικό κέντρο εξερχόμενη κλήση ή κάτι τέτοιο. Πρέπει να έχουμε ενσωματωμένα αυτά τα συστήματα και κάποιο μηχανισμό για το σύμπλεγμα συνεχούς ροής που θα ενεργοποιήσει άλλες εφαρμογές αποστολής δεδομένων στα κατάντη.
Αυτή είναι η γενική στοίβα από το να πηγαίνεις από αριστερά προς τα δεξιά. Στη συνέχεια, έχετε τα στρώματα υπηρεσιών, τη μεσαία παρακολούθηση, το στρώμα γενικής υπηρεσίας ασφαλείας κ.λπ. Ερχόμενοι σε ποια προϊόντα βρίσκονται εκεί έξω στο χώρο της επιχείρησης που βλέπουν οι πελάτες σαν διανομές Hadoop που έχουν όλα streaming όπως είπα και υπάρχει εμπορική ή ενιαία -εφαρμογές προμηθευτών που είναι προφανώς στους ανταγωνιστές μας. Υπάρχουν και πολλά άλλα στο τοπίο που ίσως να μην αναφέραμε εδώ.
Αυτό που βλέπετε εκεί είναι γενικά ο χρήστης που βλέπει. Ένα σύνθετο και ταχέως εξελισσόμενο τοπίο τεχνολογίας για την επεξεργασία ροής, όπως μπορείτε να δείτε. Πρέπει να απλοποιήσουμε την επιλογή και την εμπειρία των χρηστών. Αυτό που πιστεύουμε ότι οι επιχειρήσεις χρειάζονται πραγματικά είναι η λειτουργική άντληση όλων αυτών σε μια ενιαία θυρίδα, εύχρηστη διεπαφή που συγκεντρώνει όλες αυτές τις τεχνολογίες που την καθιστούν πολύ απλή στη χρήση και δεν εκθέτει όλα τα κινούμενα μέρη και τα ζητήματα υποβάθμισης και τα θέματα επιδόσεων και τα ζητήματα συντήρησης κύκλου ζωής στην επιχείρηση.
Η αφαίρεση λειτουργιών είναι μία. Το δεύτερο μέρος είναι η αφαίρεση του κινητήρα. Οι μηχανές ροής και οι τομείς ανοιχτού κώδικα έρχονται μία φορά κάθε τρεις, τέσσερις ή έξι μήνες τώρα. Ήταν η Θύελλα για πολύ καιρό. Η Samza ήρθε και τώρα είναι η Spark Streaming. Ο Flink σηκώνει το κεφάλι του, αρχίζοντας να τραβάει την προσοχή. Ακόμη και ο οδικός χάρτης Spark Streaming, κάνουν έναν τρόπο να χρησιμοποιήσουν έναν διαφορετικό κινητήρα για την επεξεργασία καθαρών γεγονότων, καθώς συνειδητοποιούν επίσης ότι το Spark έχει σχεδιαστεί για παρτίδες και κάνουν έναν τρόπο στο όραμα αρχιτεκτονικής τους και στον χάρτη πορείας τους για ενδεχόμενη διαφορετική κινητήρα για επεξεργασία ρεύματος εκτός από το σημερινό μοτίβο microbatch στο Spark Streaming.
Είναι μια πραγματικότητα που πρέπει να αντιμετωπίσετε με το ότι θα υπάρξει μεγάλη εξέλιξη. Πρέπει πραγματικά να προστατευθείτε από αυτή τη ροή τεχνολογίας. Επειδή από προεπιλογή, θα πρέπει να επιλέξετε ένα και στη συνέχεια να ζήσετε μαζί του, το οποίο δεν είναι το βέλτιστο. Εάν το κοιτάζετε με άλλο τρόπο, αγωνίζεστε μεταξύ, "εντάξει, έπρεπε να αγοράσω μια ιδιόκτητη πλατφόρμα όπου δεν υπάρχει κλειδαριά, δεν υπάρχει μόχλευση ανοικτού κώδικα, θα μπορούσε να είναι πολύ υψηλό κόστος και περιορισμένη ευελιξία έναντι όλων αυτών των στοίβων ανοιχτής πηγής, όπου πρέπει να το κάνετε μόνοι σας. "Και πάλι, όπως είπα, είναι μεγάλο κόστος και καθυστέρηση στην είσοδο στην αγορά. Αυτό που λέμε είναι ότι το StreamAnalytix είναι ένα παράδειγμα μιας μεγάλης πλατφόρμας που συνδυάζει την επιχειρηματική τάξη, αξιόπιστη, μεμονωμένη πωλητή, υποστηριζόμενη επαγγελματική υπηρεσία - όλα αυτά που πραγματικά χρειάζεστε ως επιχείρηση και τη δύναμη της ευελιξίας του οικοσυστήματος ανοιχτού κώδικα όπου μια ενιαία πλατφόρμα τους φέρνει μαζί - Ingest, CEP, analytics, οπτικοποίηση και όλα αυτά.
Κάνει επίσης ένα πολύ, πολύ μοναδικό πράγμα, το οποίο συγκεντρώνει πολλούς διαφορετικούς κινητήρες τεχνολογίας κάτω από μια μοναδική εμπειρία χρήστη. Πιστεύουμε πραγματικά ότι το μέλλον είναι να είναι σε θέση να χρησιμοποιούν πολλαπλές μηχανές ροής, επειδή διαφορετικές περιπτώσεις χρήσης απαιτούν πραγματικά διαφορετικές αρχιτεκτονικές ροής. Όπως είπε ο Robin, υπάρχει ένα πλήρες φάσμα λανθάνουσας περιόδου. Αν πραγματικά μιλάτε για το επίπεδο λανθάνουσας διάρκειας χιλιοστά του δευτερολέπτου, δεκάδες ή και εκατοντάδες χιλιοστά του δευτερολέπτου, χρειάζεστε πραγματικά την καταιγίδα αυτή τη στιγμή μέχρι να υπάρξει ένα άλλο εξίσου ώριμο προϊόν για λιγότερο επιείκεια ή επιεική χρονοδιάγραμμα και λανθάνουσες περιόδους ίσως σε μερικά δευτερόλεπτα, τέσσερα, πέντε δευτερόλεπτα, εκείνο το εύρος, τότε μπορείτε να χρησιμοποιήσετε το Spark Streaming. Δυνητικά, υπάρχουν και άλλοι κινητήρες που θα μπορούσαν να κάνουν και τα δύο. Κατώτατη γραμμή, σε μια μεγάλη επιχείρηση, πρόκειται να χρησιμοποιηθούν περιπτώσεις κάθε είδους. Θέλετε πραγματικά την πρόσβαση και τη γενικότητα να έχουν πολλαπλούς κινητήρες με μια εμπειρία χρήστη και αυτό προσπαθούμε να χτίσουμε στο StreamAnalytix.
Απλά μια γρήγορη άποψη για την αρχιτεκτονική. Πρόκειται να το επαναλάβουμε λίγο, αλλά ουσιαστικά υπάρχουν πολλές πηγές δεδομένων που έρχονται στην αριστερή πλευρά - Kafka, RabbitMQ, Kinesis, ActiveMQ, όλες αυτές οι πηγές δεδομένων και ουρές μηνυμάτων που εισέρχονται στην πλατφόρμα επεξεργασίας ροής όπου μπορείτε να συγκεντρώσετε μια εφαρμογή, όπου μπορείτε να μεταφέρετε και να αποθέσετε από φορείς όπως οι ETLs, όλα τα πράγματα για τα οποία μιλήσαμε. Κάτω από αυτό, υπάρχουν πολλοί κινητήρες. Αυτή τη στιγμή έχουμε Storm και Spark Streaming ως τη μοναδική και πρώτη πλατφόρμα ροής επιχειρήσεων της βιομηχανίας που έχει πολλαπλή υποστήριξη κινητήρα. Αυτή είναι μια πολύ μοναδική, ευελιξία που προσφέρουμε εκτός από όλη την άλλη ευελιξία να έχουμε πίνακες ελέγχου σε πραγματικό χρόνο. Ενσωματωμένος κινητήρας CET. Έχουμε την ομαλή ενσωμάτωση με τους δείκτες Hadoop και NoSQL, τους δείκτες Solr και Apache. Μπορείτε να προσπεράσετε την αγαπημένη σας βάση δεδομένων ανεξάρτητα από το τι είναι και να χτίσετε εφαρμογές πολύ γρήγορα και να φτάσετε στην αγορά πολύ γρήγορα και να παραμείνετε μελλοντικές απόδειξη. Αυτή είναι η όλη μας μάντρα στο StreamAnalytix.
Με αυτό, νομίζω ότι θα ολοκληρώσω τις παρατηρήσεις μου. Μη διστάσετε να έρθετε μαζί μας για περισσότερες ερωτήσεις. Θα ήθελα να διατηρήσω το πάτωμα ανοιχτό για ερωτήσεις και ερωτήσεις και συζητήσεις στην ομάδα.
Ρεβέκκα, σε σας.
Rebecca Jozwiak: Μεγάλη, εντάξει. Σε ευχαριστώ πάρα πολύ. Dez και Robin, έχετε κάποιες ερωτήσεις πριν την μετατρέψουμε στο ακροατήριο Q & A;
Robin Bloor: Έχω μια ερώτηση. Θα βάλω τα ακουστικά μου πίσω, ώστε να με ακούς. Ένα από τα ενδιαφέροντα πράγματα, αν μου το έλεγα καλοσύνη, πολλά από αυτά που έχω δει στον χώρο ανοιχτής πηγής δείχνουν αυτό που θα έλεγα ανώριμο για μένα. Κατά μία έννοια, ναι μπορείτε να κάνετε διάφορα πράγματα. Αλλά μοιάζει να βλέπουμε το λογισμικό στην πρώτη ή τη δεύτερη απελευθέρωσή του στην πραγματικότητα και απλά αναρωτιόμουν την εμπειρία σας ως οργάνωση, πόσο βλέπετε το ασυνείδητο περιβάλλον του Hadoop ως προβληματικό ή είναι κάτι που δεν κάνει τίποτα; δημιουργείτε πάρα πολλά προβλήματα;
Anand Venugopal: Είναι πραγματικότητα, Robin. Εχεις απολυτο δικιο. Η ανωριμότητα δεν είναι αναγκαστικά στην περιοχή της λειτουργικής σταθερότητας και των πραγμάτων, αλλά ίσως και σε ορισμένες περιπτώσεις. Αλλά η ανωριμότητα είναι περισσότερο έτοιμη για χρήση. Τα προϊόντα ανοιχτού κώδικα καθώς βγαίνουν και ακόμη και όπως προσφέρονται από τη διανομή Hadoop, είναι όλα πολλά διαφορετικά ικανά προϊόντα, τα συστατικά απλά χαστούκισαν μαζί. Δεν συνεργάζονται άψογα και δεν έχουν σχεδιαστεί για μια ομαλή και απρόσκοπτη εμπειρία χρήστη που θα πάρουμε σαν την Bank of America ή την Verizon ή την AT & T, για να αναπτύξουμε μια εφαρμογή ροής αναλυτικών δεδομένων μέσα σε λίγες εβδομάδες. Δεν είναι σχεδιασμένα γι 'αυτό σίγουρα. Αυτός είναι ο λόγος για τον οποίο εισερχόμαστε. Το φέρουμε μαζί και το καθιστούμε πολύ εύκολο να καταλάβουμε, να αναπτύξουμε κ.λπ.
Η λειτουργική ωριμότητα του, νομίζω ότι σε μεγάλο βαθμό, είναι εκεί. Πολλές μεγάλες επιχειρήσεις χρησιμοποιούν για παράδειγμα την καταιγίδα σήμερα. Πολλές μεγάλες επιχειρήσεις παίζουν με το Spark Streaming σήμερα. Κάθε μία από αυτές τις μηχανές έχει τους περιορισμούς σε αυτό που μπορούν να κάνουν, γι 'αυτό είναι σημαντικό να γνωρίζουμε τι μπορείτε και τι δεν μπορείτε να κάνετε με κάθε κινητήρα και δεν έχει νόημα να σπάσετε το κεφάλι σας στον τοίχο και λέγοντας " επέλεξε το Spark Streaming και δεν δουλεύει για μένα σε αυτή τη συγκεκριμένη βιομηχανία. "Δεν πρόκειται να λειτουργήσει. Θα υπάρξουν περιπτώσεις χρήσης όπου το Spark Streaming πρόκειται να είναι η καλύτερη επιλογή και θα υπάρξουν περιπτώσεις χρήσης όπου το Spark Streaming μπορεί να μην λειτουργήσει καθόλου για εσάς. Γι 'αυτό χρειάζεστε πραγματικά πολλές επιλογές.
Robin Bloor: Λοιπόν, πρέπει να έχετε ομάδες εμπειρογνωμόνων για το μεγαλύτερο μέρος αυτού. Θέλω να πω ότι δεν γνωρίζω καν από πού να ξεκινήσω κάτι τέτοιο. Μια λογική συνεργασία των εξειδικευμένων ατόμων. Ενδιαφέρομαι για το πώς εμπλέκεται στη δέσμευση και πώς συμβαίνει. Είναι επειδή μια συγκεκριμένη εταιρεία είναι μετά από μια συγκεκριμένη εφαρμογή ή βλέπετε κάτι που θα έλεγα στρατηγική υιοθεσία όπου θέλουν μια ολόκληρη πλατφόρμα να κάνει πολλά πράγματα.
Anand Venugopal: Βλέπουμε παραδείγματα και των δύο, Robin. Ορισμένες από τις δέκα κορυφαίες μάρκες που όλοι γνωρίζουν προχωρούν με πολύ στρατηγικό τρόπο. Γνωρίζουν ότι πρόκειται να έχουν μια ποικιλία περιπτώσεων χρήσης, έτσι ώστε να αξιολογούν τις πλατφόρμες που θα ταιριάζουν στην ανάγκη αυτή, η οποία είναι μια ποικιλία διαφορετικών περιπτώσεων χρήσης με τρόπο πολλαπλών μισθωτών που θα αναπτυχθεί σε μια επιχείρηση. Υπάρχουν ιστορίες περίπτωσης μιας χρήσης που ξεκινούν επίσης. Υπάρχει μια συγκεκριμένη περίπτωση παρακολούθησης τύπου επιχειρηματικής δραστηριότητας σε μια εταιρία υποθηκών στην οποία εργαζόμαστε και στην οποία δεν θα φανταζόσαστε ως πρώτη περίπτωση χρήσης, αλλά αυτή είναι η επιχειρηματική λύση ή η περίπτωση χρήσης που καταλήξαμε και στη συνέχεια συνδέσαμε τις κουκίδες στη ροή . Είπαμε: "Ξέρεις τι; Αυτή είναι μια σπουδαία περίπτωση για streaming analytics και έτσι μπορούμε να την εφαρμόσουμε. "Έτσι ξεκίνησε. Στη συνέχεια, σε αυτή τη διαδικασία, εκπαιδεύονται και λένε, "Ω wow, αν μπορούμε να το κάνουμε αυτό και αν πρόκειται για μια γενική πλατφόρμα, τότε μπορούμε να διαχωρίσουμε την εφαρμογή, να τα στρώσουμε σε πλατφόρμα και να οικοδομήσουμε πολλές διαφορετικές εφαρμογές σε αυτό πλατφόρμα."
Robin Bloor: Dez, έχετε κάποιες ερωτήσεις;
Anand Venugopal: Ο Dez είναι μάλλον σε σίγαση.
Dez Blanchfield: Απορίες, σίγαση. Είχα μόνο μια καλή συζήτηση ο ίδιος. Ακολουθώντας την αρχική παρατήρηση του Robin, είστε απολύτως σωστός. Πιστεύω ότι η πρόκληση τώρα είναι ότι οι επιχειρήσεις έχουν ένα οικοσύστημα και ένα πολιτιστικό και συμπεριφορικό περιβάλλον όπου το λογισμικό ελεύθερου λογισμικού και ανοιχτού κώδικα είναι κάτι που τους είναι γνωστό και είναι σε θέση να χρησιμοποιούν εργαλεία όπως ο Firefox ως browser και έχουν αξιοπρεπή διάρκεια ζωής μέχρι να γίνει σταθερή και ασφαλής. Αλλά μερικές από αυτές τις πολύ μεγάλες πλατφόρμες που χρησιμοποιούν είναι ιδιόκτητες πλατφόρμες επιχειρήσεων. Επομένως, η υιοθέτηση αυτών που θεωρώ πλατφόρμες ανοιχτού κώδικα δεν είναι πάντα κάτι που είναι εύκολο για αυτούς να συναντήσουν πολιτισμικά ή συναισθηματικά. Το έχω δει μόνο στην υιοθέτηση μικρών προγραμμάτων, τα οποία ήταν τοπικά προγράμματα για να παίξουν μόνο με μεγάλα δεδομένα και αναλύσεις ως θεμελιώδη έννοια. Νομίζω ότι μία από τις βασικές προκλήσεις, είμαι βέβαιος ότι τους έχετε δει τώρα στους οργανισμούς, είναι η επιθυμία τους να πετύχουν το αποτέλεσμα, αλλά ταυτόχρονα να έχουν το ένα πόδι τους κολλημένο στο παλιό κουτί όπου θα μπορούσαν απλώς να το αγοράσουν από "Εισαγάγετε μια μεγάλη μάρκα" Oracle, IBM και Microsoft. Αυτά τα νέα και γνωστά εμπορικά σήματα έρχονται με πλατφόρμες Hadoop και ακόμα περισσότερα. Περισσότερες συναρπαστικές μάρκες έρχονται μέσω των οποίων έχει τεχνολογία αιχμής όπως ρεύμα.
Ποια είναι τα είδη των συνομιλιών που είχατε στο παρελθόν; Γνωρίζω ότι έχουμε ένα τεράστιο παρόν σήμερα το πρωί και ένα πράγμα που είμαι βέβαιος ότι είναι στο μυαλό όλων είναι: "Πώς μπορώ να περικόψω ολόκληρο αυτό το προκλητικό στρώμα από το σκάφος μέχρι το επίπεδο διοίκησης, είναι πολύ ανοιχτή πηγή και πολύ αιμορραγία; "Πώς οι συνομιλίες που έχετε με τους πελάτες σας πηγαίνουν και πώς περνάτε σε εκείνο το σημείο όπου μπορείτε να ανακουφίσετε αυτά τα είδη φόβων για να εξετάσετε το ενδεχόμενο να υιοθετήσετε όμοιες με το StreamAnalytix;
Anand Venugopal: Στην πραγματικότητα, βρίσκουμε αρκετά εύκολο να πουλήσουμε την πρόταση αξίας μας, επειδή οι πελάτες κινούνται φυσικά προς την ανοιχτή πηγή ως προτιμώμενη επιλογή. Δεν είναι εύκολο να σταματήσουν και να λένε: "Εντάξει, πρόκειται τώρα να πάω ανοιχτή πηγή." Πραγματικά περνούν από μια πολύ δεσμευμένη αξιολόγηση ενός μεγάλου προϊόντος, ας πούμε ότι είναι μια IBM ή ένα τυπικό προϊόν, επειδή έχουν αυτές τις σχέσεις προμηθευτών. Δεν θα αντιμετώπιζαν εμάς ή τον κινητήρα ανοιχτού κώδικα ενάντια σε αυτό το προϊόν. Θα περάσουν έξι έως οκτώ έως δώδεκα εβδομάδες αξιολόγησης. Θα πείσουν τους εαυτούς τους ότι υπάρχει ένας βαθμός απόδοσης και σταθερότητας εδώ που θέλω και στη συνέχεια συνειδητοποιούν: "Πω πω, ξέρετε τι, μπορώ πραγματικά να το κάνω αυτό".
Σήμερα, για παράδειγμα, έχουμε ένα σημαντικό τηλεφωνικό κέντρο της πρώτης βαθμίδας, το οποίο έχει ροή αναλύσεων που τρέχουν στην παραγωγή πάνω από πολλά στοίβα και εκτιμούν ότι σε σχέση με έναν άλλο πολύ, πολύ μεγάλο γνωστό πωλητή και ήταν πεπεισμένοι μόνο αφού αποδείξαμε όλα την απόδοση, τη σταθερότητα και όλα αυτά. Δεν το θεωρούν δεδομένο. Ανακάλυψαν ότι η ανοιχτή πηγή είναι ικανή μέσω των αξιολογήσεών τους και συνειδητοποιούν ότι, στη χειρότερη περίπτωση, "Ίσως υπάρχουν αυτές οι δύο περιπτώσεις χρήσης που ίσως δεν μπορώ να κάνω, αλλά οι περισσότεροι από τους κλάδους της επιτάχυνσης που χρησιμοποιούν σήμερα είναι εξαιρετικά δυνατοί με την open source stack ". Και επιτρέπουμε τη χρήση του. Αυτό είναι το μεγάλο γλυκό σημείο εκεί. Ήθελαν την ανοιχτή πηγή. Είναι πραγματικά ψάχνουν να βγούμε από την κατάσταση κλειδαριάς πωλητή έχουν συνηθίσει για πολλά, πολλά χρόνια. Τότε εμείς ερχόμαστε και λέμε, "Ξέρεις τι, θα κάνουμε ανοικτή πηγή πολύ, πολύ πιο εύκολο και φιλικό να χρησιμοποιείς για σένα".
Dez Blanchfield: Νομίζω ότι η άλλη πρόκληση που οι επιχειρήσεις βρίσκουν είναι όταν φέρνουν στο παραδοσιακό κατεστημένο είναι συχνά μια γενιά πίσω από μερικές από τις αιμορραγικές άκρη των συναρπαστικών πράγματα που μιλάμε εδώ και δεν εννοώ ότι ως αρνητικό ελαφρύ. Είναι ακριβώς ότι η πραγματικότητα είναι ότι έχουν μια γενιά και ένα ταξίδι για να περάσουν για να απελευθερώσουν ό, τι θεωρούν σταθερές πλατφόρμες για να περάσουν, την ανάπτυξη του παλιού σχολείου και τους κύκλους ενσωμάτωσης UATN και τις δοκιμές και την τεκμηρίωση, το μάρκετινγκ και τις πωλήσεις. Ενώ στον τύπο που κάνετε, νομίζω ότι το πράγμα που με ενδιαφέρει να σκεφτεί είναι ότι κοιτάζοντας μερικές από τις πιο πρόσφατες κυκλοφορίες σας χθες το βράδυ κάνοντας κάποια έρευνα, έχετε αυτό το μίγμα τώρα που πήρατε ικανότητας από άποψη αρχικής συμβουλευτικής και εφαρμογής, αλλά έχετε επίσης μια στοίβα που μπορείτε να περιστρέψετε μέσα. Νομίζω ότι αυτό είναι όπου οι κατεστημένοι φορείς πρόκειται να αγωνιστούν για κάποιο χρονικό διάστημα. Έχουμε δει πολλά από αυτά όπως έκανα στην αγορά. Είναι συχνά σε αυτό που ονομάζω catch-up κόμβους ενώ από αυτό που μας λέτε όταν βγαίνεις εκεί έξω κάνοντας εκείνες τις συνομιλίες και είσαι έξω εκεί υλοποιώντας.
Μπορείτε να μας δώσετε μερικά παραδείγματα μερικών από τις συνοριακές κατακόρυφες που έχετε δει την υιοθεσία; Για παράδειγμα, υπάρχει ένα πραγματικά εξειδικευμένο περιβάλλον όπως η επιστήμη πυραύλων και η τοποθέτηση δορυφόρων στο διάστημα και η συλλογή δεδομένων από τον Άρη. Υπάρχει μόνο μια χούφτα ανθρώπων που κάνουν αυτό στον πλανήτη. Υπάρχουν όμως μεγάλα κατακόρυφα τμήματα όπως η υγεία για παράδειγμα στην αεροναυπηγική, στη ναυτιλία και την εφοδιαστική, στη μεταποίηση και στη μηχανική, ποια είναι τα παραδείγματα των ευρύτερων και ευρύτερων τομέων της βιομηχανίας που μέχρι τώρα έχετε δει πολύ καλά υιοθεσία;
Anand Venugopal: Το Telco είναι ένα μεγάλο παράδειγμα.
Θα διορθώσω γρήγορα τις διαφάνειες μου εδώ. Είστε σε θέση να δείτε την διαφάνεια εδώ, περίπτωση 4;
Πρόκειται για περίπτωση μεγάλης τηλεόρασης που καταγράφει δεδομένα set-top box και κάνει πολλά πράγματα μαζί της. Εξετάζουν τι πραγματικά κάνουν οι πελάτες σε πραγματικό χρόνο. Εξετάζουν το πού συμβαίνουν σφάλματα σε πραγματικό χρόνο σε αποκωδικοποιητές. Προσπαθούν να ενημερώσουν το τηλεφωνικό κέντρο, αν ο συγκεκριμένος πελάτης καλεί αμέσως, οι πληροφορίες συνδέσμου κώδικα από τον αποκωδικοποιητή αυτού του πελάτη, οι πληροφορίες για τα εισιτήρια συντήρησης συσχετίζονται γρήγορα εάν ο αποκωδικοποιητής του συγκεκριμένου πελάτη έχει πρόβλημα ή όχι πριν ο πελάτης μιλάει μια λέξη. Κάθε εταιρεία καλωδιακής τηλεόρασης, κάθε σημαντική τηλεφωνία προσπαθεί να το κάνει αυτό. Κατανοούν τα δεδομένα του αποκωδικοποιητή, κάνουν αναλυτικά στοιχεία σε πραγματικό χρόνο, κάνουν αναλυτικά στοιχεία καμπάνιας, ώστε να μπορούν να τοποθετούν τις διαφημίσεις τους. Υπάρχει μια τεράστια υπόθεση χρήσης.
Όπως είπα, υπάρχει αυτή η εταιρεία ενυπόθηκων δανείων, η οποία είναι και πάλι ένα γενικό πρότυπο όπου μεγάλα συστήματα εμπλέκονται στην επεξεργασία δεδομένων. Τα δεδομένα που ρέουν μέσω του συστήματος Α στο σύστημα Β στο σύστημα Γ και αυτά είναι ρυθμιζόμενες επιχειρήσεις ότι όλα πρέπει να είναι συνεπή. Συχνά, τα συστήματα εξαντλούνται μεταξύ τους, ένα σύστημα λέει: «επεξεργάζομαι εκατό δάνεια συνολικής αξίας 10 εκατομμυρίων δολαρίων». Το σύστημα λέει: «Όχι, επεξεργάζομαι 110 δάνεια άλλων διαφορετικό αριθμό ". Πρέπει να το επιλύσουν πραγματικά γρήγορα επειδή στην πραγματικότητα επεξεργάζονται τα ίδια δεδομένα και κάνουν διαφορετικές ερμηνείες.
Είτε πρόκειται για πιστωτική κάρτα, επεξεργασία δανείου, επιχειρηματική διαδικασία είτε για επιχειρηματική διαδικασία υποθηκών ή για κάτι άλλο, τους βοηθάμε να κάνουν συσχέτιση και συμφιλίωση σε πραγματικό χρόνο για να εξασφαλίσουν ότι αυτές οι επιχειρηματικές διαδικασίες παραμένουν σε συγχρονισμό. Αυτή είναι μια άλλη ενδιαφέρουσα περίπτωση χρήσης. Υπάρχει ένας σημαντικός αντισυμβαλλόμενος της κυβέρνησης των ΗΠΑ που εξετάζει την κίνηση DNS για να ανιχνεύσει ανωμαλίες. Υπάρχει ένα μοντέλο κατάρτισης εκτός σύνδεσης που έχουν κατασκευαστεί και κάνουν τη βαθμολόγηση με βάση αυτό το μοντέλο σε πραγματικό χρόνο. Μερικές από αυτές τις ενδιαφέρουσες περιπτώσεις χρήσης. Υπάρχει μια μεγάλη αεροπορική εταιρεία που κοιτάζει τις ουρές ασφαλείας και προσπαθούν να σας δώσουν εκείνες τις πληροφορίες που: "Γεια σου, είναι η πύλη σας για το αεροπλάνο σας για την πτήση σας. Η ουρά TSA σήμερα είναι περίπου 45 λεπτά έναντι δύο ωρών έναντι κάτι άλλο. "Η ενημερωμένη έκδοση λαμβάνετε εκ των προτέρων. Εξακολουθούν να εργάζονται σε αυτό. Ενδιαφέρουσα περίπτωση χρήσης IoT, αλλά μεγάλη περίπτωση αναλυτικών στοιχείων ροής προς την εμπειρία του πελάτη.
Rebecca Jozwiak: Αυτή είναι η Rebecca. Ενώ είστε στο θέμα των περιπτώσεων χρήσης, υπάρχει μια μεγάλη ερώτηση από ένα μέλος του ακροατηρίου που αναρωτιέται: «Είναι αυτές οι περιπτωσιολογικές μελέτες, οι πρωτοβουλίες αυτές οδηγούνται από την αναλυτική πλευρά των πληροφοριακών συστημάτων του σπιτιού ή οδηγούνται περισσότερο από η επιχείρηση που έχει συγκεκριμένες ερωτήσεις ή ανάγκες κατά νου; "
Anand Venugopal: Νομίζω ότι βλέπουμε περίπου το 60 τοις εκατό περίπου, το 50 τοις εκατό έως το 55 τοις εκατό, σε μεγάλο βαθμό πολύ δυναμικές, ενθουσιώδεις τεχνολογικές πρωτοβουλίες που ξέρουν, οι οποίοι είναι αρκετά κατανοητοί και κατανοούν ορισμένες επιχειρηματικές απαιτήσεις και μάλλον έχουν έναν χορηγό ότι αλλά αυτές είναι οι τεχνολογικές ομάδες που ετοιμάζονται για την επίθεση των περιπτώσεων επιχειρηματικής χρήσης που έρχονται και μετά από τη στιγμή που χτίζουν την ικανότητα, ξέρουν ότι μπορούν να το κάνουν αυτό και στη συνέχεια πηγαίνουν στην επιχείρηση και πωλούν επιθετικά αυτό. Σε 30 τοις εκατό έως 40 τοις εκατό των περιπτώσεων, βλέπουμε ότι η επιχείρηση έχει ήδη μια συγκεκριμένη περίπτωση χρήσης η οποία είναι επαιτεία για μια ροή αναλυτική ικανότητα.
Rebecca Jozwiak: Αυτό έχει νόημα. Έχω ένα άλλο λίγο πιο τεχνικό ερώτημα από ένα μέλος ακροατηρίου. Αναρωτιέται αν αυτά τα συστήματα υποστηρίζουν τόσο δομημένες όσο και μη δομημένες ροές δεδομένων, όπως τα ιζήματα των ροών Twitter ή των μηνυμάτων του Facebook σε πραγματικό χρόνο, ή πρέπει πρώτα να φιλτραριστούν;
Anand Venugopal: Τα προϊόντα και οι τεχνολογίες για τις οποίες μιλούμε πολύ άμεσα υποστηρίζουν τόσο δομημένα όσο και μη δομημένα δεδομένα. Μπορούν να διαμορφωθούν. Όλα τα δεδομένα έχουν κάποιο είδος δομής είτε πρόκειται για κείμενο είτε για XML ή οτιδήποτε άλλο. Υπάρχει κάποια δομή όσον αφορά την ύπαρξη χρονικής σήμανσης. Υπάρχει ίσως ένα άλλο blob που πρέπει να αναλυθεί ώστε να μπορείτε να εισάγετε αναλύσεις στο ρεύμα για να αναλύσετε τις δομές δεδομένων. Εάν είναι δομημένο, τότε λέμε απλά στο σύστημα: "Εντάξει, εάν υπάρχουν τιμές διαχωρισμένες με κόμμα και το πρώτο είναι μια συμβολοσειρά, το δεύτερο είναι μια ημερομηνία." Έτσι, μπορούμε να εισάγουμε αυτήν την ανάλυση πληροφοριών στα επίπεδα επάνω οθόνης επεξεργάζονται εύκολα δομημένα και μη δομημένα δεδομένα.
Rebecca Jozwiak: Έχω μια άλλη ερώτηση από το ακροατήριο. Ξέρω ότι τρέξαμε λίγο μετά την κορυφή της ώρας. Αυτός ο φοιτητής θέλει να γνωρίζει, φαίνεται ότι οι εφαρμογές συνεχούς ροής σε πραγματικό χρόνο μπορεί να αναπτύσσουν τόσο την ανάγκη όσο και την ευκαιρία για επανένταξη σε συστήματα συναλλαγών, συστήματα πρόληψης της απάτης που φέρνουν για παράδειγμα. Σε αυτή την περίπτωση, τα συστήματα συναλλαγών πρέπει να τροποποιηθούν ώστε να ταιριάζουν με αυτό;
Anand Venugopal: Είναι μια συγχώνευση, έτσι; Είναι μια συγχώνευση συστημάτων συναλλαγών. Μερικές φορές γίνονται η πηγή των δεδομένων όπου αναλύουμε τις συναλλαγές σε πραγματικό χρόνο και σε πολλές περιπτώσεις όπου ας πούμε ότι υπάρχει μια ροή εφαρμογών και εδώ προσπαθώ να δείξω ένα static site lookup site και έπειτα στην περίπτωση μας όπου κάποιο είδος streaming και ψάχνετε μια στατική βάση δεδομένων, όπως μια HBase ή μια RDBMS, για να εμπλουτίσετε τα δεδομένα ροής και τα στατικά δεδομένα από κοινού για να λάβετε μια απόφαση ή μια αναλυτική γνώση.
Υπάρχει μια άλλη μεγάλη τάση της βιομηχανίας που βλέπουμε και η σύγκλιση των OLAP και OLTP και γι 'αυτό έχετε βάσεις δεδομένων όπως οι βάσεις δεδομένων Kudu και in-memory που υποστηρίζουν ταυτόχρονα τις συναλλαγές και την αναλυτική επεξεργασία. Το στρώμα επεξεργασίας ροής θα είναι εξ ολοκλήρου στη μνήμη και θα εξετάσουμε ή θα διασυνδέσουμε με μερικές από αυτές τις βάσεις δεδομένων συναλλαγών.
Rebecca Jozwiak: Μικτή εργασία είναι ένα από τα τελευταία εμπόδια για να πηδήσει, νομίζω. Δεσ, Ρόμπιν, έχετε δύο ερωτήσεις;
Dez Blanchfield: Πάω να κάνω μια τελευταία ερώτηση και να τελειώσω σε αυτό, αν δεν σας πειράζει. Η πρώτη πρόκληση που οι οργανώσεις με τις οποίες ασχολούμαι για την τελευταία δεκαετία ή που οδήγησαν σε αυτή τη συναρπαστική πρόκληση της αναλυτικής ροής, το πρώτο πράγμα που τείνουν να επαναφέρουν στο τραπέζι όταν ξεκινήσαμε τη συζήτηση γύρω από ολόκληρη αυτή την πρόκληση είναι πού παίρνουμε το σύνολο δεξιοτήτων; Πώς αναβαθμίζουμε το σύνολο δεξιοτήτων και πώς θα αποκτήσουμε αυτή την ικανότητα εσωτερικά; Έχοντας Έμπνευση έρχονται και χέρι μας κρατάμε μέσα από το ταξίδι και στη συνέχεια να εφαρμόσει ως ένα μεγάλο πρώτο βήμα και κάνει πολύ νόημα να το κάνουμε αυτό.
Αλλά για μεσαίες και μεγάλες οργανώσεις, ποια είναι τα πράγματα που βλέπετε αυτή τη στιγμή για να προετοιμαστείτε για αυτό, να οικοδομήσουμε αυτή την ικανότητα εσωτερικά, να πάρουμε οτιδήποτε απλά από ένα βασικό λεξιλόγιο γύρω από αυτό και τι είδους μηνύματα μπορούν να κάνουν με η οργάνωση γύρω από τη μετάβαση σε αυτό το είδος πλαισίου και την ανακατασκευή του υφιστάμενου τεχνικού προσωπικού από τον ΤΠ από τον Διευθύνοντα Σύμβουλο, ώστε να μπορούν να το εκτελέσουν μόνοι τους μόλις το χτίσετε και εφαρμόσετε; Ακριβώς πολύ σύντομα, τι είδους προκλήσεις και πώς τους επιλύουν, τους πελάτες με τους οποίους ασχολείστε, τους τύπους προκλήσεων που βρήκαν και πώς περνούν μέσα από την επίλυση αυτής της επανεκπαίδευσης και την επανάκτηση εμπειρίας και γνώσης για να προετοιμαστούν για αυτό και να είναι είναι σε θέση να πάει επιχειρησιακά;
Anand Venugopal: Συχνά, η μικρή ομάδα ανθρώπων που προσπαθούν να βγούν έξω και να αγοράσουν μια πλατφόρμα ροής αναλυτικών δεδομένων είναι ήδη λογικά έξυπνες, επειδή γνωρίζουν το Hadoop, έχουν ήδη αποκτήσει τις δεξιότητες Hadoop MapReduce και επειδή συνεργάζονται στενά με τον Hadoop πωλητή διανομής, είναι εξοικειωμένοι. Όλα παίρνουν τον Kafka, για παράδειγμα. Κάνουν κάτι μαζί του και είτε η ροή Storm ή Spark είναι στο πεδίο ανοιχτού κώδικα. Σίγουρα, οι άνθρωποι είναι εξοικειωμένοι με αυτό ή δημιουργούν δεξιότητες γύρω από αυτό. Αλλά αρχίζει με ένα μικρό σύνολο ανθρώπων που είναι αρκετά ικανός και αρκετά έξυπνος. Παρευρίσκονται σε συνέδρια. Εκπαιδεύουν και ζητούν έξυπνες ερωτήσεις σε πωλητές και σε ορισμένες περιπτώσεις μαθαίνουν με τους πωλητές. Καθώς οι πωλητές έρχονται και παρουσιάζονται στην πρώτη συνάντηση, μπορεί να μην ξέρουν πράγματα αλλά συν-διαβάζουν και στη συνέχεια να αρχίσουν να παίζουν με αυτό.
Αυτή η μικρή ομάδα ανθρώπων είναι ο πυρήνας και στη συνέχεια αρχίζει να αναπτύσσεται και όλοι συνειδητοποιούν τώρα ότι η πρώτη περίπτωση επιχειρηματικής χρήσης γίνεται λειτουργική. Ξεκινάει ένα κύμα και είδαμε στη σύνοδο κορυφής Spark την περασμένη εβδομάδα, όπου μια μεγάλη επιχείρηση, όπως η Capital One, ήταν εκεί έξω και με μεγάλη δύναμη. Επιλέγονταν το Spark. Μιλούσαν γι 'αυτό. Εκπαιδεύουν πολλούς ανθρώπους τους στο Spark επειδή συμβάλλουν σε αυτό και σε πολλές περιπτώσεις ως χρήστης. Βλέπουμε το ίδιο με πολλές, πολλές μεγάλες επιχειρήσεις. Ξεκινά με λίγα μικρά κομμάτια πολύ έξυπνων ανθρώπων και στη συνέχεια αρχίζει ένα κύμα γενικής εκπαίδευσης και οι άνθρωποι γνωρίζουν ότι όταν ένας ανώτερος αντιπρόεδρος ή ένας ανώτερος διευθυντής είναι ευθυγραμμισμένος και θέλουν να ποντάρουν σε αυτό το πράγμα και η λέξη παίρνει γύρω και όλοι αρχίζουν να μαζεύουν αυτές τις δεξιότητες.
Dez Blanchfield: Είμαι σίγουρος ότι έχετε φανταστικό χρόνο για να φτιάξετε και αυτούς τους πρωταθλητές.
Ανάντ Βενγκουπόλ: Ναι. Κάνουμε πολλή εκπαίδευση καθώς εργαζόμαστε με τους αρχικούς πρωταθλητές και διοργανώνουμε μαθήματα κατάρτισης και πολλοί, πολλοί για τους μεγάλους πελάτες μας, επιστρέψαμε και είχαμε κύματα και κύματα εκπαίδευσης για να φέρουμε πολλούς χρήστες στη φάση της κύριας χρήσης, ιδιαίτερα στην τοποθεσία Hadoop MapReduce. Διαπιστώσαμε ότι σε μια μεγάλη εταιρεία πιστωτικών καρτών που είναι πελάτης μας, έχουμε παραδώσει τουλάχιστον ίσως πέντε έως οκτώ διαφορετικά εκπαιδευτικά προγράμματα. Έχουμε επίσης δωρεάν κοινοτικές εκδόσεις όλων αυτών των προϊόντων, συμπεριλαμβανομένων των δικών μας, sandboxes που οι άνθρωποι μπορούν να κατεβάσουν, να συνηθίσουν και να εκπαιδεύσουν τον ίδιο τρόπο επίσης.
Dez Blanchfield: Αυτό είναι το μόνο που έχω σήμερα το πρωί για εσάς. Ευχαριστώ πολύ. Θεωρώ εξαιρετικά ενδιαφέρον να δούμε τους τύπους των μοντέλων και να χρησιμοποιήσουμε περιπτώσεις που έχετε για εμάς σήμερα. Σας ευχαριστώ.
Ανάντ Βενγκουπόπαλ: Μεγάλη. Σας ευχαριστώ πολύ.
Rebecca Jozwiak: Ευχαριστούμε όλους όσους συμμετείχατε στην εκπομπή των Hot Technologies. Έχει συναρπαστικό να ακούσω από τον Dez Blanchfield, τον Dr. Robin Bloor και από την Impetus Technologies, Anand Venugopal. Ευχαριστώ τους παρουσιαστές. Σας ευχαριστώ ομιλητές και σας ευχαριστώ κοινό. Έχουμε μια άλλη Hot Technologies τον επόμενο μήνα, οπότε ψάξτε για αυτό. Μπορείτε πάντα να βρείτε το περιεχόμενό μας αρχειοθετημένο στο Insideanalysis.com. Έχουμε επίσης πολλά περιεχόμενα επάνω στο SlideShare και μερικά ενδιαφέροντα bits στο YouTube επίσης.
Αυτό ήταν παιδιά. Ευχαριστώ και πάλι και έχετε μια καλή μέρα. Αντίο.
