Από το προσωπικό της Techopedia, 22 Ιουνίου 2016
Takeaway: Η υποδοχή Rebecca Jozwiak συζητά τα πλεονεκτήματα των καταλόγων δεδομένων με τους Dez Blanchfield, Robin Bloor και David Crawford.
Πρέπει να εγγραφείτε για αυτό το συμβάν για να δείτε το βίντεο. Εγγραφείτε για να δείτε το βίντεο.
Rebecca Jozwiak: Κυρίες και κύριοι, γεια και ευπρόσδεκτοι στις Hot Technologies του 2016. Σήμερα έχουμε, "Η δύναμη της πρότασης: Πώς ένας κατάλογος δεδομένων ενδυναμώνει τους αναλυτές." Είμαι ο οικοδεσπότης σας Rebecca Jozwiak, συμπληρώνοντας τον συνήθη οικοδεσπότη Eric Kavanagh σήμερα, ενώ ταξιδεύει στον κόσμο, σας ευχαριστώ για την ένταξή σας. Αυτό το έτος είναι ζεστό, δεν είναι μόνο ζεστό στο Τέξας όπου είμαι, αλλά είναι ζεστό σε όλη τη χώρα. Υπάρχει μια έκρηξη όλων των ειδών τις νέες τεχνολογίες που βγαίνουν. Έχουμε IoT, streaming δεδομένων, υιοθέτηση νέφους, Hadoop συνεχίζει να ωριμάζει και να υιοθετείται. Έχουμε αυτοματοποίηση, μηχανική μάθηση, και όλα αυτά τα πράγματα υπογραμμίζονται φυσικά από τα δεδομένα. Και οι επιχειρήσεις γίνονται ολοένα και περισσότερα δεδομένα από την ημέρα. Και φυσικά, το σημείο αυτό είναι να οδηγήσει στη γνώση και την ανακάλυψη και, ξέρετε, να πάρει καλύτερες αποφάσεις. Αλλά για να αποκτήσετε πραγματικά την μεγαλύτερη αξία από τα δεδομένα, πρέπει να είναι εύκολο να φτάσετε. Εάν το κρατήσετε κλειδωμένο ή θαμμένο, ή στον εγκέφαλο μερικών ανθρώπων μέσα στην επιχείρηση, δεν πρόκειται να κάνει πολλά καλά για την επιχείρηση στο σύνολό της.
Και σκεφτόμουν κάπως την καταλογογράφηση δεδομένων και τη σκέψη των βιβλιοθηκών, όπου εδώ και πολύ καιρό πήγες αν χρειάζεσαι κάτι για να βρεις κάτι, αν έπρεπε να ερευνήσεις ένα θέμα ή να κοιτάξεις κάποια πληροφορία, πήγες στη βιβλιοθήκη, και βέβαια πήγατε στον κατάλογο καρτών ή στην κυρίαρχη κυρία που εργάστηκε εκεί. Αλλά ήταν επίσης διασκεδαστικό να περιπλανηθείτε, αν απλά ήθελα να κοιτάξετε και σίγουρα θα μπορούσατε να ανακαλύψετε κάτι καθαρό, ίσως να ανακαλύψετε μερικά ενδιαφέροντα γεγονότα που δεν γνωρίζατε, αλλά αν πραγματικά χρειάζεστε κάτι, και γνωρίζατε τι ψάχνατε, χρειάζεστε τον κατάλογο καρτών και βεβαίως το ισοδύναμο της επιχείρησης είναι ένας κατάλογος δεδομένων, ο οποίος μπορεί να σας βοηθήσει να λάμψει όλα τα δεδομένα για τους χρήστες μας να εμπλουτίσουν, να ανακαλύψουν, να μοιραστούν, να καταναλώσουν και να βοηθήσουν πραγματικά οι άνθρωποι φτάνουν στα δεδομένα γρηγορότερα και ευκολότερα.
Έτσι σήμερα έχουμε τον Dez Blanchfield, τον δικό μας επιστήμονα δεδομένων, και έχουμε τον Doctor Robin Bloor, τον κύριο αναλυτή μας, έχουμε τον David Crawford από τον Alation, ο οποίος πρόκειται να μιλήσει για την ιστορία καταγραφής δεδομένων της εταιρείας του, αλλά πρώτα θα ξεκινήσουμε με Dez. Dez, περνάω την μπάλα σε εσένα και το πάτωμα είναι δικό σου.
Dez Blanchfield: Σας ευχαριστώ, ευχαριστώ που με πήρατε σήμερα. Αυτό είναι ένα ζήτημα που με ενδιαφέρει ιδιαίτερα, επειδή σχεδόν κάθε οργάνωση συναντάμε στην καθημερινή μου εργασία, βρίσκω ακριβώς το ίδιο θέμα που μιλήσαμε πολύ σύντομα σχετικά με την αλήθεια πριν από την εκπομπή, και αυτό είναι ότι οι περισσότεροι οργανισμοί που δουλεύουν για περισσότερα από μερικά χρόνια έχουν μια πληθώρα δεδομένων που έχουν ταφεί γύρω από τον οργανισμό, με διαφορετικές μορφές και στην πραγματικότητα έχω πελάτες που έχουν σύνολα δεδομένων που επιστρέφουν στο Lotus Notes, βάσεις δεδομένων που εξακολουθούν να τρέχουν σε κάποια ως ψευδοδιεθνείς τους και όλοι τρέχουν σε αυτή την πρόκληση να διαπιστώσουν πού είναι τα δεδομένα τους και πώς να αποκτήσουν πρόσβαση σε αυτά, σε ποιον να τους παράσχει πρόσβαση, πότε θα τους επιτρέψουν την πρόσβαση και ποια είναι η μόνη τον κατάλογο και τον τρόπο με τον οποίο μπορεί κανείς να: A) να γνωρίζει τι υπάρχει και τι υπάρχει και πώς να αποκτά πρόσβαση σε αυτό και να το χρησιμοποιεί. Και μια από τις μεγαλύτερες προκλήσεις βέβαια είναι η εξεύρεση, η άλλη μεγάλη πρόκληση είναι να γνωρίζουμε τι υπάρχει και πώς να το έχετε πρόσβαση.
Ίσως να γνωρίζω ότι έχω δεκάδες βάσεις δεδομένων, αλλά δεν ξέρω τι είναι εκεί ή πώς να μάθω τι υπάρχει εκεί και έτσι συνεχώς όπως ανακαλύπτουμε τώρα στα δεδομένα προ της εμφάνισης, τείνετε να περπατήσω γύρω από το γραφείο και να κάνω ερωτήσεις και να φωνάξω στα κυβικά τείχη και να προσπαθήσω να καταλάβω ότι συχνά η εμπειρία μου είναι ότι μπορεί να βρεις ότι περιπλανιέσαι στη ρεσεψιόν, στη ρεσεψιόν και ρωτάς αν κάποιος ξέρει ποιος θα πάμε να μιλήσουμε. Πολύ συχνά, δεν είναι πάντα οι άνθρωποι της τεχνολογίας της πληροφορίας επειδή δεν γνωρίζουν το σύνολο δεδομένων, επειδή κάποιος το δημιούργησε, και θα μπορούσε να είναι κάτι απλό ως ένα - πολύ συχνά θα βρούμε ένα έργο κάποιου είδους που βρίσκεται σε περιβάλλον πληροφορικής και ο υπεύθυνος του έργου χρησιμοποίησε ένα υπολογιστικό φύλλο όλων των πραγμάτων και έλαβε κάποια τεράστια ποσότητα πολύτιμων πληροφοριών γύρω από τα περιουσιακά στοιχεία και τα συμφραζόμενα και τα ονόματα και αν δεν γνωρίζετε αυτό το έργο και γνωρίζετε αυτό το άτομο, απλά δεν μπορείτε να βρείτε αυτές τις πληροφορίες. Δεν είναι απλά διαθέσιμο, και πρέπει να πάρετε το αρχικό αρχείο.
Υπάρχει μια φράση που έχει μολυνθεί γύρω από τα δεδομένα και δεν συμφωνώ κατ 'ανάγκην με αυτό, αλλά νομίζω ότι είναι ένα χαριτωμένο μικρό throwaway και ότι είναι ότι ένα ορισμένο ποσό των ανθρώπων πιστεύουν ότι τα δεδομένα είναι το νέο πετρέλαιο, και είμαι Σίγουρα θα το καλύψουμε και σε κάποια πτυχή, αργότερα σήμερα. Αλλά αυτό που έχω παρατηρήσει, σίγουρα είναι μέρος αυτού του μετασχηματισμού, είναι ότι οι οργανώσεις επιχειρήσεων που έχουν μάθει να εκτιμούν τα δεδομένα τους έχουν αποκτήσει σημαντικό πλεονέκτημα έναντι των ανταγωνιστών τους.
Υπήρξε ένα ενδιαφέρον έγγραφο από την IBM, περίπου πριν από πέντε ή έξι χρόνια, και έψαχναν περίπου 4.000 εταιρείες εδώ στην Αυστραλία, πήραν όλες τις πληροφορίες, όλα τα δεδομένα απόδοσης, όλα τα οικονομικά στοιχεία και το έβαζαν μαζί σε ένα δοχείο βρασμού και στη συνέχεια το έστειλαν στην Αυστραλιανή Σχολή Οικονομικών και στην πραγματικότητα ξεκίνησαν μια κοινή τάση εδώ και ότι οι εταιρείες που εκμεταλλεύονταν τεχνολογία κέρδιζαν σταθερά ένα τέτοιο ανταγωνιστικό πλεονέκτημα έναντι των συμμαθητών τους και των ανταγωνιστών τους, που οι ανταγωνιστές τους σχεδόν ποτέ δεν προπονεύουν και νομίζω αυτό συμβαίνει τώρα με τα δεδομένα που έχουμε δει ό, τι οι άνθρωποι αποκαλούν ψηφιακό μετασχηματισμό, όπου οι οργανώσεις που έχουν ξεκαθαρίσει σαφώς πώς να βρουν τα δεδομένα που έχουν, να κάνουν αυτά τα δεδομένα διαθέσιμα και να τα κάνουν διαθέσιμα σε μερικά πολύ εύκολα αναλώσιμα μόδα στην οργάνωση, χωρίς απαραίτητα να γνωρίζει πάντα γιατί η οργάνωση μπορεί να την χρειαστεί και να αποκτήσει σημαντικό πλεονέκτημα έναντι των ανταγωνιστών.
Έχω δυο παραδείγματα σε αυτή τη διαφάνεια, τα οποία μπορείτε να δείτε. Η μόνη μου γραμμή είναι ότι η μεγάλη διαταραχή σε όλους σχεδόν τους τομείς της βιομηχανίας, κατά την άποψή μου, οδηγείται από δεδομένα και εάν οι τρέχουσες τάσεις είναι κάτι που πρέπει να περάσουν, η άποψή μου είναι ότι έχουμε μόλις πάρει μόλις ξεκίνησε επειδή όταν οι μακροχρόνιες μάρκες τελικά ξυπνήσουν για το τι σημαίνει αυτό και μπαίνουν στο παιχνίδι, θα μπουν στο παιχνίδι στο χονδρεμπόριο. Όταν κάποιοι μεγάλοι λιανοπωλητές που έχουν βουνά δεδομένων αρχίσουν να εφαρμόζουν κάποια ιστορική ανάλυση για τα δεδομένα, αν γνωρίζουν ότι υπάρχει, τότε μερικοί από τους online παίκτες θα πάρουν ένα κομμάτι μιας κλήσης αφύπνισης.
Αλλά με πολλά από τα περισσότερα από αυτά τα εμπορικά σήματα, εννοώ ότι έχουμε την Uber που είναι η μεγαλύτερη εταιρεία ταξί στον κόσμο. Δεν κατέχουν κανένα ταξί, έτσι τι είναι αυτό που τους κάνει μαγικό, ποια είναι τα δεδομένα τους; Η Airbnb, ο μεγαλύτερος πάροχος διαμονής, έχουμε την WeChat, τη μεγαλύτερη τηλεφωνική εταιρεία στον κόσμο, αλλά δεν έχουν καμία πραγματική υποδομή και δεν υπάρχουν συσκευές τηλεφώνου, ούτε τηλεφωνικές γραμμές. Alibaba, ο μεγαλύτερος λιανοπωλητής στον πλανήτη, αλλά δεν κατέχουν κανένα από τα αποθέματα. Το Facebook, η μεγαλύτερη εταιρεία μέσων ενημέρωσης στη λέξη. Νομίζω ότι στην τελευταία μέτρηση είχαν τώρα 1, 4 δισεκατομμύρια ενεργούς χρήστες δεδομένων, κάτι που είναι ένα μυαλό. Δεν είναι πουθενά κοντά - νομίζω ότι κάποιος υποστήριξε ότι ένα τέταρτο του πλανήτη είναι στην πραγματικότητα εκεί κάθε μέρα, και όμως εδώ είναι ένας πάροχος περιεχομένου που στην πραγματικότητα δεν δημιουργεί το περιεχόμενο, όλα τα δεδομένα που εξυπηρετούν δεν δημιουργείται από αυτά, δημιουργείται από τους συνδρομητές τους και όλοι γνωρίζουμε αυτό το μοντέλο.
SocietyOne, το οποίο ίσως ή δεν μπορεί να έχετε ακούσει, είναι μια τοπική μάρκα, νομίζω ότι σε μερικές χώρες είναι μια τράπεζα που πραγματικά κάνει δάνεια από ομοτίμους, οπότε δεν έχει χρήματα. Το μόνο που κάνει είναι ότι διαχειρίζεται τις συναλλαγές και τα δεδομένα βρίσκονται κάτω από αυτό. Netflix, είμαστε όλοι πολύ εξοικειωμένοι με αυτό. Υπάρχει μια ενδιαφέρουσα μονογραμμή εδώ. Όταν η Netflix ήταν νομικά ικανή να χρησιμοποιηθεί στην Αυστραλία, όταν ανακοινώθηκε επίσημα, δεν χρειάστηκε να χρησιμοποιήσετε ένα VPN για να φτάσετε σε αυτό, πολλοί άνθρωποι σε όλο τον κόσμο τείνουν να - αν δεν μπορείτε να φτάσετε σε αυτό στην περιοχή σας - όταν το Netfix κυκλοφόρησε στην Αυστραλία, αύξησε το διεθνές εύρος ζώνης στις συνδέσεις μας στο διαδίκτυο κατά 40%, έτσι σχεδόν διπλασίασε τη χρήση του διαδικτύου στην Αυστραλία μια μέρα στην άλλη, με μία μόνο εφαρμογή, μία εφαρμογή που φιλοξενείται σε σύννεφο και δεν παίζει τίποτε άλλο παρά δεδομένα. Είναι απλώς μια στατιστική γεμάτη μυαλά.
Και φυσικά, είμαστε όλοι εξοικειωμένοι με την Apple και το Google, αλλά αυτές είναι οι μεγαλύτερες επιχειρήσεις λογισμικού στον πλανήτη, όμως δεν γράφουν πραγματικά τις εφαρμογές. Ποιο είναι το συνεπές με όλες αυτές τις οργανώσεις; Λοιπόν, είναι δεδομένα, και δεν πήγαν εκεί επειδή δεν ήξεραν πού ήταν τα δεδομένα τους και δεν ήξεραν πώς να τα κατατάξουν.
Αυτό που βρούμε τώρα είναι ότι αυτή η νέα κατηγορία περιουσιακών στοιχείων αναφέρεται ως δεδομένα και οι εταιρείες ξυπνούν. Αλλά δεν έχουν πάντοτε τα εργαλεία και την τεχνογνωσία και για το λόγο αυτό να χαρτογραφήσουν όλα αυτά τα δεδομένα, να ταξινομήσουν όλα αυτά τα δεδομένα και να τα καταστήσουν διαθέσιμα, αλλά διαπιστώσαμε ότι εταιρείες με σχεδόν κανένα περιουσιακό στοιχείο έχουν κερδίσει μεγάλη αξία στην αγορά καταγράψτε το χρόνο μέσω αυτής της νέας κατηγορίας στοιχείων δεδομένων. Όπως έχω πει, μερικοί από τους παλιούς παίκτες ξυπνούν τώρα και σίγουρα το αναδεικνύουν.
Είμαι ένας μεγάλος οπαδός της λαϊκής παράδοσης σε ένα μικρό ταξίδι, οπότε στις δεκαοχτώ εκατοντάδες, αργότερα δεκαοχτώ εκατοντάδες, και θα είστε περισσότερο από εξοικειωμένοι με αυτό στην αγορά των ΗΠΑ, αποδείχθηκε ότι για να εκτελέσετε μια απογραφή κάθε χρόνο ή έτσι, νομίζω ότι τους έτρεξαν κάθε δέκα χρόνια σε αυτό το σημείο, αλλά αν πρόκειται να διεξάγετε απογραφή κάθε χρόνο, θα μπορούσατε να διαρκέσετε έως οκτώ ή εννέα χρόνια για να κάνετε πραγματικά την ανάλυση των δεδομένων. Αποδείχθηκε ότι αυτό το σύνολο δεδομένων έμεινε έπειτα σε κουτιά σε θέσεις σε χαρτί και σχεδόν κανείς δεν το βρήκε. Συνέχισαν να αντλούν αυτές τις αναφορές, αλλά τα πραγματικά δεδομένα ήταν πολύ δύσκολα να τα βγάλουμε, έχουμε μια παρόμοια κατάσταση με μια άλλη παγκόσμια σημαντική στιγμή, γύρω στη δεκαετία του 1940, με τον Δεύτερο Παγκόσμιο Πόλεμο, και αυτό είναι το Bletchee Bombe, και ήταν ένα τεράστιο αναλυτικό εργαλείο που θα μπορούσε να περάσει από μικρά σύνολα δεδομένων και να βρει σήματα σε αυτό και θα μπορούσε να χρησιμοποιηθεί για να βοηθήσει τους κώδικες μέσω του Enigma.
Αυτό το πράγμα πάλι, ήταν ουσιαστικά μια συσκευή που σχεδιάστηκε, όχι πολύ για καταλογογράφηση, αλλά για ετικέτα και χαρτογράφηση δεδομένων, και καθιστούσε δυνατή τη λήψη μοτίβων και την εύρεση μέσα στα σύνολα δεδομένων, σε αυτή την περίπτωση, break codes, εύρεση κλειδιών και φράσεων και εύρεση τακτικά σε σύνολα δεδομένων και έτσι έχουμε περάσει αυτό το ταξίδι εύρεσης στοιχείων σε δεδομένα και οδηγώντας σε δεδομένα καταλογογράφησης.
Και έπειτα αυτά τα πράγματα ήρθαν μαζί, αυτά τα τεράστια χαμηλού κόστους ράφια μηχανημάτων, ακριβώς έξω από το ράφι μηχανές. Και κάναμε μερικά πολύ ενδιαφέροντα πράγματα και ένα από τα πράγματα που κάναμε μαζί τους είναι ότι χτίσαμε ομάδες πολύ χαμηλού κόστους που θα μπορούσαν να ξεκινήσουν την ευρετηρίαση του πλανήτη και πολύ περίφημα αυτά τα μεγάλα εμπορικά σήματα που έχουν έρθει και φύγουν αλλά πιθανώς το Google είναι το πιο κοινό σπίτι μάρκα για την οποία όλοι έχουμε ακούσει - είναι ένα πραγματικό ρήμα και γνωρίζετε ότι είστε επιτυχής όταν η μάρκα σας γίνεται ρήμα. Αλλά αυτό που μας δίδαξε η Google, χωρίς να το συνειδητοποιήσουμε, ενδεχομένως στον επιχειρηματικό κόσμο, είναι ότι ήταν σε θέση να αναδείξουν ολόκληρο τον πλανήτη σε ένα ορισμένο επίπεδο και να καταγράψουν τα δεδομένα που ήταν σε όλο τον κόσμο και να τα καταστήσουν διαθέσιμα σε μια πολύ εύκολη, βολική μορφή σε μια μικρή μικροσκοπική φόρμουλα μιας γραμμής, μια ιστοσελίδα με σχεδόν τίποτα σε αυτό, και πληκτρολογείτε στο ερώτημά σας, πηγαίνει και το βρίσκει επειδή είχε ήδη σκάψει τον πλανήτη, την ευρετηρίασε και το κατέστησε εύκολα διαθέσιμη.
Και αυτό που παρατήρησα ήταν: "Κρατήστε καλά, δεν το κάνουμε αυτό σε οργανώσεις - γιατί είναι αυτό; Γιατί είναι ότι έχουμε μια οργάνωση που μπορεί να χαρτογραφήσει ολόκληρο τον πλανήτη και να τον δείξει, να ανιχνεύσει και να το δείξει και να το καταστήσει διαθέσιμο, να το ψάξουμε και στη συνέχεια να κάνουμε κλικ στο πράγμα για να το βρούμε, δεν έχουν κάνει αυτό εσωτερικά; "Έτσι, υπάρχουν πολλά από αυτά τα μικρά ράφια των μηχανών σε όλο τον κόσμο τώρα που το κάνουν αυτό για τα intranets και βρίσκουν πράγματα, αλλά εξακολουθούν να είναι πραγματικά ακριβώς να ασχοληθούν με την ιδέα να ξεπεράσουμε τον παραδοσιακό ιστό σελίδα ή διακομιστή αρχείων.
Αντί να εισέλθει τώρα σε αυτήν την επόμενη γενιά του καταλόγου δεδομένων με πολλούς τρόπους, η ανακάλυψη της πρόσβασης σε δεδομένα μέσω μεταγλωττισμένων σημειώσεων και συνομιλιών με ψύκτες νερού δεν είναι πραγματικά μια κατάλληλη μέθοδος για την ανακάλυψη δεδομένων και την καταλογογράφηση πια και στην πραγματικότητα δεν νομίζω ότι ποτέ ήταν πραγματικά. Δεν μπορούμε πλέον να οδηγήσουμε ολόκληρη αυτή την πρόκληση σε ανθρώπους που περνούν απλώς σημειώσεις, δημοσιεύουν σημειώσεις και συζητούν για αυτό. Είμαστε καλά και πραγματικά πέρα από την περιοχή τώρα που αυτή η επόμενη γενιά προσέγγιση για την καταλογογράφηση δεδομένων έχει έρθει και φύγει. Πρέπει να το πάρουμε γύρω μας. Εάν αυτό ήταν ένα εύκολο ζήτημα, θα το λύσαμε ήδη με πολλούς τρόπους νωρίτερα, αλλά νομίζω ότι δεν είναι εύκολο ζήτημα, απλά η ευρετηρίαση και η κλήση των δεδομένων είναι μόνο ένα μέρος της, γνωρίζοντας τι υπάρχει στα δεδομένα και χτίζοντας μεταδεδομένα γύρω από αυτό που ανακαλύπτουμε και στη συνέχεια το διαθέτουμε σε μια εύκολη, αναλώσιμη μορφή, ιδιαίτερα στην αυτοεξυπηρέτηση και την ανάλυση. Είναι ακόμα ένα πρόβλημα που επιλύεται, αλλά πολλά μέρη του παζλ σε πέντε χρόνια είναι καλά και πραγματικά λυθούν και είναι διαθέσιμα.
Όπως γνωρίζουμε, οι άνθρωποι που καταγράφουν τα δεδομένα είναι μια συνταγή για αποτυχία επειδή το ανθρώπινο λάθος είναι ένας από τους μεγαλύτερους εφιάλτες που ασχολούμαστε με την επεξεργασία δεδομένων και μιλάω τακτικά για αυτό το θέμα όπου, κατά την άποψή μου, οι άνθρωποι που συμπληρώνουν χαρτί είναι ίσως ο μεγαλύτερος εφιάλτης ασχολούμαστε με μεγάλα δεδομένα και αναλύσεις, πρέπει να διορθώνουμε συνεχώς τα πράγματα που κάνουν, ακόμα και κάτω απλά πράγματα όπως οι ημερομηνίες και τα πεδία, οι άνθρωποι που το βάζουν σε λάθος μορφή.
Αλλά όπως έχω πει, έχουμε δει μηχανές αναζήτησης στο διαδίκτυο να αναδεικνύουν τον κόσμο κάθε μέρα, οπότε τώρα το κάνουμε με την ιδέα ότι αυτό μπορεί να γίνει με σύνολα επιχειρηματικών δεδομένων στη διαδικασία της ανακάλυψης και τα εργαλεία και τα συστήματα είναι τώρα εύκολα διαθέσιμες καθώς πρόκειται να μάθετε σήμερα. Έτσι, το κόλπο, πραγματικά κατά τη γνώμη μου, επιλέγει τα σωστά εργαλεία, τα καλύτερα εργαλεία για τη δουλειά. Και πιο κατάλληλα πάνω από αυτό, βρίσκοντας το σωστό μέρος για να σας βοηθήσει να ξεκινήσετε αυτή τη διαδρομή. Και πιστεύω ότι πρόκειται να το ακούσουμε σήμερα, αλλά πριν το κάνουμε αυτό, θα περάσω στο κολέγιο μου, τον Robin Bloor και θα ακούσω τη λήψη του σχετικά με το θέμα. Ρόμπιν, μπορώ να σας μεταφέρω;
Robin Bloor: Ναι, σίγουρα μπορείτε. Ας δούμε αν αυτό λειτουργεί, αλλά ναι. Εντάξει, έρχομαι από μια διαφορετική κατεύθυνση από την Dez πραγματικά, αλλά θα καταλήξω στον ίδιο τόπο. Πρόκειται για σύνδεση με δεδομένα, γι 'αυτό σκέφτηκα ότι θα περνούσα την πραγματικότητα της σύνδεσής μου με τα δεδομένα, πραγματικά με σημείο προς το σημείο.
Υπάρχει ένα γεγονός ότι τα δεδομένα είναι πιο κατακερματισμένα από ποτέ. Ο όγκος των δεδομένων αυξάνεται φαινομενικά, αλλά στην πραγματικότητα, οι διάφορες πηγές δεδομένων αυξάνονται επίσης με απίστευτο ρυθμό και επομένως τα δεδομένα ολοένα και περισσότερο κατακερματίζονται συνεχώς. Αλλά εξαιτίας κυρίως των εφαρμογών ανάλυσης - αλλά αυτές δεν είναι οι μοναδικές εφαρμογές - έχουμε έναν πολύ καλό λόγο να συνδεθούμε με όλα αυτά τα δεδομένα, έτσι είμαστε κολλημένοι σε ένα δύσκολο σημείο, είμαστε κολλημένοι σε έναν κόσμο κατακερματισμένων δεδομένων, και υπάρχει η δυνατότητα στα δεδομένα, όπως ονομάζει το Dez, το νέο πετρέλαιο.
Σχετικά με τα δεδομένα, χρησιμοποιήθηκε για να ζει σε περιστρεφόμενο δίσκο, είτε σε συστήματα αρχείων είτε σε βάσεις δεδομένων. Τώρα ζει σε ένα πολύ πιο ποικίλο περιβάλλον, ζει σε συστήματα αρχείων, αλλά ζει και σε περιπτώσεις Hadoop σήμερα, ή ακόμα και περιπτώσεις Spark. Ζει σε πολλά είδη βάσεων δεδομένων. Όχι πολύ καιρό πριν, εμείς τυποποιήσαμε κάποιες σχεσιακές βάσεις δεδομένων, αλλά γνωρίζετε ότι βγήκε από το παράθυρο τα τελευταία πέντε χρόνια, επειδή υπάρχει ανάγκη για βάσεις δεδομένων εγγράφων και υπάρχει ανάγκη για βάσεις δεδομένων γραφημάτων, έτσι ξέρετε ότι το παιχνίδι έχει άλλαξε. Έτσι ζούσε στο spinning δίσκο, αλλά τώρα ζει σε SSD. Το τελευταίο ποσό SSD - σίγουρα η τελευταία μονάδα SSD έρχεται από τη Samsung - είκοσι gigabytes, η οποία είναι τεράστια. Τώρα ζει στη μνήμη, με την έννοια ότι το πρωταρχικό αντίγραφο των δεδομένων μπορεί να είναι μνήμη, αντί για δίσκο, δεν χρησιμοποιήσαμε για να χτίσουμε τέτοια συστήματα. το κάνουμε τώρα. Και ζει στο σύννεφο. Αυτό σημαίνει ότι μπορεί να ζήσει σε οποιοδήποτε από αυτά τα πράγματα, στο σύννεφο, δεν ξέρετε απαραίτητα πού βρίσκεται σε ένα σύννεφο, θα έχετε μόνο τη διεύθυνσή του.
Απλώς για να οπισθοχωρήσει το σημείο, ο Hadoop έχει μέχρι στιγμής αποτύχει ως εκτάσιμο κατάστημα δεδομένων. Είχαμε την ελπίδα ότι θα γίνει ένα επεκτάσιμο αποθηκευτικό κατάστημα δεδομένων και θα γίνει απλά ένα σύστημα αρχείων για όλα και θα ήταν - τα ουράνια τόξα θα εμφανίζονταν στον ουρανό, βασικά, και οι μονόκεροι θα χορούσαν γύρω και κανένα από αυτά δεν συνέβη. Αυτό σημαίνει ότι καταλήγουμε σε ένα πρόβλημα μεταφοράς δεδομένων και δεν υπάρχει ανάγκη για μεταφορά δεδομένων, κατά καιρούς, αλλά είναι επίσης μια δυσκολία. Δεδομένα πραγματικά έχουν τη βαρύτητα στις μέρες μας, από τη στιγμή που έχετε εισέλθει στα δεδομένα πολλαπλών terabytes, συλλέγοντάς τα και ρίχνοντάς τα, προκαλώντας λανθάνουσες εμφανίσεις στο δίκτυό σας ή εμφανίζοντας σε διάφορα μέρη. Αν θέλετε να μεταφέρετε τα δεδομένα γύρω, ο συγχρονισμός είναι ένας παράγοντας. Υπάρχει σχεδόν πάντα, σήμερα, κάποια όρια για το πόσο χρόνο πρέπει να πάρετε ένα πράγμα, ένα δεδομένο από ένα μέρος σε άλλο. Υπήρχε αυτό που θεωρούσαμε ως παράθυρα παρτίδας, όταν το μηχάνημα ήταν κάπως αδρανές και ανεξάρτητα από το πόσα δεδομένα είχατε, θα μπορούσατε να το πετάξετε και αυτό θα συνέβαινε. Λοιπόν αυτό έχει φύγει, ζούμε σε έναν κόσμο σε πραγματικό χρόνο. Συνεπώς, ο συγχρονισμός είναι ένας παράγοντας. Μόλις θέλετε να μετακινήσετε δεδομένα γύρω, έτσι ώστε αν τα δεδομένα έχουν βαρύτητα, πιθανώς δεν μπορείτε να τα μετακινήσετε.
Η διαχείριση των δεδομένων είναι ένας παράγοντας με την έννοια ότι έχετε πράγματι να διαχειριστείτε όλα αυτά τα δεδομένα, δεν μπορείτε να τα πάρετε δωρεάν, και η αναπαραγωγή μπορεί να είναι απαραίτητη για να λάβετε πραγματικά τα δεδομένα για να κάνετε τη δουλειά που χρειάζεται να κάνετε, επειδή δεν μπορεί να είναι οπουδήποτε το έχετε θέσει. Μπορεί να μην διαθέτει επαρκείς πόρους για να κάνει την κανονική επεξεργασία των δεδομένων. Έτσι, τα δεδομένα επαναλαμβάνονται και τα δεδομένα αντιγράφονται περισσότερο από ό, τι θα φανταστείτε. Νομίζω ότι κάποιος μου είπε πριν από πολύ καιρό ότι το μέσο κομμάτι των δεδομένων αναπαράγεται τουλάχιστον δυόμισι φορές. Οι ESB ή Kafka παρουσιάζουν μια επιλογή για ροή δεδομένων, αλλά σήμερα απαιτεί αρχιτεκτονική. Σήμερα πρέπει πραγματικά να σκεφτείτε με τον ένα ή τον άλλο τρόπο, για το τι πραγματικά σημαίνει να ρίξετε τα δεδομένα γύρω. Επομένως, για να έχετε πρόσβαση στα δεδομένα όπου είναι, είναι συνήθως προτιμότερο, αρκεί, φυσικά, μπορείτε να πάρετε την απόδοση που χρειάζεστε όταν πηγαίνετε πραγματικά για τα δεδομένα και αυτό εξαρτάται από το πλαίσιο. Έτσι είναι μια δύσκολη κατάσταση, ούτως ή άλλως. Όσον αφορά τα ερωτήματα δεδομένων, χρησιμοποιήσαμε για να μπορούμε να σκεφτούμε με όρους SQL, έχουμε βρεθεί πραγματικά τώρα, ξέρετε, διαφορετικές φόρμες ερωτήσεων, SQL ναι, αλλά δίπλα, επίσης ερωτήματα γραφημάτων, το Spark είναι μόνο ένα παράδειγμα να κάνουμε γράφημα, διότι επίσης πρέπει να κάνουμε αναζήτηση κειμένου, κάτι περισσότερο από ό, τι κάναμε, επίσης, το είδος των αναζητήσεων τύπου regex, που είναι πολύ περίπλοκες αναζητήσεις για μοτίβα και γνήσια αντιστοίχιση προτύπων, όλα αυτά τα πράγματα εξαντλούνται. Και όλα αυτά είναι χρήσιμα επειδή σας φέρνουν αυτό που ψάχνετε ή μπορούν να σας πάρουν αυτό που ψάχνετε.
Τα ερωτήματα τώρα καλύπτουν πολλά δεδομένα, επομένως δεν το έκαναν πάντα και συχνά η απόδοση είναι αποτρόπαια εάν το κάνετε αυτό. Επομένως, εξαρτάται από τις περιστάσεις, αλλά οι άνθρωποι αναμένουν να είναι σε θέση να αναζητήσουν δεδομένα από πολλαπλές πηγές δεδομένων, οπότε η ομοσπονδία δεδομένων ενός ή του άλλου είδους γίνεται όλο και πιο πρόσφατη. Η εικονικοποίηση δεδομένων, η οποία είναι ένας διαφορετικός τρόπος για να γίνει αυτό, ανάλογα με την απόδοση, είναι επίσης πολύ συνηθισμένος. Τα ερωτήματα δεδομένων είναι στην πραγματικότητα μέρος μιας διαδικασίας και όχι ολόκληρη η διαδικασία. Ακριβώς αξίζει να τονισθεί ότι εάν εξετάζετε πραγματικά την απόδοση των αναλυτικών στοιχείων, τα πραγματικά αναλυτικά στοιχεία μπορεί να διαρκέσουν πολύ περισσότερο από τη συλλογή δεδομένων, διότι αυτό εξαρτάται από τις περιστάσεις, αλλά τα ερωτήματα δεδομένων είναι απόλυτη ανάγκη εάν θέλετε να κάνετε οποιαδήποτε είδος αναλυτικών στοιχείων σε πολλαπλές πηγές δεδομένων και απλά πρέπει πραγματικά να έχετε δυνατότητες που καλύπτουν.
Έτσι για τους καταλόγους. Οι κατάλογοι υπάρχουν για ένα λόγο, τουλάχιστον λέμε ότι, ξέρετε, είναι, έχουμε καταλόγους και έχουμε σχηματισμούς σε βάσεις δεδομένων και έχουμε κάθε κατάλογο και έχουμε όπου κι αν πάτε θα βρείτε ένα μέρος και στη συνέχεια θα διαπιστώστε ότι υπάρχει κάποιο είδος καταλόγου και ο ενοποιημένος παγκόσμιος κατάλογος είναι τόσο προφανώς καλή ιδέα. Αλλά πολύ λίγες εταιρείες έχουν κάτι τέτοιο. Θυμάμαι, πίσω στο έτος δύο χιλιάδες - η χρονιά δύο χιλιάδες πανικός - θυμάμαι ότι οι κομμουνιστές δεν μπορούσαν να εντοπίσουν πόσα εκτελέσιμα είχαν, ανεξάρτητα από το πόσα διαφορετικά καταστήματα δεδομένων είχαν και πιθανότατα τώρα, γνωρίζετε ότι οι περισσότερες εταιρείες δεν γνωρίζουν ενεργά με την παγκόσμια έννοια, ποια στοιχεία έχουν. Ωστόσο, είναι προφανώς όλο και περισσότερο απαραίτητο να έχουμε έναν παγκόσμιο κατάλογο ή τουλάχιστον να έχουμε μια συνολική εικόνα για το τι συμβαίνει λόγω της αύξησης των πηγών δεδομένων και της συνεχιζόμενης ανάπτυξης των εφαρμογών και είναι ιδιαίτερα απαραίτητο για τους αναλυτές, επειδή και με έναν τρόπο και υπάρχουν και άλλα θέματα εδώ, όπως η γενεαλογία και τα προβλήματα με τα δεδομένα, και είναι απαραίτητο για την ασφάλεια, πολλές πτυχές της διακυβέρνησης των δεδομένων, αν πραγματικά δεν ξέρετε τι δεδομένα έχετε, την ιδέα ότι πρόκειται να το κυβερνήσετε είναι απλώς παράλογο. Έτσι, σε αυτό, όλα τα δεδομένα καταλογογραφούνται με κάποιο τρόπο είναι απλώς ένα γεγονός. Το ερώτημα είναι κατά πόσον ο κατάλογος είναι συνεπής και στην πραγματικότητα τι μπορείτε να κάνετε μαζί του. Έτσι θα περάσω πίσω στη Ρεβέκκα.
Rebecca Jozwiak: Εντάξει, ευχαριστώ τον Robin. Έπειτα, έχουμε τον Δαβίδ Κρόφορντ από τον Alation, τον David, θα πάμε μπροστά και θα περάσουμε την μπάλα σε σας, και μπορείτε να το πάρετε μακριά.
Δαβίδ Crawford: Σας ευχαριστώ πολύ. Σας εκτιμώ πολύ που με πήρατε σε αυτή την παράσταση. Νομίζω ότι πρόκειται να ξεκινήσω αυτό το θέμα, οπότε νομίζω ότι ο ρόλος μου εδώ είναι να λάβουμε μέρος αυτής της θεωρίας και να δούμε πώς εφαρμόζεται και τα αποτελέσματα που μπορούμε να οδηγήσουμε σε πραγματικούς πελάτες και έτσι μπορείτε να δείτε μερικά στη διαφάνεια, θέλω να μιλήσω για τα αποτελέσματα που θα μπορέσουμε να δούμε σε αναλυτικές πιθανές βελτιώσεις. Για να παρακινήσουμε τη συζήτηση, πρόκειται να μιλήσουμε για το πώς φτάνουν εκεί. Έτσι είμαι τυχερός να έρθω να δουλέψω πολύ στενά με πολλούς πολύ έξυπους ανθρώπους, αυτούς τους πελάτες και θέλω απλώς να επισημάνω μερικούς που μπόρεσαν πραγματικά να μετρήσουν και να μιλήσω για το πώς η ύπαρξη ενός καταλόγου δεδομένων επηρέασε τον αναλυτή τους ροή εργασίας. Και για να μείνω σύντομα στο μέτωπο, νομίζω ότι ένα από τα πράγματα που βλέπουμε αλλάζει, με καταλόγους δεδομένων στίχους προηγουμένως μεσολαβούμενες λύσεις και ένας από τους τρόπους που πραγματικά σκέφτονται οι σχέσεις σχετικά με τις λύσεις που έχουμε συγκεντρώσει, είναι να ξεκινήσουμε από τους αναλυτές και να εργαστείτε προς τα πίσω. Για να πούμε, ας κάνουμε αυτό για να επιτρέψουμε την παραγωγικότητα των αναλυτών. Σε αντίθεση με τη συμμόρφωση ή απλώς με την απογραφή, κάνουμε ένα εργαλείο που κάνει τους αναλυτές πιο παραγωγικούς.
Έτσι, όταν μιλάω με έναν επιστήμονα δεδομένων στην πλατεία της εταιρείας χρηματοπιστωτικών υπηρεσιών, υπάρχει ένας άντρας, ο Nick, ο οποίος μας έλεγε για το πώς του, έβγαινε αρκετές ώρες για να βρει το σωστό σύνολο δεδομένων για να ξεκινήσει μια έκθεση, τώρα μπορεί το κάνουμε αυτό μέσα σε λίγα δευτερόλεπτα χρησιμοποιώντας την αναζήτηση στο μερίδιο αγοράς, μιλήσαμε με τον ΚΟΤ τους που τράβηξε τους αναλυτές που χρησιμοποιούσαν την πλατεία, με συγχωρείτε, χρησιμοποιούσαν το Alation, για να μάθουν τι τους, ποια οφέλη είδαν και αναφέρουν 50 αύξηση του ποσοστού αύξησης της παραγωγικότητας και ότι ένας από τους κορυφαίους λιανοπωλητές στον κόσμο, το eBay, έχει πάνω από χίλιους ανθρώπους που κάνουν αναλύσεις SQL σε τακτική βάση και εργάζομαι πολύ στενά με τον Deb Says εκεί, ποιος είναι το έργο διευθυντής στην ομάδα εργαλείων δεδομένων τους και διαπίστωσε ότι όταν οι ερωτηθέντες υιοθετούν Alation, υιοθετούν έναν κατάλογο, βλέπουν διπλάσια την ταχύτητα γραφής νέων ερωτημάτων σε σχέση με τη βάση δεδομένων.
Αυτά είναι πραγματικά αποτελέσματα, αυτοί είναι άνθρωποι που εφαρμόζουν τον κατάλογο στην οργάνωσή τους και θέλω να σας οδηγήσω σε ό, τι χρειάζεται για να το εγκαταστήσετε. Ο τρόπος με τον οποίο καταρτίζεται ένας κατάλογος σε μια εταιρεία και ίσως το πιο σημαντικό πράγμα που λέει είναι ότι πολλά συμβαίνουν αυτομάτως, έτσι ο Dez ζήτησε τα συστήματα, μάθαινε για τα συστήματα και αυτό ακριβώς κάνει ένας σύγχρονος κατάλογος δεδομένων. Έτσι εγκαθιστούν το Alation στο κέντρο δεδομένων τους και στη συνέχεια το συνδέουν με διάφορες πηγές μεταδεδομένων στο περιβάλλον των δεδομένων τους. Θα επικεντρωθώ λίγο στις βάσεις δεδομένων και τα εργαλεία BI - και από τα δύο αυτά θα βγάλουμε τεχνικά μεταδεδομένα, βασικά για το τι υπάρχει. Ακριβώς, τι τραπέζια; Τι αναφορές; Ποιοι είναι οι ορισμοί της αναφοράς; Έτσι εξάγουν αυτά τα τεχνικά μεταδεδομένα και δημιουργείται αυτόματα μια σελίδα καταλόγου για κάθε αντικείμενο μέσα σε αυτά τα συστήματα και στη συνέχεια εξαγάγουν και στοιβάζονται πάνω από τα τεχνικά μεταδεδομένα και στρώνονται πάνω από τα δεδομένα χρήσης. Αυτό γίνεται κυρίως με την ανάγνωση των αρχείων καταγραφής ερωτημάτων από τη βάση δεδομένων και αυτή είναι μια πολύ ενδιαφέρουσα πηγή πληροφοριών. Επομένως, κάθε φορά που ένας αναλυτής γράφει ένα ερώτημα, κάθε φορά που ένα εργαλείο αναφοράς, ανεξάρτητα από το εάν είναι στο σπίτι του ή έξω από το ράφι, αν ένα εργαλείο αναφοράς τρέχει ένα ερώτημα για την ενημέρωση του πίνακα ελέγχου, όταν μια εφαρμογή εκτελεί ένα ερώτημα για να εισάγει δεδομένα ένα σύνολο δεδομένων - όλα αυτά τα πράγματα καταγράφονται σε αρχεία καταγραφής ερωτημάτων βάσης δεδομένων. Είτε έχετε έναν κατάλογο είτε όχι, καταγράφονται στο αρχείο καταγραφής ερωτημάτων με τη βάση δεδομένων. Τι μπορεί να κάνει ένας κατάλογος δεδομένων και ειδικά τι μπορεί να κάνει ο κατάλογος του Alation, διαβάζει αυτά τα αρχεία καταγραφής, ρωτά τα ερωτήματα μέσα σε αυτά και δημιουργεί ένα πραγματικά ενδιαφέρον γράφημα χρήσης που βασίζεται σε αυτά τα αρχεία καταγραφής και το φέρνουμε στο παιχνίδι για να ενημερώσουμε τους μελλοντικούς χρήστες των δεδομένων σχετικά με το πώς τα χρησιμοποίησαν οι παλαιότεροι χρήστες των δεδομένων.
Έτσι, συγκεντρώσαμε όλες αυτές τις γνώσεις σε έναν κατάλογο, και απλώς σε αυτό το πραγματικό, αυτές είναι οι ενοποιήσεις που έχουν ήδη αναπτυχθεί στους πελάτες, έτσι έχουμε δει την Oracle, την Teradata, την Redshift, τη Vertica και μια δέσμη άλλων σχεσιακές βάσεις δεδομένων. Στον κόσμο του Hadoop, υπάρχει μια σειρά SQL στο Hadoop, ένα είδος σχεσιακών, μετα-καταστημάτων πάνω από το σύστημα αρχείων Hadoop, Impala, Tez, Presto και Hive. Έχουμε επίσης δει επιτυχία με ιδιωτικούς παρόχους cloud Hadoop όπως η Altiscale και εμείς έχουν επίσης τη δυνατότητα να συνδεθούν με τους εξυπηρετητές Tableau, τους διακομιστές MicroStrategy και να ευρετηριάσουν τα dashboards εκεί, καθώς και τις ενσωματώσεις με τα εργαλεία χαρτογράφησης επιστημών δεδομένων όπως το Plotly.
Συνδέουμε λοιπόν όλα αυτά τα συστήματα, συνδέσαμε τα συστήματα αυτά με τους πελάτες, έχουμε τραβήξει τα τεχνικά μεταδεδομένα, έχουμε τραβήξει τα δεδομένα χρήσης και εμείς κάναμε αυτόματη εκκίνηση του καταλόγου δεδομένων, αλλά κατ 'αυτόν τον τρόπο, εμείς συγκεντρώνοντας τις γνώσεις, αλλά απλώς συγκεντρώνοντας τα πράγματα σε έναν κατάλογο στοιχείων, δεν παρέχει από μόνο του αυτές τις πραγματικά υπέροχες παραγωγικότητες που μιλούσαμε για το eBay, την πλατεία και το μερίδιο αγοράς. Για να γίνει αυτό, πρέπει πραγματικά να αλλάξουμε τον τρόπο που σκεφτόμαστε για την παροχή γνώσεων στους αναλυτές. Μία από τις ερωτήσεις που ζητούν να προετοιμαστούν γι 'αυτό ήταν: "Πώς επηρεάζει ο κατάλογος η πραγματική ροή εργασίας ενός αναλυτή;"
Αυτό είναι που ξοδεύουμε όλη την ημέρα να σκεφτόμαστε και, για να μιλήσουμε για αυτή την αλλαγή στη σκέψη, για ένα σπρώχνοντας στίχους ενός μοντέλου έλξης, ήθελα να κάνω μια γρήγορη αναλογία με το τι ήταν ο κόσμος πριν και μετά την ανάγνωση σε ένα Kindle. Έτσι είναι απλώς μια εμπειρία που μερικοί από εσάς μπορεί να έχετε, όταν διαβάζετε ένα φυσικό βιβλίο, συναντάτε μια λέξη, δεν είστε βέβαιοι ότι γνωρίζετε τον ορισμό της λέξης αυτής πολύ καλά, μπορείτε ίσως να το μαντέψετε από το πλαίσιο, όχι πολύ πιθανό ότι εσείς πρόκειται να σηκωθούν από τον καναπέ, να περπατήσουν στο ράφι σας, να βρουν το λεξικό σας, να τα ξεσκονίσουν και να γυρίσουν στη σωστή θέση με την αλφαβητική λίστα των λέξεων για να βεβαιωθούν ότι, ναι, είχατε τον ορισμό αυτό σωστό και ξέρετε τις αποχρώσεις του. Έτσι δεν συμβαίνει πραγματικά. Έτσι αγοράζετε μια εφαρμογή Kindle και αρχίζετε να διαβάζετε βιβλία εκεί, και βλέπετε μια λέξη που δεν είστε απόλυτα σίγουροι και αγγίζετε τη λέξη. Ξαφνικά, ακριβώς στην ίδια οθόνη, είναι ο λεξικό ορισμός της λέξης, με όλες τις αποχρώσεις της, διαφορετικά παραδείγματα χρήσεων, και σπρώχνετε λίγο και παίρνετε ένα άρθρο της Wikipedia για το θέμα αυτό, σπρώξτε ξανά, παίρνετε ένα μεταφραστικό εργαλείο το οποίο μπορεί να μεταφράσει σε άλλες γλώσσες ή από άλλες γλώσσες, και ξαφνικά η γνώση σας για τη γλώσσα είναι πολύ πιο πλούσια και συμβαίνει απλά μια εκπληκτική σειρά φορές, σε σύγκριση με όταν έπρεπε να πάτε και τραβήξτε τον πόρο για τον εαυτό σας.
Επομένως, αυτό που πρόκειται να υποστηρίξω είναι ότι η ροή εργασίας για έναν αναλυτή και ο τρόπος με τον οποίο ένας αναλυτής θα ασχοληθεί με την τεκμηρίωση δεδομένων είναι στην πραγματικότητα πολύ παρόμοιος με τον τρόπο με τον οποίο ο αναγνώστης θα αλληλεπιδρά με το λεξικό, είτε πρόκειται για φυσικό είτε για το φυσικό Kindle, κι έτσι αυτό που εμείς, ο τρόπος που πραγματικά είδαμε αυτή την αύξηση της παραγωγικότητας, δεν είναι να χυθεί ο κατάλογος αλλά να συνδεθεί με τη ροή εργασίας του αναλυτή και έτσι μου ζήτησαν να κάνω ένα demo εδώ και θέλω για να γίνει αυτό το επίκεντρο αυτής της παρουσίασης. Αλλά θέλω μόνο να δημιουργήσω το πλαίσιο για το demo. Όταν σκεφτόμαστε να προωθούμε τη γνώση των δεδομένων στους χρήστες όταν την χρειάζονται, πιστεύουμε ότι το σωστό μέρος για να γίνει αυτό, ο τόπος όπου ξοδεύουν το χρόνο τους και πού κάνουν την ανάλυση, είναι ένα εργαλείο επερωτήσεων SQL. Ένα μέρος όπου γράφετε και τρέχετε ερωτήματα SQL. Έτσι χτίσαμε ένα και το χτίσαμε και το πράγμα που είναι πραγματικά διαφορετικό από τα άλλα εργαλεία αναζήτησης είναι η βαθιά ενσωμάτωσή του στον κατάλογο δεδομένων.
Επομένως, το εργαλείο ερώτησής μας ονομάζεται Alation Compose. Είναι ένα εργαλείο ερωτήσεων που βασίζεται στον ιστό και θα σας δείξω σε ένα δευτερόλεπτο. Ένα εργαλείο ερωτήσεων που βασίζεται σε ιστό και λειτουργεί σε όλα τα λογότυπα των βάσεων δεδομένων που έχετε δει στην προηγούμενη διαφάνεια. Αυτό που προσπαθώ να δοκιμάσω ειδικότερα είναι ο τρόπος με τον οποίο οι πληροφορίες του καταλόγου έρχονται στους χρήστες. Και το κάνει μέσω αυτών των τριών διαφορετικών τρόπων. Το κάνει με παρεμβάσεις και εκεί μπορεί να πει κάποιος που είναι κυβερνήτης δεδομένων ή διαχειριστής δεδομένων, ή κάποιος διαχειριστής κάποιου τρόπου ή ένας διαχειριστής, "θέλω να παρεμβαίνω με ένα σημείωμα ή μια προειδοποίηση τη ροή εργασίας και βεβαιωθείτε ότι έχει παραδοθεί στους χρήστες την κατάλληλη στιγμή. "Αυτή είναι μια παρέμβαση και θα το δείξουμε αυτό.
Οι έξυπνες προτάσεις είναι ένας τρόπος με τον οποίο το εργαλείο χρησιμοποιεί όλες τις συγκεντρωτικές γνώσεις του στον κατάλογο για να προτείνει αντικείμενα και μέρη ενός ερωτήματος καθώς το γράφετε. Το πιο σημαντικό πράγμα που πρέπει να γνωρίζουμε είναι ότι πραγματικά εκμεταλλεύεται το αρχείο καταγραφής επερωτήσεων για να το κάνει αυτό, να προτείνει τα πράγματα με βάση τη χρήση και επίσης να βρει ακόμη και τμήματα ερωτημάτων που έχουν γραφτεί πριν. Και θα το δείξουμε αυτό.
Και στη συνέχεια προεπισκόπηση. Οι προεπισκοπήσεις είναι, καθώς πληκτρολογείτε στο όνομα ενός αντικειμένου, σας παρουσιάζουμε ό, τι γνωρίζει ο κατάλογος ή τουλάχιστον τα πιο σχετικά πράγματα που ο κατάλογος γνωρίζει για αυτό το αντικείμενο. Έτσι τα δείγματα των δεδομένων που το χρησιμοποιούσαν πριν, το λογικό όνομα και η περιγραφή αυτού του αντικειμένου, όλα έρχονται σε εσάς ενώ γράφετε χωρίς να χρειάζεται να το ζητήσετε.
Έτσι, χωρίς πλέον να μιλάμε, θα φτάσω στο demo και θα περιμένω να εμφανιστεί. Αυτό που θα σας δείξω εδώ είναι το εργαλείο επερωτήσεων. Είναι μια ειδική διεπαφή γραφής SQL. Είναι μια ξεχωριστή διεπαφή από τον κατάλογο, με μια ορισμένη έννοια. Ο Dez και ο Robin μίλησαν για τον κατάλογο και πηδώντας λίγο πάνω από τη διασύνδεση του καταλόγου κατευθείαν στο πώς φέρεται κατευθείαν στην υπηρεσία της ροής εργασίας.
Δηλώνω απλά εδώ ένα σημείο όπου μπορώ να πληκτρολογήσω SQL και στο κάτω μέρος θα δείτε ότι έχουμε κάποιες πληροφορίες που εμφανίζονται σχετικά με τα αντικείμενα που αναφέρουμε. Συνεπώς, θα αρχίσω να πληκτρολογώ ένα ερώτημα και θα σταματήσω όταν έρθω σε μία από αυτές τις παρεμβάσεις. Έτσι θα πληκτρολογήσω "επιλέξτε", και θέλω το έτος. Θέλω το όνομα. Και θα εξετάσω κάποια στοιχεία μισθών. Επομένως, πρόκειται για ένα εκπαιδευτικό σύνολο δεδομένων. Έχει πληροφορίες σχετικά με ιδρύματα τριτοβάθμιας εκπαίδευσης και κοιτάζω τον μέσο μισθό του καθηγητή που βρίσκεται σε ένα από αυτά τα τραπέζια.
Έτσι έγραψα πραγματικά τη λέξη "μισθός". Δεν είναι ακριβώς στο όνομα της στήλης με αυτόν τον τρόπο. Χρησιμοποιούμε τόσο τα λογικά μεταδεδομένα όσο και τα φυσικά μεταδεδομένα για να κάνουμε προτάσεις. Και αυτό που θέλω να επισημάνω εδώ είναι αυτό το κίτρινο κουτί που εμφανίζεται εδώ. Λέει ότι υπάρχει μια προειδοποίηση σε αυτήν τη στήλη. Δεν πήγα να ψάξω για αυτό, δεν πήρα μια τάξη για το πώς να χρησιμοποιήσει αυτά τα δεδομένα σωστά. Ήρθε σε με, και συμβαίνει να είναι μια προειδοποίηση σχετικά με μια συμφωνία εμπιστευτικότητας που έχει να κάνει με αυτά τα δεδομένα. Υπάρχουν λοιπόν ορισμένοι κανόνες γνωστοποίησης. Εάν πρόκειται να ερωτήσω αυτά τα δεδομένα, θα πάρω δεδομένα από αυτό το τραπέζι, θα πρέπει να είμαι προσεκτικός για το πώς αποκαλύπτω. Έτσι, έχετε εδώ μια πολιτική διακυβέρνησης. Υπάρχουν κάποιες προκλήσεις όσον αφορά τη συμμόρφωση, οι οποίες καθιστούν πολύ πιο εύκολη την τήρηση αυτής της πολιτικής, όταν το ξέρω, τη στιγμή που εξετάζω τα δεδομένα.
Έτσι έχω αυτό που έρχεται σε μένα, και έπειτα θα δούμε επίσης τα δίδακτρα. Και εδώ βλέπουμε να εμφανίζονται οι προεπισκοπήσεις. Σε αυτή τη στήλη δίδακης, βλέπω - υπάρχει μια στήλη διδάκτρων στο τραπέζι του ιδρύματος και βλέπω ένα προφίλ αυτού. Το Alation πηγαίνει και τραβά δείγματα από τα τραπέζια, και σε αυτή την περίπτωση, μου δείχνει κάτι που είναι πολύ ενδιαφέρον. Μου δείχνει τη διανομή των τιμών και μου δείχνει ότι η μηδενική τιμή εμφανίστηκε 45 φορές στο δείγμα και περισσότερο από οποιαδήποτε άλλη τιμή. Έχω λοιπόν νόημα να χάσουμε κάποια στοιχεία.
Εάν είμαι προηγμένος αναλυτής, τότε αυτό μπορεί να είναι μέρος της ροής εργασίας μου ήδη. Ειδικά αν είμαι ιδιαίτερα σχολαστικός, θα ήθελα να κάνω μια δέσμη ερωτήσεων προφίλ πριν από καιρό. Κάθε φορά που πλησιάζω ένα νέο κομμάτι δεδομένων, πάντα σκέφτομαι ποια είναι η κάλυψη των δεδομένων μας. Αλλά αν είμαι νέος στην ανάλυση δεδομένων, αν είμαι νέος σε αυτό το σύνολο δεδομένων, θα μπορούσα να υποθέσω ότι αν υπάρχει μια στήλη, είναι γεμάτη όλη την ώρα. Ή θα μπορούσα να υποθέσω ότι αν δεν συμπληρωθεί, δεν είναι μηδέν, είναι null ή κάτι τέτοιο. Αλλά σε αυτή την περίπτωση, έχουμε πολλά μηδενικά και αν έκανα έναν μέσο όρο, πιθανότατα θα ήταν λάθος, αν υποθέτω ότι τα μηδενικά ήταν στην πραγματικότητα μηδενικά αντί να λείπουν δεδομένα.
Αλλά Alation, φέρνοντας αυτή την προεπισκόπηση στη ροή εργασίας σας, σας ζητά να ρίξετε μια ματιά σε αυτές τις πληροφορίες και δίνει ακόμη και στους αρχάριους αναλυτές την ευκαιρία να δουν ότι υπάρχει κάτι που πρέπει να παρατηρήσετε εδώ για αυτά τα δεδομένα. Έτσι έχουμε αυτή την προεπισκόπηση.
Το επόμενο πράγμα που πρόκειται να κάνω είναι ότι θα προσπαθήσω να μάθω ποια τραπέζια για να πάρω αυτές τις πληροφορίες. Έτσι, εδώ βλέπουμε τις έξυπνες προτάσεις. Έχει πάει συνεχώς, αλλά ειδικότερα εδώ, δεν έχω καν πληκτρολογήσει τίποτα, αλλά θα μου προτείνει τα τραπέζια που θα ήθελα να χρησιμοποιήσω για αυτό το ερώτημα. Και το πιο σημαντικό πράγμα που πρέπει να γνωρίζετε είναι ότι εκμεταλλεύεται τα στατιστικά στοιχεία χρήσης. Έτσι, σε ένα περιβάλλον όπως το eBay, όπου έχετε εκατοντάδες χιλιάδες πίνακες σε μια ενιαία βάση δεδομένων, διαθέτοντας ένα εργαλείο που μπορεί να χτυπήσει το σιτάρι από τη σίκαλη και χρησιμοποιώντας αυτά τα στατιστικά στοιχεία χρήσης, είναι πραγματικά σημαντικό για την κατασκευή αυτών προτάσεις που αξίζουν κάτι.
Γι 'αυτό θα προτείνει αυτό το τραπέζι. Όταν κοιτάζω την προεπισκόπηση, επισημαίνουμε τρεις από τις στήλες που ανέφερα ήδη στο ερώτημά μου. Γνωρίζω λοιπόν ότι έχουν τρία, αλλά δεν έχουν το όνομα. Πρέπει να αποκτήσω το όνομα, γι 'αυτό θα πάω μαζί μου. Όταν κάνω μια ένωση, τώρα πάλι έχω αυτές τις προεπισκοπήσεις για να με βοηθήσει να βρω, πού είναι το τραπέζι με το όνομα. Γι 'αυτό βλέπω ότι αυτό έχει ένα όμορφα διαμορφωμένο, είδος σωστά κεφαλαιοποιημένο όνομα. Φαίνεται να έχει μια σειρά με ένα όνομα για κάθε ίδρυμα, γι 'αυτό θα το αρπάξω αυτό, και τώρα χρειάζομαι έναν όρο join.
Και έτσι, αυτό που κάνει το Alation είναι και πάλι κοιτάζοντας πίσω στα αρχεία καταγραφής ερωτημάτων, βλέποντας προηγούμενους χρόνους ότι αυτά τα δύο τραπέζια έχουν ενωθεί και προτείνουν διαφορετικούς τρόπους για να τους ενώσουν. Για άλλη μια φορά, υπάρχει κάποια παρέμβαση. Αν κοιτάξω ένα από αυτά, έχει μια προειδοποίηση που μου δείχνει ότι αυτό πρέπει να χρησιμοποιηθεί μόνο για συνολική ανάλυση. Πρόκειται πιθανότατα να προκαλέσει το λάθος πράγμα εάν προσπαθείτε να κάνετε κάτι μέσω του θεσμικού οργάνου με όργανο. Ενώ αυτό, με το OPE ID θεωρείται ως ο σωστός τρόπος για να ενταχθούν σε αυτούς τους δύο πίνακες, αν θέλετε δεδομένα πανεπιστημιακού επιπέδου. Έτσι το κάνω, και είναι ένα σύντομο ερώτημα, αλλά έχω γράψει το ερώτημά μου χωρίς πραγματικά να έχει κανείς κάποια εικόνα για τα δεδομένα. Ποτέ δεν έχω δει πραγματικά ένα διάγραμμα ER αυτού του συνόλου δεδομένων, αλλά γνωρίζω πολλά για αυτά τα δεδομένα ήδη επειδή οι σχετικές πληροφορίες έρχονται σε μένα.
Αυτά είναι λοιπόν οι τρεις τρόποι με τους οποίους ένας κατάλογος μπορεί, μέσω ενός ολοκληρωμένου εργαλείου ερωτήματος, να επηρεάσει άμεσα τη ροή εργασιών καθώς γράφετε ερωτήματα. Αλλά ένα από τα άλλα πλεονεκτήματα της ύπαρξης ενός ερωτηματολογίου ενοποιημένου με έναν κατάλογο είναι ότι όταν τελειώσω το ερώτημά μου και το αποθηκεύσω, μπορώ να βάλω έναν τίτλο όπως το "Φροντιστήριο του Ιδρύματος και το μισθό του Τμήματος" και στη συνέχεια έχω ένα κουμπί εδώ που μου επιτρέπει να το δημοσιεύσω στον κατάλογο. Γίνεται πολύ εύκολο για μένα να το τροφοδοτήσω πίσω. Ακόμη και αν δεν το δημοσιεύσω, αυτό καταγράφεται ως μέρος του αρχείου καταγραφής ερωτημάτων, αλλά όταν το δημοσιεύω, γίνεται στην πραγματικότητα μέρος του τρόπου με τον κεντρικό χώρο όπου ζουν όλες οι γνώσεις των δεδομένων.
Έτσι, αν κάνω κλικ στο κουμπί Αναζήτηση για όλα τα ερωτήματα στο Alation, πρόκειται να ληφθεί - και εδώ θα δείτε λίγο περισσότερο από το περιβάλλον του καταλόγου - έχω μεταφερθεί σε μια ειδική αναζήτηση ερωτήσεων που μου δείχνει έναν τρόπο να βρω ερωτήματα σε όλη ολόκληρη την οργάνωση. Και βλέπετε ότι το πρόσφατα δημοσιευμένο ερώτημα μου βρίσκεται στην κορυφή. Και μερικοί μπορεί να παρατηρήσουν εδώ, καθώς συλλαμβάνουμε τα ερωτήματα, καταγράφουμε επίσης τους συγγραφείς και κάπως δημιουργούμε αυτή τη σχέση μεταξύ μου ως συγγραφέα και αυτά τα αντικείμενα δεδομένων για τα οποία γνωρίζω τώρα κάτι. Και είμαι καθιερωμένος ως ειδικός σε αυτό το ερώτημα και σε αυτά τα αντικείμενα δεδομένων. Αυτό είναι πραγματικά χρήσιμο όταν οι άνθρωποι πρέπει να πάνε να μάθουν για τα δεδομένα, τότε μπορούν να πάνε να βρουν το σωστό πρόσωπο για να πάει να μάθουν. Και αν είμαι πραγματικά νέα για τα δεδομένα, αν είμαι προηγμένος αναλυτής - ως προηγμένος αναλυτής, θα μπορούσα να κοιτάξω αυτό και να δούμε ένα σωρό παραδείγματα που θα με ξεκίνησαν σε ένα νέο σύνολο δεδομένων. Ως κάποιος που μπορεί να μην αισθάνεται super savvy με SQL, μπορώ να βρω προκαταρκτικά ερωτήματα που είναι αναφορές που μπορώ να επωφεληθώ.
Εδώ είναι ένας από τον Phil Mazanett σχετικά με τη διάμεση βαθμολογία SAT. Κάντε κλικ σε αυτό και παίρνω ένα είδος σελίδας καταλόγου για το ίδιο το ερώτημα. Μιλάει για ένα άρθρο που γράφτηκε ότι αναφέρει αυτό το ερώτημα, οπότε υπάρχει κάποια τεκμηρίωση για μένα να διαβάσω αν θέλω να μάθω πώς να το χρησιμοποιήσω. Και μπορώ να το ανοίξω στο εργαλείο ερώτησης κάνοντας κλικ στο κουμπί Σύνθεση και μπορώ να το εκτελέσω μόνο εδώ χωρίς καν να το επεξεργαστώ. Και στην πραγματικότητα, μπορείτε να δείτε λίγα από τα ελαφριά μας δυνατότητες αναφοράς, όπου, όταν γράφετε ένα ερώτημα, μπορείτε να ρίξετε μια μεταβλητή προτύπου όπως αυτή και δημιουργεί έναν απλό τρόπο δημιουργίας μιας φόρμας για την εκτέλεση ενός ερωτήματος με βάση σε μερικές παραμέτρους.
Έτσι, αυτό που έχω για το demo. Πάω να γυρίσω πίσω στις διαφάνειες. Ακριβώς σε είδος ανακεφαλαίωσης, δείξαμε πώς ένας διαχειριστής, ένας κυβερνήτης δεδομένων, μπορεί να παρέμβει θέτοντας προειδοποιήσεις σε αντικείμενα που εμφανίζονται στο εργαλείο ερωτήματος, πώς ο Alation χρησιμοποιεί τις γνώσεις του για τη χρήση αντικειμένων δεδομένων για να κάνει έξυπνες προτάσεις, πώς φέρνει σε προφίλ και άλλες συμβουλές για να βελτιώσετε τις ροές εργασίας των αναλυτών όταν αγγίζουν συγκεκριμένα αντικείμενα και πώς όλα αυτά τα είδη τροφοδοτούνται πίσω στον κατάλογο όταν δημιουργούνται νέα ερωτήματα.
Προφανώς είμαι εκπρόσωπος εκ μέρους της εταιρείας. Θα πω ωραία πράγματα για τους καταλόγους δεδομένων. Εάν θέλετε να ακούσετε απευθείας από κάποιον από τους πελάτες μας, η Kristie Allen στο Safeway τρέχει μια ομάδα αναλυτών και έχει μια πραγματικά δροσερή ιστορία για μια εποχή που έπρεπε πραγματικά να νικήσει το ρολόι για να πραγματοποιήσει ένα πείραμα μάρκετινγκ και πώς το σύνολο η ομάδα χρησιμοποίησε το Alation για να συνεργαστεί και να γυρίσει πολύ γρήγορα σε αυτό το έργο. Έτσι μπορείτε να ακολουθήσετε αυτόν τον σύνδεσμο bit.ly για να ελέγξετε την ιστορία ή αν θέλετε να ακούσετε λίγο πώς ο Alation θα μπορούσε να φέρει έναν κατάλογο δεδομένων στον οργανισμό σας, είμαστε στην ευχάριστη θέση να δημιουργήσουμε μια εξατομικευμένη επίδειξη. Ευχαριστώ πολύ.
Rebecca Jozwiak: Ευχαριστώ πολύ, Δαβίδ. Είμαι βέβαιος ότι ο Dez και ο Robin έχουν μερικές ερωτήσεις προτού γυρίσω στο ακροατήριο Q & A. Dez, θέλετε να πάτε πρώτα;
Dez Blanchfield: Απολύτως. Λατρεύω την ιδέα αυτής της έννοιας των δημοσιευμένων ερωτημάτων και τη σύνδεσή της πίσω στην πηγή της συγγραφής. Έχω πάει πολύχρονη πρωταθλήτρια αυτής της ιδέας ενός εσωτερικού καταστήματος εφαρμογών και νομίζω ότι αυτό είναι ένα πραγματικά μεγάλο θεμέλιο για να το αξιοποιήσουμε.
Ήρθα σε ένα είδος να πάρετε κάποια εικόνα για ορισμένες από τις οργανώσεις που βλέπετε να κάνει αυτό, καθώς και μερικές από τις επιτυχίες που μπορεί να είχαν με όλο αυτό το ταξίδι όχι μόνο μόχλευση εργαλείο και πλατφόρμα σας για να ανακαλύψετε τα δεδομένα, αλλά μετατρέπουν επίσης τα εσωτερικά τους πολιτιστικά και συμπεριφορικά χαρακτηριστικά. Τώρα έχοντας αυτό το είδος του εσωτερικού καταστήματος εφαρμογών όπου μπορείτε ακριβώς να κατεβάσετε, την ιδέα όπου μπορούν όχι μόνο να το βρείτε, αλλά μπορούν πραγματικά να αρχίσουν να αναπτύσσουν μικρές κοινότητες με τους κατόχους της γνώσης.
David Crawford: Ναι, νομίζω ότι έχουμε εκπλαγεί. Πιστεύουμε στην αξία της ανταλλαγής ερωτημάτων τόσο από το παρελθόν μου ως διαχειριστή προϊόντων στην Adtech όσο και από όλους τους πελάτες με τους οποίους έχουμε μιλήσει αλλά εξακολουθώ να εκπλαγώ με πόσο συχνά είναι ένα από τα πρώτα πράγματα που οι πελάτες μιλάμε για την αξία που βγαίνουν από το Alation.
Κάναμε κάποιες δοκιμές χρηστών του εργαλείου επερωτήσεων σε έναν από τους πελάτες μας που ονομάζονταν Invoice2go και είχαν έναν υπεύθυνο προϊόντων που ήταν σχετικά νέος και είπαν - μου είπε πραγματικά, χωρίς προειδοποίηση κατά τη διάρκεια της δοκιμής χρήστη, να γράφει SQL, εκτός από το ότι είναι εύκολο από το Alation. "Και φυσικά, όπως το PM, πηγαίνω κάπως, " Τι εννοείς, πώς το κάναμε αυτό; "Και είπε:" Λοιπόν, επειδή μπορώ να συνδεθώ και μπορώ να δω όλα αυτά τα υπάρχοντα ερωτήματα. "Ξεκινώντας με μια κενή πλάκα με SQL είναι ένα απίστευτα σκληρό πράγμα που πρέπει να κάνουμε, αλλά αλλάζοντας ένα υπάρχον ερώτημα όπου μπορείτε να δείτε το αποτέλεσμα που έχει τεθεί εκτός και μπορείτε να πείτε, "Ω, χρειάζομαι μόνο αυτή την πρόσθετη στήλη", ή "πρέπει να το φιλτράρω σε μια συγκεκριμένη σειρά ημερομηνιών", αυτό είναι πολύ πιο εύκολο πράγμα.
Έχουμε δει κάποιους από αυτούς τους βοηθητικούς ρόλους, όπως τους διαχειριστές προϊόντων, ίσως τους ανθρώπους στα ops πωλήσεων, που αρχίζουν να αναλαμβάνουν και που πάντα ήθελαν να μάθουν SQL και να αρχίσουν να το πάρουν χρησιμοποιώντας αυτόν τον κατάλογο. Έχουμε επίσης δει ότι πολλές εταιρείες έχουν προσπαθήσει να κάνουν κάποιο είδος ανοικτού κώδικα. Προσπάθησα να οικοδομήσω αυτά τα πράγματα εσωτερικά, όπου εντοπίζουν τα ερωτήματα και τα καθιστούν διαθέσιμα, και υπάρχουν κάποιες πραγματικά δύσκολες προκλήσεις σχεδιασμού για να γίνουν χρήσιμες. Το Facebook είχε ένα εσωτερικό εργαλείο που ονόμασε HiPal, το οποίο κατέλαβε όλα τα ερωτήματα που γράφτηκαν στην κυψέλη, αλλά αυτό που διαπιστώνετε είναι ότι αν δεν ωθήσετε τους χρήστες με τον σωστό τρόπο, καταλήγετε απλά σε ένα πολύ μακρύ κατάλογο επιλεγμένων δηλώσεων. Και ως χρήστης που προσπαθεί να καταλάβει εάν ένα ερώτημα είναι χρήσιμο για μένα ή αν είναι καλό, αν πάω να κοιτάξω μέσα από μια μακρά λίστα επιλογών, θα με πάρει πολύ περισσότερο για να βγάλω κάτι από την αξία εκείνη ξεκινώντας από το μηδέν. Σκεφτήκαμε πολύ προσεκτικά για το πώς να φτιάξουμε έναν κατάλογο ερωτήσεων που φέρνει τα σωστά πράγματα μπροστά και τα παρέχει με έναν χρήσιμο τρόπο.
Dez Blanchfield: Νομίζω ότι όλοι περάσαμε από πολύ νεαρή ηλικία, μέχρι την ενηλικίωση, με πολλούς τρόπους. Μια δέσμη τεχνολογιών. Εγώ, προσωπικά τον εαυτό μου, έχω περάσει από αυτό το ίδιο γνήσιο πράγμα, όπως, μαθαίνοντας να κόψω τον κώδικα. Θα περάσω από περιοδικά και έπειτα από βιβλία και θα σπουδάσω σε ένα ορισμένο επίπεδο και στη συνέχεια έπρεπε να πάω και στην πραγματικότητα να πάρω κάποια περισσότερη εκπαίδευση και εκπαίδευση σε αυτό.
Αλλά κατά λάθος διαπίστωσα ότι ακόμη και όταν πήγαινα από το να διδάσκω τον εαυτό μου και να διαβάζω περιοδικά και να διαβάζω βιβλία και να κόβω τα προγράμματα άλλων ανθρώπων και να πηγαίνω σε μαθήματα πάνω σε αυτό, έμαθα ακόμα να μαθαίνω τόσο πολύ από το να κάνω τα μαθήματα όπως μόλις μίλησα σε άλλα ανθρώπους που είχαν κάποιες εμπειρίες. Και νομίζω ότι είναι μια ενδιαφέρουσα ανακάλυψη ότι, τώρα που το φέρετε σε αναλύσεις δεδομένων, βλέπουμε ουσιαστικά τον ίδιο παράλληλο, ότι τα ανθρώπινα όντα είναι πάντα αρκετά έξυπνα.
Το άλλο πράγμα που πραγματικά θέλω να καταλάβω είναι ότι σε πολύ υψηλό επίπεδο πολλοί οργανισμοί πρόκειται να ρωτήσουν: "Πόσο καιρό χρειάζεται για να φτάσετε σε αυτό το σημείο;" Ποιο είναι το σημείο απόκλισης σε σχέση με το χρονικό πλαίσιο όταν οι άνθρωποι παίρνουν εγκαταστήσατε την πλατφόρμα σας και άρχισαν να ανακαλύπτουν τους τύπους εργαλείων; Πόσο γρήγορα οι άνθρωποι απλά φαίνονται να βλέπουν αυτό το πράγμα να μετατραπεί σε μια πραγματικά άμεση στιγμή που αντιλαμβάνονται ότι δεν ανησυχούν ακόμη περισσότερο για την απόδοση της επένδυσης, επειδή είναι εκεί, αλλά τώρα αλλάζουν τον τρόπο που κάνουν ; Και έχουν ανακαλύψει μια χαμένη τέχνη και αναμένουν ότι μπορούν να κάνουν κάτι πραγματικά, πραγματικά διασκεδαστικό με αυτό.
David Crawford: Ναι, μπορώ να το αγγίξω λίγο. Νομίζω ότι όταν εγκατασταθούμε, ένα από τα ωραία πράγματα, ένα από τα πράγματα που οι άνθρωποι μοιάζουν με έναν κατάλογο που είναι άμεσα συνδεδεμένος στα συστήματα δεδομένων, είναι ότι δεν ξεκινάτε κενό όπου πρέπει να το γεμίσετε σελίδα ανά σελίδα. Και αυτό είναι αληθινό σε προηγούμενες λύσεις δεδομένων, όπου θα ξεκινούσατε με ένα κενό εργαλείο και θα πρέπει να αρχίσετε να δημιουργείτε μια σελίδα για όλα όσα θέλετε να τεκμηριώσετε.
Δεδομένου ότι εγγράφομε τόσα πολλά πράγματα αυτόματα με την εξαγωγή των μεταδεδομένων, ουσιαστικά μέσα σε λίγες μέρες από την εγκατάσταση του λογισμικού, μπορείτε να έχετε μια εικόνα του περιβάλλοντος δεδομένων σας που είναι τουλάχιστον 80 τοις εκατό εκεί στο εργαλείο. Και τότε νομίζω ότι μόλις οι άνθρωποι αρχίσουν να γράφουν ερωτήματα με το εργαλείο, αποθηκεύονται αυτόματα πίσω στον κατάλογο και έτσι θα αρχίσουν να εμφανίζονται επίσης.
Δεν θέλω να είμαι υπερβολικά πρόθυμος να το δηλώσω. Νομίζω ότι δύο εβδομάδες είναι μια αρκετά καλή συντηρητική εκτίμηση, σε ένα μήνα. Δύο εβδομάδες έως ένα μήνα, συντηρητική εκτίμηση της πραγματικής στροφής γύρω και αίσθηση ότι παίρνετε αξία από αυτό, σαν να αρχίζετε να μοιράζεστε κάποια γνώση και να είστε σε θέση να πάτε εκεί και να μάθετε τα πράγματα για τα δεδομένα σας.
Dez Blanchfield: Είναι πραγματικά εκπληκτικό, πραγματικά, όταν το σκέφτεστε. Το γεγονός ότι ορισμένες από τις μεγάλες πλατφόρμες δεδομένων που εισάγετε αποτελεσματικά με ευρετηρίαση και καταλογογράφηση θα χρειαστούν μερικές φορές μέχρι και χρόνο για να υλοποιηθούν και να αναπτυχθούν και να σταθούν σωστά.
Η τελευταία ερώτηση που έχω για σας προτού να παραδώσει τον Robin Bloor, είναι συνδετήρες. Ένα από τα πράγματα που αμέσως πέφτει σε μένα είναι ότι προφανώς έχετε επιλύσει όλη αυτή την πρόκληση. Έτσι, υπάρχουν μερικές ερωτήσεις πολύ γρήγορα. Το πρώτο, πόσο γρήγορα εφαρμόζονται οι σύνδεσμοι; Προφανώς ξεκινάτε με τη μεγαλύτερη πλατφόρμα, όπως τα Oracles και τα Teradatas και ούτω καθεξής και τα DB2. Αλλά πόσο συχνά βλέπετε νέους συνδέσμους να έρχονται και ποιος χρόνος μετασχηματισμού παίρνει; Φαντάζομαι ότι έχετε ένα πρότυπο πλαίσιο για αυτούς. Και πόσο βαθιά είσαι σε αυτά; Για παράδειγμα, τα Oracles και IBMs του κόσμου, ακόμα και τα Tereadata, και στη συνέχεια μερικά από τα πιο δημοφιλή πλατφόρμες open-source. Εργάζονται άμεσα μαζί σας; Ανακαλύπτετε τον εαυτό σας; Πρέπει να έχετε εσωτερική γνώση σε αυτές τις πλατφόρμες;
Πώς μοιάζει να φτιάχνετε έναν σύνδεσμο και πόσο βαθιά συμμετέχετε σε αυτές τις εταιρικές σχέσεις για να εξασφαλίσετε ότι οι σύνδεσμοι ανακαλύπτουν όλα όσα μπορείτε;
David Crawford: Ναι, σίγουρα, είναι μια μεγάλη ερώτηση. Πιστεύω ότι, ως επί το πλείστον, μπορούμε να αναπτύξουμε τους συνδέσμους. Κάναμε σίγουρα όταν ήμασταν νεότεροι και δεν είχαμε πελάτες. Μπορούμε να αναπτύξουμε τις συνδέσεις σίγουρα χωρίς να χρειάζεται εσωτερική πρόσβαση. Δεν αποκτάμε ποτέ ειδική πρόσβαση στα συστήματα δεδομένων που δεν είναι διαθέσιμα στο κοινό και συχνά χωρίς να χρειάζονται εσωτερικές πληροφορίες. Χρησιμοποιούμε τις υπηρεσίες μεταδεδομένων που διατίθενται από τα ίδια τα συστήματα δεδομένων. Συχνά αυτά μπορεί να είναι αρκετά περίπλοκα και δύσκολα να εργαστούν. Γνωρίζω ειδικότερα τον SQL Server, τον τρόπο με τον οποίο διαχειρίζονται το αρχείο καταγραφής ερωτημάτων, υπάρχουν αρκετές διαφορετικές διαμορφώσεις και είναι κάτι στο οποίο πρέπει πραγματικά να εργαστείτε. Πρέπει να καταλάβετε τις αποχρώσεις και τα κουμπιά και τα κουμπιά σε αυτό για να τα ρυθμίσετε σωστά και αυτό είναι κάτι που δουλεύουμε με τους πελάτες από τότε που το κάναμε αρκετές φορές πριν.
Αλλά σε κάποιο βαθμό, είναι ένα είδος δημόσιων API που είναι διαθέσιμες ή δημόσιες διεπαφές που είναι διαθέσιμες που αξιοποιούμε. Έχουμε συνεργασίες με αρκετές από αυτές τις εταιρείες, που είναι ως επί το πλείστον λόγος πιστοποίησης, έτσι ώστε να αισθάνονται άνετα λέγοντας ότι δουλεύουμε και μπορούν επίσης να μας δώσουν πόρους για δοκιμές, μερικές φορές νωρίς την πρόσβαση ίσως σε μια πλατφόρμα που βγαίνει για να βεβαιωθεί δουλεύουμε στις νέες εκδόσεις.
Για να γυρίσω μια νέα σύνδεση, θα έλεγα ξανά, προσπαθώντας να είμαι συντηρητικός, ας πούμε έξι εβδομάδες έως δύο μήνες. Εξαρτάται από το πόσο παρόμοια είναι. Έτσι, μερικά από τα Postgre δουλεύουν σαν εμφάνιση πολύ παρόμοια με το Redshift. Η Redshift και η Vertica μοιράζονται πολλές λεπτομέρειες. Έτσι μπορούμε να εκμεταλλευτούμε αυτά τα πράγματα. Αλλά ναι, έξι εβδομάδες έως δύο μήνες θα ήταν δίκαιο.
Έχουμε επίσης API, έτσι ώστε να σκεφτόμαστε την Alation και ως πλατφόρμα μεταδεδομένων, οπότε αν δεν υπάρχει τίποτα για να φτάσουμε και να τραβήξουμε αυτόματα, υπάρχουν τρόποι να γράψουμε τον εαυτό σας και να τον σπρώξετε στο σύστημά μας ότι όλα συγκεντρώνονται ακόμα σε μια ενιαία μηχανή αναζήτησης.
Dez Blanchfield: Φανταστικό. Εκτιμώ το γεγονός ότι. Έτσι θα το παραδώσουμε στον Robin, γιατί είμαι βέβαιος ότι έχει και πολλά ερωτήματα. Κοκκινολαίμης?
Rebecca Jozwiak: Ο Robin μπορεί να είναι σιωπηλός.
Dez Blanchfield: Έχετε τον εαυτό σας σε σίγαση.
Robin Bloor: Ναι, σωστά. Δυστυχώς, εγώ απείλησα. Όταν εφαρμόζετε αυτό, ποια είναι η διαδικασία; Είμαι κάπως περίεργος γιατί μπορεί να υπάρχουν πολλά δεδομένα σε πολλά μέρη. Λοιπόν, πώς λειτουργεί αυτό;
Δαβίδ Crawford: Ναι, σίγουρα. Πηγαίνουμε μέσα, πρώτα είναι μια διαδικασία IT που διασφαλίζει ότι ο διακομιστής μας παρέχεται, διασφαλίζοντας ότι οι συνδέσεις δικτύου είναι διαθέσιμες, ότι οι θύρες είναι ανοιχτές ώστε να μπορούμε πραγματικά να έχουμε πρόσβαση στα συστήματα. Όλοι γνωρίζουν συχνά ποια συστήματα θέλουν να ξεκινήσουν. Γνωρίζοντας μέσα σε ένα σύστημα δεδομένων, το οποίο - και μερικές φορές εμείς πραγματικά θα τους βοηθήσουμε. Θα τους βοηθήσουμε να ξεκινήσουν μια πρώτη ματιά στο αρχείο καταγραφής ερωτημάτων τους για να καταλάβουν ποιος χρησιμοποιεί αυτό και πόσα χρήστες έχουν σε ένα σύστημα. Έτσι θα βοηθήσουμε να ανακαλύψουμε πού - συχνά, εάν έχουν εκατοντάδες ή χιλιάδες ανθρώπους που μπορεί να συνδεθούν σε βάσεις δεδομένων, δεν γνωρίζουν πού βρίσκονται οι χρήστες, έτσι μπορούμε να βγούμε από το τα ερωτήματα καταγράφουν πόσους μοναδικούς λογαριασμούς χρηστών έχετε στην πραγματικότητα να συνδεθείτε και να εκτελέσετε ερωτήματα εδώ μέσα περίπου ένα μήνα.
Έτσι μπορούμε να επωφεληθούμε από αυτό, αλλά συχνά μόνο από τις σημαντικότερες. Τους δημιουργούμε και στη συνέχεια υπάρχει μια διαδικασία που λέει, "Ας δώσουμε προτεραιότητα." Υπάρχει μια σειρά δραστηριοτήτων που μπορούν να συμβούν παράλληλα. Θα επικεντρωθώ στην εκπαίδευση για τη χρήση του εργαλείου επερωτήσεων. Μόλις οι άνθρωποι αρχίσουν να χρησιμοποιούν το εργαλείο ερωτήσεων, πρώτα απ 'όλα, πολλοί άνθρωποι αγαπούν το γεγονός ότι είναι απλά μια ενιαία διεπαφή σε όλα τα διαφορετικά συστήματα τους. Αγαπούν επίσης το γεγονός ότι είναι διαδικτυακά, δεν περιλαμβάνει εγκατάστασης εάν δεν το θέλουν. Από την άποψη της ασφάλειας, τους αρέσει να έχουν ένα είδος ενιαίου σημείου εισόδου, από τη σκοπιά του δικτύου, ανάμεσα σε ένα είδος τηλεπικοινωνιακού δικτύου και το κέντρο δεδομένων όπου ζουν οι πηγές δεδομένων παραγωγής. Έτσι, θα δημιουργήσουν το Alation ως εργαλείο αναζήτησης και θα αρχίσουν να χρησιμοποιούν το Compose ως σημείο πρόσβασης για όλα αυτά τα συστήματα.
Έτσι, από τη στιγμή που αυτό συμβαίνει, αυτό που εστιάζουμε στην κατάρτιση είναι η κατανόηση ποιες είναι οι διαφορές μεταξύ ενός εργαλείου ερωτήματος που βασίζεται στο web ή ενός διακομιστή, σε σχέση με ένα που θα έχετε στην επιφάνεια εργασίας σας και μερικές από τις αποχρώσεις της χρήσης ότι. Και ταυτόχρονα αυτό που θα προσπαθήσουμε να κάνουμε είναι να εντοπίσουμε τα πιο πολύτιμα δεδομένα, εκμεταλλευόμενοι και πάλι τις πληροφορίες του αρχείου ερωτήματος και να πούμε: "Γεια σου, ίσως θελήσετε να εισέλθετε και να βοηθήσετε τους ανθρώπους να καταλάβουν αυτά. Ας αρχίσουμε να δημοσιεύουμε αντιπροσωπευτικά ερωτήματα σε αυτά τα τραπέζια. "Αυτός είναι μερικές φορές ο πιο αποτελεσματικός τρόπος για να μεταφέρουμε πολύ γρήγορα τους ανθρώπους. Ας δούμε το δικό σας ιστορικό ερωτημάτων, δημοσιεύστε αυτά τα πράγματα έτσι ώστε να εμφανίζονται ως τα πρώτα ερωτήματα. Όταν οι άνθρωποι κοιτάζουν μια σελίδα πίνακα, μπορούν να δουν όλα τα ερωτήματα που έπληξαν αυτό το τραπέζι και μπορούν να ξεκινήσουν από εκεί. Και έπειτα ας αρχίσουμε να προσθέτουμε τίτλους και περιγραφές σε αυτά τα αντικείμενα έτσι ώστε να είναι ευκολότερο να εντοπιστούν και να αναζητηθούν, έτσι ώστε να γνωρίζετε μερικές από τις αποχρώσεις του πώς να το χρησιμοποιήσετε.
Βεβαιωνόμαστε ότι θα δούμε προσεκτικά το αρχείο καταγραφής ερωτημάτων, έτσι ώστε να μπορέσουμε να δημιουργήσουμε γενεαλογία. Ένα από τα πράγματα που κάνουμε είναι να εξετάσουμε το αρχείο καταγραφής ερωτήσεων σε στιγμές που τα δεδομένα μετακινούνται από έναν πίνακα στον άλλο και αυτό μας επιτρέπει να θέσουμε μία από τις πιο συχνές ερωτήσεις σχετικά με έναν πίνακα δεδομένων, από πού προέκυψε αυτό; Πώς μπορώ να το εμπιστευθώ; Και αυτό που μπορούμε να δείξουμε δεν είναι μόνο από ποια άλλα τραπέζια προήλθε, αλλά πώς μεταμορφώθηκε στην πορεία. Και πάλι, αυτό το είδος τροφοδοτείται από το αρχείο καταγραφής ερωτημάτων.
Επομένως, βεβαιώνουμε ότι αυτά τα πράγματα έχουν δημιουργηθεί και ότι έχουμε καταλάβει το σύστημα, και στοχεύουμε τα πιο πολύτιμα και τα πιο αξιοποιήσιμα κομμάτια των μεταδεδομένων που μπορούμε να καταλήξουμε στις σελίδες του πίνακα, έτσι ώστε όταν ψάχνετε, βρίσκετε κάτι χρήσιμο.
Robin Bloor: Εντάξει. Το άλλο ερώτημα - υπάρχουν πολλές ερωτήσεις από το κοινό, οπότε δεν θέλω να καταλάβω πολύ χρόνο εδώ - η άλλη ερώτηση που έρχεται στο νου είναι μόνο τα σημεία πόνου. Πολλά λογισμικά αγοράζονται επειδή οι άνθρωποι είναι, κατά τον ένα ή τον άλλο τρόπο, αντιμετωπίζουν δυσκολίες με κάτι. Έτσι ποιο είναι το κοινό σημείο πόνου που οδηγεί τους ανθρώπους στο Alation;
Δαβίδ Κρόφφορντ: Ναι. Νομίζω ότι υπάρχουν μερικοί, αλλά νομίζω ότι ένα από αυτά που ακούμε αρκετά συχνά είναι αναλυτής επί του σκάφους. «Θα χρειαστεί να προσλάβω 10, 20, 30 ανθρώπους στο εγγύς μέλλον που θα πρέπει να παράγουν νέες γνώσεις από αυτά τα δεδομένα, πώς θα φτάσουν στην ταχύτητα;» Έτσι ο αναλυτής επί του σκάφους είναι κάτι που σίγουρα πιάνω. Υπάρχει επίσης απλώς ανακούφιση από τους ανώτερους αναλυτές να ξοδεύουν όλο τον χρόνο τους απαντώντας σε ερωτήσεις από άλλους ανθρώπους σχετικά με τα δεδομένα. Αυτό είναι πολύ συνηθισμένο. Και τα δύο είναι ουσιαστικά εκπαιδευτικά προβλήματα.
Και έπειτα θα έλεγα ότι ένας άλλος τόπος που βλέπουμε τους ανθρώπους που υιοθετούν το Alation είναι όταν θέλουν να δημιουργήσουν ένα νέο περιβάλλον δεδομένων για κάποιον που θα εργαστεί. Θέλουν να διαφημίσουν και να προωθήσουν αυτό το προϊόν εσωτερικά για να επωφεληθούν οι άνθρωποι. Στη συνέχεια, κάνοντας Alation το front-end σε αυτό το νέο αναλυτικό περιβάλλον είναι πολύ ελκυστικό. Έχει την τεκμηρίωση, έχει ένα ενιαίο σημείο εισαγωγής στο - ένα ενιαίο σημείο πρόσβασης στα συστήματα, και έτσι είναι ένα άλλο μέρος όπου οι άνθρωποι θα έρθουν σε μας.
Robin Bloor: Εντάξει, θα σας μεταφέρω στη Rebecca επειδή το κοινό προσπαθεί να φτάσει σε εσάς.
Rebecca Jozwiak: Ναι, εδώ έχουμε πολλά πραγματικά καλά θέματα κοινού. Και ο Δαβίδ, αυτός που τέθηκε ειδικά σε εσάς. Είναι από κάποιον που προφανώς έχει κάποια εμπειρία με τους ανθρώπους κάπως αλλοιώνει ερωτήματα και λέει ότι όσο περισσότερο ενδυναμώνουμε τους χρήστες, τόσο πιο δύσκολο είναι να κυβερνάμε την υπεύθυνη χρήση των υπολογιστικών πόρων. Μπορείτε λοιπόν να υπερασπιστείτε τη διάδοση των λανθασμένων αλλά κοινών φράσεων ερωτήσεων;
David Crawford: Ναι, βλέπω αυτήν την ερώτηση. Είναι μια μεγάλη ερώτηση - μία που παίρνουμε αρκετά συχνά. Έχω δει ο ίδιος τον πόνο σε προηγούμενες εταιρείες, όπου πρέπει να εκπαιδεύσετε τους χρήστες. Για παράδειγμα, "Αυτός είναι ένας πίνακας καταγραφής, έχει αρχεία καταγραφής που επιστρέφουν εδώ και χρόνια. Εάν πρόκειται να γράψετε ένα ερώτημα σε αυτό το τραπέζι, πρέπει πραγματικά να περιορίσετε την ημερομηνία. "Έτσι, για παράδειγμα, αυτή είναι μια εκπαίδευση που πέρασα από μια προηγούμενη εταιρεία πριν μου δοθεί πρόσβαση στη βάση δεδομένων.
Έχουμε μερικούς τρόπους που προσπαθούμε να το αντιμετωπίσουμε. Θα έλεγα ότι νομίζω ότι τα δεδομένα του ερωτηματολογίου είναι πραγματικά μοναδικά πολύτιμα για να το αντιμετωπίσουμε. Δίνει μια άλλη ιδέα σε σχέση με το τι κάνει η βάση δεδομένων εσωτερικά με τον προγραμματιστή επερωτήσεων. Και αυτό που κάνουμε είναι μία από αυτές τις παρεμβάσεις - έχουμε τις χειρωνακτικές παρεμβάσεις που έδειξα και αυτό είναι χρήσιμο, έτσι; Έτσι, για μια συγκεκριμένη ένωση, για παράδειγμα, μπορείτε να πείτε: "Ας υποθέσουμε αυτό." Θα έχει μια μεγάλη κόκκινη σημαία όταν εμφανίζεται σε έξυπνες υποδείξεις. Αυτός είναι ένας τρόπος να προσπαθήσουμε να φτάσουμε στους ανθρώπους.
Ένα άλλο πράγμα που κάνουμε είναι αυτοματοποιημένο σε παρεμβάσεις χρόνου εκτέλεσης. Αυτό θα χρησιμοποιήσει στην πραγματικότητα το παράξενο δέντρο του ερωτήματος πριν να το τρέξουμε για να το δούμε, περιλαμβάνει ένα συγκεκριμένο φίλτρο ή μερικά άλλα πράγματα που κάνουμε και εκεί. Αλλά μία από τις πιο πολύτιμες και η πιο απλή για να εξηγήσω είναι, περιλαμβάνει ένα φίλτρο; Έτσι, όπως το παράδειγμα που μόλις έδωσα, αυτό το τραπέζι, αν θέλετε να το κάνετε ερώτημα, πρέπει να έχετε ένα εύρος ημερομηνιών, μπορείτε να καθορίσετε στη σελίδα του πίνακα εκείνη την εντολή του φίλτρου εύρους ημερομηνιών που θα εφαρμοστεί. Αν κάποιος προσπαθήσει να εκτελέσει ένα ερώτημα που δεν περιλαμβάνει αυτό το φίλτρο, θα σταματήσει πραγματικά με μια μεγάλη προειδοποίηση και θα πει «Θα πρέπει πιθανώς να προσθέσετε κάποια SQL που μοιάζει με αυτό στο ερώτημά σας». αυτοί θέλουν. Δεν πρόκειται πραγματικά να τους απαγορεύσουμε να τα χρησιμοποιήσουμε - είναι και ένα ερώτημα, πρέπει να τελειώνουν τα ερωτήματα στο τέλος της ημέρας. Αλλά βάζουμε ένα αρκετά μεγάλο φράγμα μπροστά τους και τους δίνουμε μια πρόταση, μια συγκεκριμένη εφαρμόσιμη πρόταση για να τροποποιήσουμε το ερώτημα για να βελτιώσουμε την απόδοσή τους.
Αυτό συμβαίνει επίσης αυτόματα σε ορισμένες περιπτώσεις, και πάλι παρατηρώντας το αρχείο καταγραφής ερωτημάτων. Αν διαπιστώσουμε ότι κάποιο μεγάλο ποσοστό των ερωτημάτων σε αυτό το τραπέζι θα επωφεληθεί από ένα συγκεκριμένο φίλτρο ή από μια συγκεκριμένη ρήτρα συμμετοχής, τότε θα το βάλουμε στην κορυφή. Θα το προωθήσουμε σε μια παρέμβαση. Στην πραγματικότητα, μου συνέβη σε ένα εσωτερικό σύνολο δεδομένων. Έχουμε δεδομένα πελατών και έχουμε αναγνωριστικά χρήστη, αλλά το αναγνωριστικό χρήστη έχει οριστεί, δεδομένου ότι είναι το είδος - έχουμε αναγνωριστικά χρήστη σε κάθε πελάτη. Δεν είναι μοναδικό, οπότε πρέπει να το συνδυάσετε με αναγνωριστικό πελάτη για να αποκτήσετε ένα μοναδικό κλειδί σύνδεσης. Και γράφω ένα ερώτημα και προσπάθησα να αναλύσω κάτι και αναδύθηκε και είπε: "Γεια σου, όλοι οι άλλοι φαίνεται να ενώνουν αυτά τα τραπέζια τόσο με το αναγνωριστικό πελάτη όσο και με το αναγνωριστικό χρήστη. Είστε σίγουροι ότι δεν θέλετε να το κάνετε αυτό; "Και πράγματι με εμπόδισε να κάνω κάποια ανακριβή ανάλυση. Λειτουργεί τόσο για την ακρίβεια της ανάλυσης όσο και για την απόδοση. Αυτό είναι το είδος του τρόπου με τον οποίο αντιμετωπίζουμε αυτό το πρόβλημα.
Rebecca Jozwiak: Αυτό μου φαίνεται αποτελεσματικό. Είπατε ότι δεν θα απαγορεύσετε απαραιτήτως στους ανθρώπους να καταφεύγουν σε πόρους, αλλά να τους διδάξετε ότι αυτό που κάνουν μπορεί να μην είναι το καλύτερο, σωστά;
David Crawford: Υποθέτουμε πάντοτε ότι οι χρήστες δεν είναι κακόβουλοι - δώστε τους τις καλύτερες προθέσεις - και προσπαθούμε να είμαστε αρκετά ανοιχτοί με αυτόν τον τρόπο.
Rebecca Jozwiak: Εντάξει. Ακολουθεί μια άλλη ερώτηση: "Ποια είναι η διαφορά μεταξύ ενός διαχειριστή καταλόγου, όπως και της λύσης σας, και ενός εργαλείου MDM; Ή στην πραγματικότητα βασίζεται σε διαφορετικό κύριο με τη διεύρυνση της επιλογής των πινάκων ερωτημάτων, ενώ η MDM θα το κάνει αυτόματα, αλλά με το ίδιο βασικό κεφάλαιο της συλλογής μεταδεδομένων. "
David Crawford: Ναι, νομίζω ότι όταν εξετάζω τις παραδοσιακές λύσεις MDM, η κύρια διαφορά είναι μια φιλοσοφική. Είναι όλο για το ποιος είναι ο χρήστης. Όπως είπα στην αρχή της παρουσίασής μου, Alation, νομίζω ότι, όταν ιδρύσαμε, δημιουργήσαμε με στόχο να δώσουμε στους αναλυτές τη δυνατότητα να παράγουν περισσότερες γνώσεις, να τις παράγουν ταχύτερα, να είναι ακριβέστερες στις γνώσεις τους παράγω. Δεν νομίζω ότι αυτό ήταν ποτέ στόχος μιας παραδοσιακής λύσης MDM. Αυτές οι λύσεις τείνουν να στοχεύουν σε άτομα που πρέπει να παράγουν αναφορές σχετικά με τα δεδομένα που έχουν ληφθεί στην SCC ή εσωτερικά για κάποιο άλλο είδος ελεγκτικού σκοπού. Μπορεί μερικές φορές να επιτρέψει στους αναλυτές, αλλά είναι πιο συχνά, εάν πρόκειται να επιτρέψει σε έναν επαγγελματία στην εργασία τους, είναι πιο πιθανό να ενεργοποιήσει έναν αρχιτέκτονα δεδομένων όπως ένα DBA.
Όταν σκέφτεστε τα πράγματα από την άποψη ενός αναλυτή, τότε αρχίζετε να δημιουργείτε ένα εργαλείο ερωτήσεων το οποίο ένα εργαλείο MDM δεν θα έκανε ποτέ. Γι 'αυτό αρχίζετε να σκέφτεστε τις επιδόσεις καθώς και την ακρίβεια, καθώς και την κατανόηση των στοιχείων που σχετίζονται με τις ανάγκες της επιχείρησής μου. Όλα αυτά τα πράγματα είναι κάτι το είδος της ποπ στο μυαλό μας όταν σχεδιάζουμε το εργαλείο. Πηγαίνει στους αλγορίθμους αναζήτησης, πηγαίνει στη διάταξη των σελίδων του καταλόγου και τη δυνατότητα να συμβάλλει στη γνώση από όλο τον οργανισμό. Πηγαίνει στο γεγονός ότι δημιουργήσαμε το εργαλείο επερωτήσεων και ότι κατασκευάσαμε τον κατάλογο απευθείας σε αυτό, γι 'αυτό πιστεύω ότι προέρχεται πραγματικά από αυτό. Ποιος χρήστης έχετε κατά νου κατά νου;
Rebecca Jozwiak: Εντάξει, καλό. Αυτό βοήθησε πραγματικά να το εξηγήσω. ο οποίος πέθαινε για να κρατήσει τα αρχεία γιατί έπρεπε να φύγει, αλλά ήθελε πραγματικά να απαντήσει στην ερώτησή του. Είπε ότι αναφέρθηκε στην αρχή ότι υπάρχουν πολλές γλώσσες, αλλά η SQL είναι η μοναδική γλώσσα που μοχλεύει μέσα στο στοιχείο Compose;
David Crawford: Ναι, αυτό είναι αλήθεια. Και ένα από τα πράγματα που έχω παρατηρήσει, όπως έχω παρατηρήσει την έκρηξη των διαφόρων τύπων βάσεων δεδομένων, των βάσεων δεδομένων εγγράφων, των βάσεων δεδομένων των γραφικών παραστάσεων, των βασικών καταστημάτων αξίας, είναι ότι είναι πραγματικά ισχυρά για την ανάπτυξη εφαρμογών. Μπορούν να εξυπηρετήσουν τις ιδιαίτερες ανάγκες εκεί πραγματικά καλά, με καλύτερους τρόπους από τις σχεσιακές βάσεις δεδομένων.
Αλλά όταν το επαναφέρετε στην ανάλυση δεδομένων, όταν την επαναφέρετε - όταν θέλετε να παρέχετε αυτές τις πληροφορίες σε ανθρώπους που πρόκειται να κάνουν ad hoc αναφορές ή ad hoc σκάβουν στα δεδομένα, ότι πάντα επιστρέφουν σε ένα σχεσιακό, τουλάχιστον, διεπαφή για τον άνθρωπο. Μέρος αυτού είναι ακριβώς επειδή η SQL είναι το lingua franca της ανάλυσης δεδομένων, έτσι ώστε να σημαίνει ότι για τους ανθρώπους είναι και τα εργαλεία που ενσωματώνουν. Νομίζω ότι αυτός είναι ο λόγος που η SQL για τον Hadoop είναι τόσο δημοφιλής και υπάρχουν τόσα πολλά επιχειρήματα για την επίλυσή του, είναι επειδή στο τέλος της ημέρας, αυτό είναι που οι άνθρωποι γνωρίζουν. Υπάρχουν μάλλον εκατομμύρια άνθρωποι που ξέρουν πώς να γράφουν SQL και δεν θα έδινα εκατομμύρια ανθρώπους που ξέρουν πώς να γράψουν ένα ερώτημα πλαισίου αθροιστικών αγωγών Mongo. Και ότι είναι μια τυπική γλώσσα που χρησιμοποιείται για την ολοκλήρωση σε μια πραγματικά μεγάλη ποικιλία πλατφορμών. Το μόνο που λέει είναι ότι σπάνια ζητάμε να βγούμε έξω από αυτό, επειδή πρόκειται για τη διεπαφή που χρησιμοποιούν οι περισσότεροι αναλυτές και είναι ένας τόπος όπου εστιάσαμε, ειδικά στο Compose, ότι εστιάσαμε στη σύνταξη του SQL.
Θα έλεγα ότι η επιστήμη των δεδομένων είναι ο τόπος στον οποίο θα βγούν έξω από τα περισσότερα, γι 'αυτό κάνουμε περιστασιακές ερωτήσεις σχετικά με τη χρήση του Pig ή του SAS. Αυτά είναι πράγματα που σίγουρα δεν χειριζόμαστε στην Σύνθεση και ότι θα θέλαμε να συλλάβουμε στον κατάλογο. Και βλέπω επίσης R και Python. Έχουμε μερικούς τρόπους με τους οποίους έχουμε δημιουργήσει διεπαφές ώστε να μπορείτε να χρησιμοποιήσετε τα ερωτήματα που έχουν γραφτεί στο Alation μέσα σε δέσμες ενεργειών R και Python, οπότε, συχνά όταν είστε επιστήμονας δεδομένων και εργάζεστε σε μια γλώσσα δέσμης ενεργειών, τα δεδομένα πηγής βρίσκονται σε μια σχεσιακή βάση δεδομένων. Αρχίζετε με ένα ερώτημα SQL και στη συνέχεια επεξεργάζεστε περαιτέρω και δημιουργείτε γραφήματα μέσα στο R και Python. Και έχουμε κάνει πακέτα που μπορείτε να εισαγάγετε σε αυτά τα σενάρια που τραβούν τα ερωτήματα ή τα αποτελέσματα των ερωτημάτων από το Alation, ώστε να μπορείτε να έχετε μια αναμειγμένη ροή εργασίας εκεί.
Rebecca Jozwiak: Εντάξει, ωραία. Ξέρω ότι έχουμε τρέξει λίγο μετά την κορυφή της ώρας, πρόκειται απλώς να κάνω μία ή δύο ακόμα ερωτήσεις. Ξέρω ότι μιλήσατε για όλα τα διαφορετικά συστήματα στα οποία μπορείτε να συνδεθείτε, αλλά όσον αφορά τα δεδομένα που φιλοξενούνται εξωτερικά και τα εσωτερικά φιλοξενούντα δεδομένα, μπορούν μαζί να αναζητηθούν στην ενιαία προβολή σας, στην πλατφόρμα σας;
Δαβίδ Crawford: Σίγουρα. Υπάρχουν μερικοί τρόποι να το κάνετε αυτό. Θέλω να πω, εξωτερικά φιλοξενείται, θα φανταστώ, προσπαθώ να σκεφτώ ακριβώς τι μπορεί να σημαίνει αυτό. Θα μπορούσε να σημαίνει μια βάση δεδομένων που φιλοξενεί κάποιος στο AWS για εσάς. Θα μπορούσε να σημαίνει μια δημόσια πηγή δεδομένων από data.gov. Συνδέουμε άμεσα τις βάσεις δεδομένων συνδέοντας ακριβώς όπως μια άλλη εφαρμογή με, με έναν λογαριασμό βάσεων δεδομένων, και έτσι εξαγάγουμε τα μεταδεδομένα. Έτσι, αν έχουμε λογαριασμό και έχουμε ανοιχτό το λιμάνι του δικτύου, μπορούμε να το φτάσουμε. Και τότε, όταν δεν έχουμε αυτά τα πράγματα, έχουμε κάτι που ονομάζεται πηγή εικονικών δεδομένων, που σας επιτρέπει να πιέζετε ουσιαστικά την τεκμηρίωση, είτε αυτομάτως, γράφοντας το δικό σας σύνδεσμο είτε συμπληρώνοντάς το, κάνοντας ακόμα και μια μεταφόρτωση CSV, για να τεκμηριώσετε τα δεδομένα μαζί με τα εσωτερικά σας δεδομένα. Όλα αυτά τοποθετούνται στη μηχανή αναζήτησης. Γίνεται αναφορά στο εσωτερικό των άρθρων και άλλων εγγράφων και συνομιλιών στο εσωτερικό του συστήματος. Έτσι έτσι χειριζόμαστε όταν δεν μπορούμε να συνδεθούμε άμεσα με ένα σύστημα.
Rebecca Jozwiak: Εντάξει, αυτό είναι λογικό. Θα σου βάλω μια ακόμα ερώτηση. Ένας συμμετέχων είναι με ποιον τρόπο θα πρέπει να επικυρώνεται, να επαληθεύεται ή να διατηρείται το περιεχόμενο ενός καταλόγου δεδομένων, καθώς ενημερώνονται τα δεδομένα προέλευσης, τροποποιούνται τα δεδομένα προέλευσης κ.λπ. "
David Crawford: Ναι, είναι ένα ερώτημα που έχουμε πολλά και νομίζω ότι ένα από τα πράγματα που εμείς - μία από τις φιλοσοφίες μας, όπως είπα, δεν πιστεύουμε ότι οι χρήστες είναι κακόβουλοι. Υποθέτουμε ότι προσπαθούν να συνεισφέρουν τις καλύτερες γνώσεις. Δεν πρόκειται να έρθουν και σκόπιμα παραπλανήσουν τους ανθρώπους για τα δεδομένα. Αν αυτό είναι ένα πρόβλημα στον οργανισμό σας, ίσως το Alation δεν είναι το σωστό εργαλείο για εσάς. Αλλά αν υποθέσετε τις καλές προθέσεις των χρηστών, τότε, σκεφτόμαστε αυτό ως κάτι όπου, οι ενημερώσεις έρχονται, και στη συνέχεια συνήθως αυτό που κάνουμε είναι να βάλουμε έναν υπεύθυνο διαχείρισης για κάθε αντικείμενο δεδομένων ή κάθε τμήμα των δεδομένων. Και μπορούμε να ενημερώσουμε αυτούς τους διαχειριστές όταν γίνονται αλλαγές στα μεταδεδομένα και μπορούν να το χειριστούν με αυτόν τον τρόπο. Βλέπουν τις ενημερώσεις που έρχονται, την επικυρώνουν. Εάν δεν έχουν δίκιο, μπορούν να επιστρέψουν, να τροποποιήσουν και να ενημερώσουν και ελπίζουμε να έρθουν ακόμη και στο χρήστη που συνέβαλαν τις πληροφορίες και να τους βοηθήσουν να μάθουν.
Αυτός είναι ο πρωταρχικός τρόπος για να το κάνουμε. Αυτό το είδος της πρότασης από το πλήθος και τη διαχείριση από τους αγωνοδίκες, έτσι έχουμε κάποιες δυνατότητες γύρω από αυτό.
Rebecca Jozwiak: Εντάξει, καλό. Και αν μπορούσατε να αφήσετε τους ανθρώπους να γνωρίζουν πώς μπορούν καλύτερα να ξεκινήσουν με το Alation, και πού μπορούν να πάνε ειδικά για να πάρουν περισσότερες πληροφορίες. Ξέρω ότι μοιραστήκατε ότι ένα bit.ly.ly. Είναι αυτό το καλύτερο μέρος;
David Crawford: Alation.com/learnmore Νομίζω ότι είναι ένας πολύ καλός τρόπος να πάτε. Για να εγγραφείτε για μια επίδειξη, ο ιστότοπος Alation.com διαθέτει πολλούς μεγάλους πόρους, λευκές βιντεοκασέτες πελατών και ειδήσεις σχετικά με τη λύση μας. Πιστεύω λοιπόν ότι είναι ένα εξαιρετικό μέρος για να ξεκινήσετε. Μπορείτε επίσης να στείλετε email.
Rebecca Jozwiak: Εντάξει, ωραία. Και ξέρω, οι παρευρισκόμενοι, λυπάμαι αν δεν έφτασα σε όλες τις ερωτήσεις σήμερα, αλλά αν όχι, θα διαβιβαστούν στον David ή την ομάδα πωλήσεών του ή κάποιον στο Alation, ώστε να μπορέσουν σίγουρα να απαντήσουν στις ερωτήσεις σας και να βοηθήσουν στην κατανόηση τι Alation κάνει ή τι κάνουν καλύτερα.
Και με αυτό, οι λαοί, θα προχωρήσω και θα μας υπογράψουν. Μπορείτε πάντα να βρείτε τα αρχεία στο InsideAnalysis.com. Μπορείτε επίσης να το βρείτε στο Techopedia.com. Έχουν την τάση να ενημερώνονται λίγο πιο γρήγορα, έτσι σίγουρα ελέγξτε ότι έξω. Και ευχαριστώ πολύ τον David Crawford, τον Dez Blanchfield και τον Robin Boor σήμερα. Ήταν ένα μεγάλο webcast. Και με αυτό, θα σας αποχαιρετήσω. Ευχαριστώ, παιδιά. Αντίο.
Δαβίδ Crawford: Σας ευχαριστώ.
