Ερ:
Πώς μπορούν οι μηχανικοί να αξιολογήσουν τα σετ εκπαίδευσης και τα σετ δοκιμών για να επισημάνουν πιθανή υπερφόρτωση στη μηχανική μάθηση;
ΕΝΑ:Για να κατανοήσουμε πώς γίνεται αυτό, είναι απαραίτητο να έχουμε μια βασική κατανόηση των ρόλων των διαφορετικών συνόλων δεδομένων σε ένα τυπικό πρόγραμμα εκμάθησης μηχανών. Το σετ κατάρτισης έχει δημιουργηθεί για να δώσει στην τεχνολογία ένα πλαίσιο αναφοράς - βάση δεδομένων που χρησιμοποιεί το πρόγραμμα για να κάνει προβλέψεις και πιθανοτικές αποφάσεις. Το σετ δοκιμών είναι εκεί όπου δοκιμάζετε το μηχάνημα σε δεδομένα.
Η υπερφόρτωση είναι ένα σύνδρομο στη μηχανική μάθηση όπου το μοντέλο δεν ταιριάζει πλήρως στα δεδομένα ή τον σκοπό.
| Δωρεάν Λήψη: Μηχανική Μάθηση και γιατί έχει σημασία |
Μία από τις γενικές εντολές της μηχανικής μάθησης είναι ότι τα δεδομένα εκπαίδευσης και τα δεδομένα δοκιμών πρέπει να είναι χωριστά σύνολα δεδομένων. Υπάρχει μια αρκετά ευρεία συναίνεση σε αυτό, τουλάχιστον σε πολλές εφαρμογές, εξαιτίας κάποιων συγκεκριμένων προβλημάτων με τη χρήση του ίδιου συνόλου που χρησιμοποιήσατε για την εκπαίδευση για να δοκιμάσετε ένα πρόγραμμα εκμάθησης μηχανών.
Όταν ένα πρόγραμμα εκμάθησης μηχανών χρησιμοποιεί ένα σετ κατάρτισης, το οποίο θα μπορούσε να ονομαστεί ουσιαστικά ένα σύνολο εισροών, λειτουργεί αυτό το σετ κατάρτισης για τη λήψη αποφάσεων σχετικά με τα προγνωστικά αποτελέσματα. Ένας πολύ βασικός τρόπος για να το σκεφτεί κανείς είναι ότι το σετ κατάρτισης είναι το "φαγητό" για τη διαδικασία διανοητικής πληροφορικής.
Τώρα όταν το ίδιο σετ χρησιμοποιείται για δοκιμές, το μηχάνημα μπορεί συχνά να επιστρέψει εξαιρετικά αποτελέσματα. Αυτό συμβαίνει επειδή έχει ήδη δει τα δεδομένα πριν. Όμως, ολόκληρος ο στόχος της μηχανικής μάθησης σε πολλές περιπτώσεις είναι να κάνει αποτελέσματα σχετικά με δεδομένα που δεν έχουν δει ποτέ πριν. Τα προγράμματα μηχανικής μάθησης γενικής χρήσης προορίζονται να λειτουργούν σε διαφορετικά σύνολα δεδομένων. Με άλλα λόγια, η αρχή της μηχανικής μάθησης είναι η ανακάλυψη και δεν παίρνετε συνήθως τόσο μεγάλο μέρος από αυτό χρησιμοποιώντας ένα αρχικό σετ κατάρτισης για δοκιμαστικούς σκοπούς.
Κατά την αξιολόγηση εκπαιδευτικών σετ και δοκιμαστικών συνόλων για πιθανή υπερφόρτωση, οι μηχανικοί θα μπορούσαν να αξιολογήσουν τα αποτελέσματα και να καταλάβουν γιατί ένα πρόγραμμα μπορεί να το κάνει διαφορετικά στα συγκριτικά αποτελέσματα αυτών των δύο σετ ή σε μερικές περιπτώσεις πώς το μηχάνημα θα μπορούσε να κάνει πολύ καλά στα ίδια τα δεδομένα εκπαίδευσης .
Περιγράφοντας μερικά από αυτά τα προβλήματα στη μηχανική μάθηση σε ένα κομμάτι του 2014, ο Jason Brownlee στο Mastery Mastery Mastery περιγράφει την υπερφόρτωση αυτού του τρόπου:
"Ένα μοντέλο που έχει επιλεγεί για την ακρίβειά του στο σύνολο δεδομένων εκπαίδευσης και όχι η ακρίβειά του σε ένα μη δειγματοληπτικό σύνολο δεδομένων δοκιμής είναι πολύ πιθανό να έχει χαμηλότερη ακρίβεια σε ένα μη διστάσιμο σύνολο δεδομένων δοκιμών", γράφει η Brownlee. "Ο λόγος είναι ότι το μοντέλο δεν είναι τόσο γενικευμένο, αλλά έχει εξοικειωθεί με τη δομή στο σύνολο δεδομένων κατάρτισης (πλάγια στοιχεία που προστέθηκαν), που ονομάζεται υπερφόρτωση και είναι πιο ύπουλη από ό, τι νομίζετε".
Σε γενικές γραμμές, θα μπορούσατε να πείτε ότι με την εξειδίκευση στο σύνολο δεδομένων εκπαίδευσης, το πρόγραμμα γίνεται υπερβολικά άκαμπτο. Αυτός είναι ένας άλλος μεταφορικός τρόπος να εξετάσουμε γιατί ένα πρόγραμμα εκμάθησης μηχανών δεν εξυπηρετείται βέλτιστα χρησιμοποιώντας το σετ εκπαίδευσης για το σετ δοκιμών. Είναι επίσης ένας καλός τρόπος προσέγγισης της αξιολόγησης αυτών των δύο διαφορετικών συνόλων, επειδή τα αποτελέσματα θα δείξουν στους μηχανικούς πολλά για το πώς λειτουργεί το πρόγραμμα. Θέλετε μικρότερο χάσμα μεταξύ της ακρίβειας και για τα δύο μοντέλα. Θέλετε να βεβαιωθείτε ότι το σύστημα δεν είναι υπερφορτωμένο ή "συγχρονισμένο με ακρίβεια" σε ένα συγκεκριμένο σύνολο δεδομένων, αλλά αυτό είναι γενικότερο και μπορεί να αναπτυχθεί και να εξελιχθεί με εντολή.
