Τι είναι το Transfer Learning στο AI και πώς λειτουργεί;

Εάν ενδιαφέρεστε να εκπαιδεύσετε το μοντέλο AI σας στην Επεξεργασία Φυσικής Γλώσσας (NLP) ή στην όραση υπολογιστή, θα πρέπει να μάθετε για το Transfer Learning και πώς να χρησιμοποιείτε προεκπαιδευμένα μοντέλα.

Χωρίς τη μεταφορά μάθησης, η εκπαίδευση ενός αποτελεσματικού και αξιόπιστου μοντέλου είναι συχνά μια προσπάθεια έντασης πόρων, που απαιτεί πολλά χρήματα, χρόνο και τεχνογνωσία, καθώς εκτιμάται ότι ένας προγραμματιστής ChatGPT έχει ξοδέψει εκατομμύρια για την εκπαίδευση GPT-3, GPT-3.5, και GPT-4. Με τη δύναμη της μεταφοράς εκμάθησης, μπορείτε να εκπαιδεύσετε το μοντέλο σας με τη δύναμη του νεότερου μοντέλου GPT με λίγους πόρους σε σύντομο χρονικό διάστημα. Επαληθεύω Τρόποι χρήσης του ChatGPT ως αναλυτή δεδομένων.

Τι είναι η Transfer Learning στο AI;

Η εκμάθηση μεταφοράς είναι η ιδέα της λήψης ενός προεκπαιδευμένου μοντέλου όπως το BERT ή ενός από τα διάφορα μοντέλα GPT και της εκπαίδευσής του σε ένα προσαρμοσμένο σύνολο δεδομένων για να εργαστεί σε εργασίες που δεν ήταν απαραίτητα εκπαιδευμένο να χειρίζεται.

Για παράδειγμα, μπορείτε να πάρετε ένα μοντέλο που είναι προεκπαιδευμένο για να ταξινομεί διαφορετικούς τύπους γατών και να το εκπαιδεύσετε για να ταξινομεί σκύλους. Μέσω της μάθησης μεταφοράς, η εκπαίδευση του μοντέλου ταξινόμησης σκύλων θα χρειαστεί πολύ λιγότερο χρόνο και πόρους για να γίνει τόσο αξιόπιστη όσο το αρχικό μοντέλο ταξινόμησης γάτας.

Αυτό λειτουργεί επειδή οι γάτες και οι σκύλοι μοιράζονται πολλά χαρακτηριστικά που το προεκπαιδευμένο μοντέλο μπορεί ήδη να αναγνωρίσει. Επειδή το μοντέλο ταξινόμησης γάτας μπορεί να αναγνωρίσει διαφορετικά γνωρίσματα γατών, όπως τέσσερα πόδια, γούνινο παλτό και προεξέχουσες μύτες, το μοντέλο ταξινόμησης σκύλων μπορεί να παραλείψει όλη αυτή την εκπαίδευση για να εντοπίσει εκείνα τα χαρακτηριστικά που κληρονόμησε από το αρχικό μοντέλο. Αφού τα κληρονομήσει όλα αυτά νευρωνικά δίκτυα , στη συνέχεια απορρίπτετε τα τελευταία στρώματα του εκπαιδευμένου μοντέλου που χρησιμοποιείται για τον προσδιορισμό των πιο συγκεκριμένων χαρακτηριστικών της γάτας και τα αντικαθιστάτε με ένα σύνολο δεδομένων για συγκεκριμένο σκύλο.

Ποια μοντέλα AI μπορείτε να χρησιμοποιήσετε για να μεταφέρετε τη μάθηση;

Για να χρησιμοποιήσετε την εκμάθηση μεταφοράς, θα χρειαστείτε ένα προεκπαιδευμένο μοντέλο. Ένα προεκπαιδευμένο μοντέλο είναι γνωστό ως μοντέλο τεχνητής νοημοσύνης που εκπαιδεύεται με σκοπό την απόκτηση γενικών γνώσεων σχετικά με ένα συγκεκριμένο θέμα ή ιδέα. Αυτά τα είδη προεκπαιδευμένων μοντέλων είναι ειδικά σχεδιασμένα για να βελτιστοποιούν και να δημιουργούν περισσότερα μοντέλα για διαφορετικές χρήσεις. Μερικά από τα πιο δημοφιλή προεκπαιδευμένα μοντέλα είναι για NLP, όπως το BERT και το GPT, και η όραση υπολογιστή, όπως το VGG19 και το Inceptionv3.

Αν και συνηθισμένα, αυτά τα εύκολα συντονίσιμα μοντέλα δεν είναι τα μόνα που μπορείτε να χρησιμοποιήσετε για να μεταφέρετε τη μάθηση. Μπορείτε επίσης να χρησιμοποιήσετε μοντέλα που έχουν εκπαιδευτεί για πιο συγκεκριμένες εργασίες από την αναγνώριση αντικειμένων ή τη γλώσσα γενικά. Εφόσον το μοντέλο έχει αναπτύξει νευρωνικά δίκτυα που εφαρμόζονται στο μοντέλο που προσπαθείτε να εκπαιδεύσετε, μπορείτε να χρησιμοποιήσετε οποιοδήποτε μοντέλο για να μεταφέρετε τη μάθηση.

Μπορείτε να αποκτήσετε δημόσια διαθέσιμα προεκπαιδευμένα μοντέλα από μέρη όπως το TensorFlow Hub, το Hugging Face και το OpenAI Model Marketplace. Επαληθεύω Πώς να δημιουργήσετε ένα μοντέλο μηχανικής εκμάθησης χρησιμοποιώντας το Microsoft Lobe.

Οφέλη από τη χρήση της μάθησης μεταφοράς στην τεχνητή νοημοσύνη

Η εκμάθηση μεταφοράς προσφέρει πολλά οφέλη σε σχέση με την εκπαίδευση ενός μοντέλου AI από την αρχή.

1. Μειώστε τον χρόνο προπόνησης: Όταν εκπαιδεύετε ένα μοντέλο από την αρχή, ένα μεγάλο μέρος της εκπαιδευτικής διαδικασίας δαπανάται σε γενικές βασικές γνώσεις. Μέσω της μάθησης μεταφοράς, το μοντέλο σας κληρονομεί αυτόματα όλες αυτές τις βασικές γνώσεις, μειώνοντας έτσι σημαντικά τον χρόνο εκπαίδευσης.
2. Λιγότερες απαιτήσεις σε πόρους: Δεδομένου ότι όλες οι βασικές γνώσεις είναι ήδη διαθέσιμες, το μόνο που έχετε να κάνετε είναι να συνεχίσετε να εκπαιδεύετε το μοντέλο στις λεπτομέρειες της αίτησής σας. Συχνά αυτό απαιτεί μόνο ένα σχετικά μικρό σύνολο δεδομένων που μπορεί να υποβληθεί σε επεξεργασία με λιγότερη υπολογιστική ισχύ.
3. Βελτιωμένη απόδοση: Αν δεν ξοδέψετε εκατομμύρια δολάρια για την κατασκευή του μοντέλου σας από την αρχή, δεν μπορείτε να περιμένετε ένα μοντέλο τόσο καλό ή τόσο αξιόπιστο όσο ένα μεγάλο μοντέλο γλώσσας (LLM) από μια γιγάντια εταιρεία τεχνολογίας. Με την εκμάθηση μεταφοράς, μπορείτε να επωφεληθείτε από τις ισχυρές δυνατότητες αυτών των προεκπαιδευμένων LLM, όπως το GPT, για να βελτιώσετε την απόδοση του μοντέλου σας.

Είναι δυνατό να εκπαιδεύσετε ένα μοντέλο AI από την αρχή, αλλά χρειάζεστε περισσότερους πόρους για να το κάνετε.

Πώς λειτουργεί η μεταφορά μάθησης;

Βασικά, υπάρχουν τρία στάδια όταν πρόκειται για τη μεταφορά μάθησης.

1. Επιλέξτε ένα προεκπαιδευμένο μοντέλο: Το προεκπαιδευμένο μοντέλο υποβάλλεται σε αρχική εκπαίδευση χρησιμοποιώντας ένα μεγάλο σύνολο δεδομένων από μια σημαντική πηγή, όπως το ImageNet, ή ένα μεγάλο σύνολο σεναρίων. Αυτή η αρχική φάση εκπαίδευσης επιτρέπει στο μοντέλο να αποκτήσει γνώση των γενικών χαρακτηριστικών και προτύπων που βρίσκονται στο σύνολο δεδομένων. Ο χρόνος και οι πόροι που εξοικονομείτε από τη μεταφορά μάθησης εξαρτάται από τις ομοιότητες μεταξύ του προεκπαιδευμένου μοντέλου και του μοντέλου που προσπαθείτε να δημιουργήσετε.
2. εξαγωγή χαρακτηριστικών: μόλις επιλεγεί ένα προεκπαιδευμένο μοντέλο για συντονισμό, απομένουν τα αρχικά επίπεδα του προεκπαιδευμένου μοντέλου (πλησιέστερα στην είσοδο). Αυτό σημαίνει ότι τα βάρη του παραμένουν σταθερά κατά τη λεπτή ρύθμιση. Το πάγωμα αυτών των επιπέδων διατηρεί τη γενική γνώση που αποκτήθηκε κατά τη διάρκεια της προεκπαίδευσης και την αποτρέπει από το να επηρεαστεί υπερβολικά από το σύνολο δεδομένων των εργασιών του μοντέλου-στόχου. Για μοντέλα που είναι πλήρως εκπαιδευμένα για συγκεκριμένες εφαρμογές, τα τελικά επίπεδα των μοντέλων είτε αφαιρούνται είτε δεν μαθαίνονται έως ότου το μοντέλο-στόχος εκπαιδευτεί σε άλλες συγκεκριμένες εφαρμογές.
3. λεπτή ρύθμιση: Αφού παγώσει το προεκπαιδευμένο μοντέλο και αφαιρεθούν τα ανώτερα στρώματα, ένα νέο σύνολο δεδομένων τροφοδοτείται στον αλγόριθμο εκμάθησης, ο οποίος στη συνέχεια χρησιμοποιείται για την εκπαίδευση του νέου μοντέλου και των ιδιοτήτων εφαρμογής του.

Υπάρχουν περισσότερα από τα τρία στάδια, αλλά αυτό το διάγραμμα δείχνει με χονδρικά λεπτομέρεια πώς λειτουργεί η διαδικασία μεταφοράς τεχνητής νοημοσύνης, με κάποια λεπτομέρεια.

Περιορισμοί μεταφοράς μάθησης στην τεχνητή νοημοσύνη

Παρόλο που η μάθηση με μεταφορά είναι μια πολύτιμη έννοια για την εκπαίδευση αποτελεσματικών και αξιόπιστων μοντέλων, υπάρχουν ορισμένοι περιορισμοί που πρέπει να γνωρίζετε όταν χρησιμοποιείτε τη μάθηση μεταφοράς για την εκπαίδευση ενός μοντέλου.

1. Αναντιστοιχία εργασιώνΌταν επιλέγετε ένα βασικό μοντέλο για τη μεταφορά μάθησης, θα πρέπει να είναι όσο το δυνατόν πιο σχετικό με τα προβλήματα που θα λύσει το νέο μοντέλο. Η χρήση ενός μοντέλου που ταξινομεί τις γάτες για τη δημιουργία ενός μοντέλου για την ταξινόμηση των σκύλων είναι πιθανό να αποφέρει καλύτερα αποτελέσματα από τη χρήση ενός μοντέλου που ταξινομεί τις γάτες για τη δημιουργία ενός μοντέλου για φυτά. Όσο πιο κατάλληλο είναι το βασικό μοντέλο για το μοντέλο που προσπαθείτε να δημιουργήσετε, τόσο περισσότερο χρόνο και πόρους θα εξοικονομήσετε κατά τη διαδικασία μεταφοράς μάθησης.
2. προκατάληψη συνόλου δεδομένων: Παρόλο που τα προεκπαιδευμένα μοντέλα εκπαιδεύονται συχνά σε μεγάλα σύνολα δεδομένων, εξακολουθεί να υπάρχει πιθανότητα να έχουν αναπτύξει κάποια προκατάληψη κατά την εκπαίδευσή τους. Η χρήση ενός βασικού μοντέλου με υψηλή προκατάληψη μπορεί επίσης να προκαλέσει το μοντέλο να κληρονομήσει τις προκαταλήψεις του, γεγονός που μειώνει την ακρίβεια και την αξιοπιστία του μοντέλου σας. Δυστυχώς, είναι δύσκολο να εντοπιστεί η προέλευση αυτών των προκαταλήψεων λόγω της φύσης του μαύρου κουτιού της βαθιάς μάθησης.
3. προσθετος εξοπλισμος: Ένα από τα κύρια πλεονεκτήματα της εκμάθησης μεταφοράς είναι ότι μπορείτε να χρησιμοποιήσετε ένα σχετικά μικρό σύνολο δεδομένων για να εκπαιδεύσετε περαιτέρω το μοντέλο. Ωστόσο, η εκπαίδευση του μοντέλου σε ένα πολύ μικρό σύνολο δεδομένων μπορεί να προκαλέσει υπερπροσαρμογή, η οποία μειώνει σημαντικά την αξιοπιστία του μοντέλου όταν τροφοδοτείται με νέα δεδομένα.

Έτσι, ενώ η μάθηση με μεταφορά είναι μια χρήσιμη τεχνική εκμάθησης για την τεχνητή νοημοσύνη, υπάρχουν περιορισμοί και δεν είναι μια ασημένια σφαίρα. Επαληθεύω Οι λόγοι για τους οποίους τα ζητήματα ασφάλειας για τη γενετική τεχνητή νοημοσύνη χειροτερεύουν.

Θα πρέπει να χρησιμοποιήσετε τη μεταφορά εκμάθησης;

Από τη διαθεσιμότητα προεκπαιδευμένων μοντέλων, η μετασχηματιστική μάθηση έχει χρησιμοποιηθεί από καιρό για τη δημιουργία πιο εξειδικευμένων μοντέλων. Δεν υπάρχει πραγματικός λόγος να μην χρησιμοποιήσετε τη μεταβίβαση εκμάθησης εάν υπάρχει ήδη ένα προεκπαιδευμένο μοντέλο σχετικό με τα προβλήματα που θα λύσει το μοντέλο σας.

Αν και είναι δυνατό να εκπαιδεύσετε ένα απλό μοντέλο μηχανικής μάθησης από την αρχή, για να το κάνετε αυτό σε ένα μοντέλο βαθιάς μάθησης θα απαιτηθούν πολλά δεδομένα, χρόνος και δεξιότητες, κάτι που δεν θα έχει νόημα εάν μπορείτε να επαναπροσδιορίσετε ένα υπάρχον μοντέλο παρόμοιο με αυτό. σκοπεύεις να προπονηθείς. Επομένως, εάν θέλετε να ξοδέψετε λιγότερο χρόνο και χρήματα για την εκπαίδευση ενός μοντέλου, δοκιμάστε να εκπαιδεύσετε το μοντέλο σας μέσω της εκμάθησης μεταφοράς. Μπορείτε να δείτε τώρα Ηλεκτρονικοί κατάλογοι εργαλείων AI για να ανακαλύψετε ή να αναζητήσετε την καλύτερη εφαρμογή AI.