Το Whisper από το OpenAI είναι μια νέα λύση με τεχνητή νοημοσύνη που μπορεί να σας βοηθήσει να μετατρέψετε τη φωνή σας σε κείμενο με μοναδικό τρόπο. Το καλύτερο από όλα, έρχεται χωρίς κόστος.
Ωστόσο, υπάρχει ένα σχετικά μικρό πρόβλημα: η εγκατάσταση και η χρήση είναι πολύ πιο δύσκολες με ένα κανονικό εργαλείο των Windows. Ειδικά αν θέλετε να χρησιμοποιήσετε τους πυρήνες Tensor από την κάρτα γραφικών Nvidia για να της δώσετε μια ωραία ώθηση. Επαληθεύω Τα καλύτερα εργαλεία βασισμένα σε τεχνητή νοημοσύνη για τη δημιουργία φωτογραφιών από το γραπτό σας δωρεάν.
Δεν πρέπει όμως να απελπίζεσαι. Γι' αυτό είμαστε εδώ! Διαβάστε παρακάτω για να μάθετε πώς να το εγκαταστήσετε και να το χρησιμοποιήσετε, αλλά επίσης, εάν είστε κάτοχος κάρτας γραφικών Nvidia, θα σας δείξουμε πώς το Whisper μπορεί να το εκμεταλλευτεί.
Γρήγοροι σύνδεσμοι
Τι είναι το Whisper από το OpenAI;
Το ChatGPT γίνεται γρήγορα δημοφιλές στους χρήστες και έχουμε ήδη δει πώς μπορείτε να το χρησιμοποιήσετε ChatGPT από το OpenAI. Ωστόσο, δεν είναι το μόνο ενδιαφέρον έργο του OpenAI.
Με την υποστήριξη της βαθιάς μάθησης και των νευρωνικών δικτύων, το Whisper είναι ένα σύστημα επεξεργασίας φυσικής γλώσσας που μπορεί να «κατανοήσει» την ομιλία και να τη μετατρέψει σε κείμενο. Αλλά διαθέτει επίσης αρκετές προσαρμοσμένες διαμορφώσεις στον τομέα του, ξεπερνώντας όλες τις παρόμοιες λύσεις χάρη στα εξής:
- Το Whisper είναι μια λύση τεχνητής νοημοσύνης που «εκπαιδεύεται» στη φυσική γλώσσα. Άρα, η κατανόηση της «κανονικής» ανθρώπινης ομιλίας είναι καλύτερη από τις παλιές λύσεις.
- Το Whisper δεν συνοδεύεται από διεπαφή, ούτε μπορεί να εγγράψει ήχο. Μπορεί να λάβει μόνο υπάρχοντα αρχεία ήχου και να εξάγει αρχεία κειμένου.
- Όσο καλό κι αν είναι στην «κατανόηση της γλώσσας», το Whisper έχει επίσης το απόλυτο καλύτερο στην αυτόματη μετάφραση.
- Το Whisper δεν είναι μια διαδικτυακή υπηρεσία και μπορεί να λειτουργήσει εντελώς εκτός σύνδεσης.
- Εάν διαθέτετε κάρτα γραφικών Nvidia (GTX970 ή μεταγενέστερη), το Whisper μπορεί να εκτελεστεί σε "λειτουργία επιτάχυνσης υλικού" για να επιταχύνει την απόκρισή του.
- Δεν απαιτείται εγγραφή, αγορά άδειας ή αγορά συνδρομής.
Γιατί δεν υποστηρίζεται η κάρτα γραφικών AMD;
Προκειμένου οι GPU να είναι χρήσιμες για περισσότερα από την απλή έξοδο γραφικών, πρέπει να λειτουργούν ως πλήρως προγραμματιζόμενοι επεξεργαστές. Γι' αυτό η Nvidia δημιούργησε την αρχιτεκτονική CUDA, η οποία είναι επίσημα μια «πλατφόρμα παράλληλων υπολογιστών και μοντέλο προγραμματισμού».
Το CUDA είναι μια ιδιόκτητη τεχνολογία Nvidia, συμβατή μόνο με GPU της Nvidia. Οι πλησιέστερες εναλλακτικές από την AMD είναι το OpenCL και το Radeon Compute Platform.
Σε σύγκριση με τις εναλλακτικές λύσεις, το CUDA είναι πιο ώριμο, υψηλής απόδοσης και πιο εύκολο στη χρήση. Έτσι, οι περισσότεροι προγραμματιστές στοχεύουν μόνο το CUDA, το οποίο με τη σειρά του σημαίνει ότι οι εφαρμογές τους εκμεταλλεύονται μόνο τις δυνατότητες υλικού στις GPU της Nvidia. Αυτό περιλαμβάνει το Whisper. Επαληθεύω Σύγκριση καρτών γραφικών AMD εναντίον NVIDIA σε Linux: Ποια πρέπει να χρησιμοποιήσετε;
Πώς να κατεβάσετε και να εγκαταστήσετε το Whisper
Δυστυχώς, το Whisper δεν είναι μια αυτόνομη εφαρμογή που μπορείτε να κάνετε λήψη, εγκατάσταση και εκτέλεση κανονικά. Εξαρτάται από άλλες εξαρτήσεις που πρέπει επίσης να εγκατασταθούν.
Για τα Windows, για να διατηρήσουμε αυτόν τον οδηγό απλό, θα χρησιμοποιήσουμε το ευρέως δημοφιλές Chocolatey για να εγκαταστήσουμε τα περισσότερα μέρη των απαραίτητων εφαρμογών. Δείτε τον οδηγό μας για Ο πιο γρήγορος τρόπος εγκατάστασης εφαρμογών των Windows Για περισσότερες πληροφορίες σχετικά με το Chocolatey.
Τόσο για Linux όσο και για Mac, η διαδικασία εγκατάστασης (εκτός από τη μεταβλητή διαδρομής των Windows και τα εύχρηστα αρχεία δέσμης που θα δημιουργήσουμε) θα πρέπει να είναι παρόμοια.
- Για να εγκαταστήσετε και να χρησιμοποιήσετε το Whisper, η Python και το εργαλείο PIP της πρέπει να εγκατασταθούν και να προστεθούν στη μεταβλητή "Διαδρομή" των Windows. Για πληροφορίες σχετικά με αυτό, ανατρέξτε στο άρθρο μας για Πώς να εγκαταστήσετε το Python PIP στα Windows و Mac και Linux.
- εγκαθιστώ FFMPEG Μέσω Chocolatey χρησιμοποιώντας αυτήν την εντολή:
εγκατάσταση ffmpeg από την Choco
- Επίσης, εγκαταστήστε την έκδοση Python με:
pip3 εγκατάσταση python-ffmpeg
- Τέλος, εγκαταστήστε το Whisper από τη σελίδα του Github με:
pip3 εγκατάσταση git+https://github.com/openai/whisper.git
Αποκτήστε μια έκδοση του Whisper με δυνατότητα CUDA
Αν και το Whisper δεν χρησιμοποιεί κυρίως GPU της Nvidia, το πακέτο Torch στο οποίο βασίζεται προσφέρει μια έκδοση με επιτάχυνση CUDA. Η χρήση του στη θέση της "κανονικής" έκδοσης του Whisper μπορεί να βοηθήσει τις μεταγραφές να ολοκληρωθούν πιο γρήγορα με τη βοήθεια μιας κάρτας γραφικών Nvidia.
Για το Whisper, το οποίο χρησιμοποιεί το CUDA της Nvidia:
- Εάν έχετε ήδη εγκαταστήσει την έκδοση "vanilla" του Torch, απεγκαταστήστε την και απαλλαγείτε από τα αρχεία που έχουν απομείνει χρησιμοποιώντας:
pip3 απεγκατάσταση torch
- Μόλις γίνει, ακολουθήστε το με την ακόλουθη εντολή:
εκκαθάριση προσωρινής μνήμης pip
- Εγκαταστήστε την έκδοση με δυνατότητα CUDA του Torch με την εντολή:
pip3 εγκατάσταση torch torchvision torchaudio — extra-index-url https://download.pytorch.org/whl/cu117
- Για να ελέγξετε εάν το Whisper μπορεί να χρησιμοποιήσει Nvidia GPU:
ψίθυρος — βοήθεια | findstr -i pytorch
Θα πρέπει να δείτε (προεπιλογή: cuda) αντί για (προεπιλογή: cpu). Επαληθεύω Ενίσχυση των λόγων για τους οποίους το ChatGPT δεν αναλαμβάνει τη δουλειά συγγραφής περιεχομένου.
Τι να κάνετε εάν το Torch δεν εγκατασταθεί
Εάν αντιμετωπίσετε ένα σφάλμα "Δεν βρέθηκε έκδοση" κατά την εγκατάσταση του Torch, ίσως χρειαστεί να εγκαταστήσετε μια παλαιότερη έκδοση της Python παράλληλα με την τρέχουσα έκδοση.
Χρησιμοποιήστε αυτήν την εντολή για να το κάνετε:
εγκατάσταση python choco — έκδοση OLDER_VERSION — δίπλα-δίπλα
Αντικαταστήστε το "OLDER_VERSION" με μια έκδοση όπως η 3.10.
Στη συνέχεια, χρησιμοποιήστε τη διαδρομή δευτερεύουσας έκδοσης για όλες τις "καθολικές" εντολές Whisper (π.χ., "c:\Python310\Scripts\pip.exeαντί για απλώς «κουκούτσι»).
Πώς να ηχογραφήσετε τη φωνή σας
Μπορείτε να χρησιμοποιήσετε οποιαδήποτε εφαρμογή εγγραφής ήχου για να μετατρέψετε τη φωνή σας σε αρχείο WAV ή MP3. Τα Windows περιλαμβάνουν μια τέτοια εφαρμογή—για περισσότερες πληροφορίες σχετικά με αυτήν, ανατρέξτε στην ενότητα Πώς να τη χρησιμοποιήσετε Εφαρμογή εγγραφής φωνής στα Windows 10.
Για μια πλήρη επιλογή, δοκιμάστε το Audacity. Μάθετε πώς να το κάνετε αυτό με τον οδηγό μας Πώς να χρησιμοποιήσετε το Audacity Για εγγραφή ήχου σε Windows και Mac.
Πώς να ξεκινήσετε να γράφετε με Whisper
Αν και το Whisper δεν συνοδεύεται από απλή γραφική διεπαφή χρήστη, η χρήση του είναι πολύ ομαλή.
Ας υποθέσουμε ότι έχουμε ένα αρχείο ελληνικής ομιλίας LatestNote.mp3, στον φάκελο c:\MyAudioFiles, και θέλουμε να το μεταφράσουμε στα αγγλικά και να το αντιγράψουμε σε ένα αρχείο κειμένου.
- Αρχίζουμε να τρέχουμε Γραμμή εντολών ή PowerShell.
- «Αλλάζουμε τον κατάλογο» όπου είναι αποθηκευμένο το αρχείο ήχου με αυτήν την εντολή:
cd C:\MyAudioFiles
- Εκτελούμε το Whisper στο αρχείο με:
ψίθυρος — βάση μοντέλου — γλώσσα ελληνικά — μετάφραση εργασιών LatestNote.mp3
Μετά την επεξεργασία, το αρχείο κειμένου (με το όνομα "LatestNote.mp3.txt") θα εμφανιστεί στον ίδιο φάκελο. Ανοίξτε το σε ένα πρόγραμμα επεξεργασίας κειμένου όπως το Σημειωματάριο για να προβάλετε το μεταφρασμένο κείμενο.
Χρησιμοποιήσαμε ένα παράδειγμα μετάφρασης επειδή η αγγλική μεταγραφή είναι πιο ξεκάθαρη: απλώς χρησιμοποιήστε τις ετικέτες "lose", " –language" και "-task". Έτσι, για απλή φωνητική μεταγραφή, η παραπάνω εντολή θα ήταν:
ψίθυρος — βάση μοντέλου LatestNote.mp3
Η ετικέτα "model" απαιτείται επειδή το Whisper χρησιμοποιεί μία από τις διαφορετικές επιλογές. Αφήστε μας να το επεκτείνουμε για να σας βοηθήσουμε να επιλέξετε το καλύτερο για τις ανάγκες σας. Επαληθεύω Τι είναι η λειτουργία φωνής; Ποιος είναι ο ρόλος του και πώς εργάζεστε σε αυτό;
Ποιο μοντέλο να επιλέξω;
Το Whisper προσφέρει διαφορετικά μοντέλα γλώσσας. Όσο μεγαλύτερο είναι το μοντέλο, τόσο μεγαλύτερη είναι η ακρίβειά του, αλλά και οι απαιτήσεις υλικού του. Το οποίο είναι:
- Μικρό.
- Βάση.
- Μικρό.
- Medium.
- Μεγάλο.
Οι μικροσκοπικές ή οι βασικές φόρμες θα πρέπει να είναι καλές για τους περισσότερους αγγλόφωνους. Οι μη μητρικοί ομιλητές της αγγλικής γλώσσας ενδέχεται να δουν καλύτερα αποτελέσματα με τα μεγαλύτερα μοντέλα, όπως το Medium και το Large.
Σημειώστε, ωστόσο, ότι τα μοντέλα Medium και Large απαιτούν περισσότερα από 8 GB VRAM (δηλ.μνήμη της GPU σας").
Για να επιλέξετε ένα από αυτά, καθορίστε το μοντέλο μετά το πλήκτρο « — μοντέλο» στην εντολή:
ψίθυρος — μοντέλο μικροσκοπικό/μικρό/μεσαίο/μεγάλο [αρχείο]
Για παράδειγμα:
ψίθυρος — μικρό μοντέλο My_Voice_Note.mp3
Πώς να απλοποιήσετε τη μεταγραφή
Το να χρειάζεται να πληκτρολογείτε ολόκληρη την εντολή Whisper κάθε φορά που θέλετε να μεταγράψετε κάποιο ήχο μπορεί να γίνει γρήγορα κουραστικό. Ας δημιουργήσουμε ένα αρχείο μαζικής πρόσβασης σε παγκόσμιο επίπεδο για να απλοποιήσουμε τη διαδικασία.
- Εκκινήστε την Εξερεύνηση των Windows και επισκεφτείτε τη μονάδα δίσκου C:.
- Δημιουργήστε ένα φάκελο για σενάρια και αντιγράψτε τη διαδρομή του στο πρόχειρο.
- Στο μενού Έναρξη των Windows, αναζητήστε και επιλέξτε Διαδρομή Τροποποίηση μεταβλητών περιβάλλοντος συστήματος.
- Ψάχνω Αλλαγή διαδρομής εντός μεταβλητών χρήστη για το YOUR_USERNAME. Κάντε διπλό κλικ πάνω του για να το τροποποιήσετε. Κάντε κλικ جديد και επικολλήστε τη διαδρομή στο φάκελο scripts σας. Κάντε κλικ στο OK για να αποδεχτείτε τις αλλαγές.
- Επιστρέψτε στο φάκελο scripts στην Εξερεύνηση των Windows. Δημιουργήστε ένα νέο αρχείο δέσμης εκεί με το όνομα "wht.bat". "Μέσα σε αυτό", προσθέστε αυτήν την εντολή:
ψίθυρος — μικροσκοπικό μοντέλο — γλώσσα στο %1
- Δημιουργήστε δύο ομαδικά αρχεία, "whs" και "whm".
- Προσθέστε αυτήν την εντολή μέσα στο πρώτο αρχείο:
ψίθυρος — μικρό μοντέλο — γλώσσα στο %1
- Προσθέστε αυτήν την εντολή μέσα στο δεύτερο αρχείο:
ψίθυρος — μέσο μοντέλου — γλώσσα στο %1
Συγχαρητήρια, έχετε τώρα τρία αρχεία για να χρησιμοποιήσετε εύκολα τα πρότυπα Whisper Small, Medium και Basic με τα αρχεία ήχου σας! Για να μετατρέψετε οποιοδήποτε αρχείο ήχου σε κείμενο:
- Εντοπίστε το αρχείο χρησιμοποιώντας την Εξερεύνηση αρχείων των Windows.
- Κάντε δεξί κλικ σε έναν κενό χώρο και επιλέξτε Άνοιγμα στο τερματικό.
- Πληκτρολογήστε αυτήν την εντολή, αντικαθιστώντας το "wht" με "whs" ή "whm" για να χρησιμοποιήσετε μικρές ή μεσαίες γλωσσικές φόρμες:
τι ΣΟΥ_ΤΟ_ΑΡΧΕΙΟ_ΗΧΟΥ.mp3
Γράψτε γρήγορα περιεχόμενο ήχου με το Whisper
Ακόμη και οι πιο γρήγοροι δακτυλογράφοι δεν μπορούν να ταιριάξουν με την ταχύτητα με την οποία μιλάμε. Ωστόσο, μέχρι πρόσφατα, η ομιλία και όχι η γραφή δεν ήταν βέλτιστη για τη δημιουργία εγγράφων.
Οι περισσότερες λύσεις ήχου σε κείμενο έχουν παράγει μέτρια αποτελέσματα. Θα μπορούσατε να βρείτε κάποιες λύσεις που άξιζε να δοκιμάσετε, αλλά ήταν είτε πολύ περίπλοκες στη χρήση είτε πολύ ακριβές. Ευτυχώς, ο Whisper τα άλλαξε όλα αυτά.
Μετά τα παραπάνω βήματα, θα πρέπει να είστε έτοιμοι να μεταγράψετε ή να μεταφράσετε τη φωνή σας σε υψηλή ευκρίνεια, με μία μόνο εντολή. Μπορείτε να δείτε τώρα Οι καλύτερες εφαρμογές φωνής σε κείμενο για λήψη σημειώσεων, συναντήσεις και διαλέξεις.
