Νόμιζα ότι χρειαζόμουν μια GPU για να τρέχω AI μέχρι που ανακάλυψα αυτά τα μοντέλα.

Αν έχετε πειραματιστεί ποτέ με native AI, στην πραγματικότητα δεν χρειάζεστε πλέον μια τεράστια κάρτα RTX για να ζήσετε την εμπειρία της AI—και μακάρι κάποιος να μου το είχε πει νωρίτερα. Για πολύ καιρό, υπέθετα ότι η εκτέλεση μοντέλων native AI απαιτούσε μια ισχυρή GPU, cloud computing ή και τα δύο.

Οποιοσδήποτε μπορεί να απολαύσει τα οφέλη ενός τοπικού Μοντέλου Μεγάλης Γλώσσας (LLM) χρησιμοποιώντας δωρεάν εφαρμογές.Αλλά τα μοντέλα είναι μια εντελώς διαφορετική έννοια. Έπειτα ανακάλυψα τα κβαντικά μοντέλα και ξαφνικά ο φορητός υπολογιστής παιχνιδιών μου ήταν υπεραρκετός για να τρέχει τοπικά εκπληκτικά ικανούς βοηθούς, χωρίς συνδρομές και χωρίς δεδομένα να βγαίνουν από τη συσκευή μου.

Χρειάζεστε πραγματικά μια γιγαντιαία μονάδα επεξεργασίας γραφικών (GPU) για να εκτελέσετε τεχνητή νοημοσύνη;

Η διαφορά μεταξύ εκπαίδευσης και συλλογισμού

Οι περισσότεροι από εμάς έχουμε κατανοήσει την ίδια ιδέα: αν θέλετε να χρησιμοποιήσετε σύγχρονα μοντέλα τεχνητής νοημοσύνης, είτε πληρώνετε για πρόσβαση στο cloud είτε ξοδεύετε μια περιουσία σε μια GPU υψηλής τεχνολογίας. Αυτή η ιδέα δεν είναι εντελώς αυθαίρετη —τα μεγάλα μοντέλα πλήρους ανάλυσης χρειάζονται πολλή VRAM— αλλά είναι ξεπερασμένη για τις περισσότερες πρακτικές περιπτώσεις χρήσης.

Αυτό που έχει αλλάξει είναι ότι τα μοντέλα έχουν γίνει μικρότερα και πιο αποτελεσματικά χωρίς να γίνουν άχρηστα παιχνίδια, και το λογισμικό γύρω από αυτά έχει εξελιχθεί. Τώρα μπορείτε να αποκτήσετε πραγματικά χρήσιμα μοντέλα στην περιοχή από 1 δισεκατομμύριο έως 9 δισεκατομμύρια παραμέτρους, σχεδιασμένα να λειτουργούν σε φορητούς και επιτραπέζιους υπολογιστές, όχι σε μηχανήματα κέντρων δεδομένων.

Η κβαντοποίηση προχωρά ακόμη περισσότερο, συρρικνώνοντας το μέγεθος αυτών των μοντέλων στη μνήμη, με εκπληκτικά μικρό αντίκτυπο στην ποιότητα των καθημερινών εργασιών, όπως η σύνταξη, ο προγραμματισμός και η λήψη σημειώσεων. Όταν συνδυάζετε μια μικρότερη, πιο έξυπνη αρχιτεκτονική με καλή κβαντοποίηση, το εμπόδιο εισόδου μειώνεται από έναν σταθμό εργασίας παιχνιδιών σε μια αξιοπρεπή CPU και αρκετή μνήμη RAM. Η συσκευή που ήδη έχετε ξαφνικά μετατρέπεται σε ένα πλήρως λειτουργικό κουτί τεχνητής νοημοσύνης.

Λάβετε υπόψη ότι αυτοί οι αριθμοί δεν αποτελούν απόλυτα όρια. Εάν έχετε επαρκή μνήμη RAM (16 GB ή περισσότερο), μια διαμόρφωση 3B έως 7B 4-bit είναι απολύτως εφικτή. 32 GB ή περισσότερο θα ανοίξει την πόρτα για διαμορφώσεις 7B έως 9B χωρίς κανένα πρόβλημα.

Τι κάνει στην πραγματικότητα η χειρουργική επέμβαση γαστρικού μανικιού;

Μειώστε το μέγεθος του μοντέλου χωρίς να το καταστρέψετε

Στον πυρήνα του, ένα γλωσσικό μοντέλο δεν είναι τίποτα περισσότερο από μια τεράστια στοίβα αριθμών που ονομάζονται βάρη. Παραδοσιακά, αυτοί οι αριθμοί αποθηκεύονται σε μορφές κινητής υποδιαστολής 16-bit ή 32-bit, κάτι που είναι εξαιρετικό για την ακρίβεια αλλά κακό για τη χρήση μνήμης. Εάν κάθε βάρη είναι ένας αριθμός υψηλής ακρίβειας και έχετε δισεκατομμύρια από αυτά, καταλήγετε με τυπικά αρχεία που ζυγίζουν αρκετά gigabyte και απαιτούν παρόμοια τεράστια αποτυπώματα VRAM ή RAM.

Η διαδικασία κβάντωσης βασίζεται σε ένα απλό ερώτημα: Χρειάζεστε πραγματικά τόση ακρίβεια για κάθε βάρος; Αντί να αποθηκεύετε κάθε αριθμό σε 16 bit, μπορείτε να τον αποθηκεύσετε σε 8 bit ή ακόμα και 4 bit. Αυτό από μόνο του μπορεί να μειώσει το μέγεθος του μοντέλου κατά το ήμισυ ή ακόμα και κατά 75 τοις εκατό, σε σύγκριση με τις μορφές υψηλότερης ακρίβειας.

Το έξυπνο είναι ότι τα σύγχρονα σχήματα κβαντοποίησης δεν στρογγυλοποιούν απλώς τα πάντα προς τα πάνω. Συνδυάζουν τεχνικές όπως μικτή ακρίβεια, κλιμάκωση ανά κανάλι και βελτιστοποίηση, έτσι ώστε το μοντέλο να διατηρεί το μεγαλύτερο μέρος της αρχικής του συμπεριφοράς. Σε δοκιμές και αξιολογήσεις συγκριτικής αξιολόγησης, οι καλά συντονισμένες παραλλαγές 4-bit και 8-bit συχνά παραμένουν εκπληκτικά κοντά στην προέλευσή τους πλήρους ακρίβειας, ενώ είναι σημαντικά ελαφρύτερες στη λειτουργία.

Στην πράξη, αυτό σημαίνει ότι το κβαντικό σας μοντέλο μπορεί ακόμα να γράφει καλά σχόλια κώδικα, να εξηγεί έννοιες και να συνθέτει καλογραμμένα email, αλλά τώρα χωράει άνετα στον δίσκο και στη μνήμη. Αντί να χρειάζεται μια GPU υψηλής τεχνολογίας με τεράστια VRAM, μπορεί να τοποθετηθεί στη μνήμη συστήματος ενός τυπικού επιτραπέζιου ή φορητού υπολογιστή και να ανταποκρίνεται με ταχύτητες απόκρισης.

Ναι, μπορείτε να εκτελέσετε αυτά τα μοντέλα στην CPU.

Μια GPU είναι καλή, αλλά όχι απαραίτητη.

Αν οι προσδοκίες σας είναι λογικές, μπορεί να μην χρειάζεστε καν GPU. Με τις βιβλιοθήκες συμπερασμάτων και τα backends τρέχουσας γενιάς, μπορείτε να εκτελέσετε κβαντικά μοντέλα εξ ολοκλήρου στην CPU, αρκεί να διαθέτετε έναν σύγχρονο πολυπύρηνο επεξεργαστή και μια λογική ποσότητα RAM. Μια τετραπύρηνη έως οκταπύρηνη CPU για επιτραπέζιους ή φορητούς υπολογιστές σε συνδυασμό με 16 GB RAM είναι αρκετή για να ξεκινήσετε με μικρότερα μοντέλα. Περισσότερη μνήμη RAM, όπως 32 GB ή μεγαλύτερη, θα σας δώσει ακόμη περισσότερο χώρο για να πειραματιστείτε με μεγαλύτερα μοντέλα.

Αυτά τα εργαλεία βασίζονται σε μεγάλο βαθμό σε βελτιστοποιήσεις χαμηλού επιπέδου. Χρησιμοποιούν κατευθυνόμενες οδηγίες, αποτελεσματική χαρτογράφηση μνήμης και πολυνηματοποίηση για να συμπιέσουν όσο το δυνατόν περισσότερη απόδοση CPU. Το αποτέλεσμα είναι ότι ένα μοντέλο 4-bit ή 8-bit μπορεί να κυμαίνεται από 3B έως 7B και να γίνει χρησιμοποιήσιμο σε ένα τυπικό μηχάνημα. Δεν θα μπορείτε να χειριστείτε μαζικές εργασίες, αλλά για ένα διαδραστικό παράθυρο συνομιλίας, έναν σύντροφο πληκτρολόγησης ή έναν βοηθό κωδικοποίησης, οι χρόνοι απόκρισης είναι απολύτως αποδεκτοί χωρίς να υπάρχει διαθέσιμη μια ειδική GPU.

Σε ποιες εργασίες υπερέχουν στην πραγματικότητα τα ποσοτικά μοντέλα;

Βοήθεια με τη συγγραφή, τη σύνοψη και τον προγραμματισμό σε τοπικό επίπεδο

Αν είστε εξοικειωμένοι με τα μοντέλα cloud GPT-4, είναι λογικό να αναρωτιέστε τι μπορούν ρεαλιστικά να χειριστούν αυτά τα μικρότερα, πιο συμπαγή κβαντικά μοντέλα. Η απάντηση είναι: πολύ περισσότερα από ό,τι θα περίμενε κανείς, ειδικά για στοχευμένες, καθημερινές εργασίες. Σε ένα μέτριο μηχάνημα, μπορούν εύκολα να χειριστούν οτιδήποτε, από τη συγγραφή και τον προγραμματισμό έως τη γενική συλλογιστική. Μπορούν να σκιαγραφήσουν αναρτήσεις ιστολογίου, να συντάξουν email, να ξαναγράψουν αδέξιες παραγράφους και να συνοψίσουν μακροσκελείς σημειώσεις ή έγγραφα. Μπορούν επίσης να σας καθοδηγήσουν σε μηνύματα σφάλματος, να προτείνουν αναδιάρθρωση για μικρές εργασίες και να δημιουργήσουν αποσπάσματα για πρωτοτυποποίηση ή διαμόρφωση. Με την έλευση του... Ενδιαφέροντες τρόποι χρήσης Τοπικών Μοντέλων Μεγάλης Γλώσσας (LLM) με εργαλεία MCPΟι δυνατότητες είναι απεριόριστες.

Μικρά αλλά έξυπνα, μοντέρνα μοντέλα όπως τα Llama 3.2 1B και 3B Instruct της Meta, το Phi-3.5 Mini της Microsoft και οι ρητά ενσωματωμένες παραλλαγές των Qwen και Gemma έχουν σχεδιαστεί για να διαπρέπουν σε αυτά τα σενάρια. Έχουν εκπαιδευτεί και ρυθμιστεί ώστε να είναι αποτελεσματικά, όχι μόνο μεγάλα, επομένως ξεπερνούν το μέγεθός τους όσον αφορά την ποσότητα. Δεν θα τα χρησιμοποιούσατε απαραίτητα για να δημιουργήσετε μια πλήρη ερευνητική έκθεση με άμεσες παραπομπές, αλλά για καθημερινές εργασίες και ανταλλαγή ιδεών, έχουν εκπληκτικά καλή απόδοση στο ίδιο επίπεδο με τα μεγαλύτερα αντίστοιχα μοντέλα.

Άρα, χρειάζεστε ακόμα μια μονάδα επεξεργασίας γραφικών (GPU);

Πότε έχει πραγματικά νόημα να έχεις μια μονάδα επεξεργασίας γραφικών (GPU);

Αν εκπαιδεύετε μεγάλα μοντέλα από την αρχή, ρυθμίζετε τεράστιες αρχιτεκτονικές σε κλίμακα ή προσπαθείτε να αξιοποιήσετε κάθε σημείο αναφοράς από ένα κορυφαίο μοντέλο, τότε ναι, μια ισχυρή GPU ή αρκετές GPU εξακολουθούν να είναι σημαντικές. Εκεί υπερέχουν οι GPU. Αλλά αν αυτό που πραγματικά θέλετε είναι ένας έξυπνος σύντροφος γραφής, ένας βοηθός κωδικοποίησης που κατανοεί το έργο σας ή ένα ιδιωτικό chatbot για καταιγισμό ιδεών, σχεδιασμό και μάθηση, τότε πιθανότατα δεν χρειάζεται να βιαστείτε να αγοράσετε την πιο πρόσφατη GPU ακόμα.

Ένα καλά επιλεγμένο κβαντικό μοντέλο που εκτελείται στην τρέχουσα συσκευή σας θα σας πάει πιο μακριά από ό,τι περιμένετε. Η πραγματική αλλαγή νοοτροπίας είναι η αποδοχή ότι η Τεχνητή Νοημοσύνη δεν χρειάζεται να ζει στο cloud ή σε ένα rack από GPU. Με την κβαντοποίηση και τη σωστή επιλογή μοντέλου, οποιαδήποτε σχετικά σύγχρονη συσκευή μπορεί να εκτελεί μοντέλα Τεχνητής Νοημοσύνης τοπικά με λογικό ρυθμό.