Έχω ασχοληθεί πολύ με τη λειτουργία μοντέλων μεγάλων γλωσσών (LLM) σε τοπικό επίπεδο τελευταία, και αφού είδα όλα Ωραία πράγματα που μπορείτε να κάνετε με τα εργαλεία MCPΣυνειδητοποίησα ότι είχε έρθει η ώρα να αναβαθμίσω λίγο τις δικές μου ρυθμίσεις.
Αρχικά, ακολούθησα το φόρτε της διαφημιστικής εκστρατείας όταν κυκλοφόρησε το DeepSeek R1, αλλά από τότε έχουν εμφανιστεί πολλά νέα μοντέλα. Με το πόσο γρήγορα αλλάζουν όλα, σκέφτηκα ότι ήταν λογικό να βελτιστοποιήσω και τη ροή εργασίας μου.
Γρήγοροι σύνδεσμοι
Το LM Studio είναι η καλύτερη τοπική εφαρμογή LLM που έχω χρησιμοποιήσει (μέχρι στιγμής).
Το Ollama είναι καλό, αλλά εγώ το προτιμώ αυτό.
Ξεκίνησα να πειραματίζομαι με Τοπικά Μοντέλα Μεγάλης Γλώσσας (LLM) πέρυσι χρησιμοποιώντας το Ollama.Δούλεψε αρκετά καλά, αλλά το καημένο μου MacBook Air με μόνο 8GB RAM σίγουρα δεν είχε σχεδιαστεί για να χειρίζεται τέτοιου είδους φόρτο εργασίας. Ήθελα ακόμα να δοκιμάσω κάτι διαφορετικό, εν μέρει από περιέργεια και εν μέρει για να δω αν μπορούσα να έχω ακόμα μεγαλύτερη απόδοση από αυτό.
Γι' αυτό αποφάσισα να δοκιμάσω το LM Studio. Είναι μια εφαρμογή που σας επιτρέπει να κατεβάσετε και να εκτελέσετε μοντέλα μεγάλων γλωσσών (LLM) τοπικά στον υπολογιστή σας, και έχει επίσης ένα καθαρό περιβάλλον εργασίας χρήστη. Εφόσον χρησιμοποιώ Mac, η υποστήριξη MLX ήταν ζωτικής σημασίας για μένα. Αν δεν είστε εξοικειωμένοι, το MLX είναι το πλαίσιο μηχανικής μάθησης της Apple που έχει σχεδιαστεί ειδικά για την Apple Silicon.
Ουσιαστικά, επιτρέπει στα μοντέλα να λειτουργούν πιο αποτελεσματικά χρησιμοποιώντας τη μονάδα επεξεργασίας γραφικών (GPU). Ωστόσο, ήθελα να μετατρέψω αυτές τις λέξεις σε αριθμούς, γι' αυτό και συνέκρινα το Ollama με το LMStudio απευθείας, χρησιμοποιώντας το ίδιο μοντέλο.
Έπαιρνα μεγαλύτερο αριθμό συμβόλων ανά δευτερόλεπτο με το LM Studio, αλλά η διαφορά ήταν αρκετά μικρή ώστε να μην αλλάξει πραγματικά τη συνολική εμπειρία. Ωστόσο, θα έπαιρνα οποιαδήποτε επιπλέον απόδοση μπορούσα να έχω.
Ωστόσο, δεν νομίζω ότι έχει μεγάλη διαφορά αν θα επιλέξετε το Ollama ή το LM Studio, ειδικά επειδή και τα δύο βασίζονται σε παρόμοια βασικά πλαίσια για την εκτέλεση μοντέλων τοπικά.
Το κύριο παράπονό μου όταν ξεκίνησα ήταν η έλλειψη υποστήριξης πολυμέσων. Αλλά αυτό δεν αποτελεί πλέον πραγματικό πρόβλημα. Τόσο το Ollama όσο και το LM Studio υποστηρίζουν πλέον πρότυπα πολυμέσων και υπάρχουν μερικές ισχυρές επιλογές που μπορούν να χειριστούν καλά κείμενο και εικόνες σε τοπικές συσκευές.
Η επιλογή του σωστού μοντέλου μπορεί να είναι λίγο δύσκολη
Μπορεί να είναι ένα ακριβό χόμπι
Όταν εγκαθιστάτε για πρώτη φορά το LM Studio, το πρώτο πράγμα που θα πρέπει να κάνετε είναι να επιλέξετε ένα πρότυπο. Αυτό μπορεί να σας φανεί λίγο περίπλοκο αν είστε νέοι σε αυτό, καθώς δεν υπάρχει μία και απλή απάντηση "χρησιμοποιήστε αυτό το πρότυπο". Η σωστή επιλογή εξαρτάται πραγματικά από το υλικό σας.
Αν ανοίξετε το μενού Αναζήτηση Μοντέλου στο LM Studio, θα δείτε μια λίστα με τα πιο δημοφιλή μοντέλα. Ένας απλός τρόπος για να καταλάβετε πόσο σε ζήτηση είναι ένα μοντέλο είναι να δείτε τον αριθμό που βρίσκεται ακριβώς πριν από το γράμμα "B" στο όνομά του.
Το «B» αντιπροσωπεύει δισεκατομμύρια παραμέτρους. Γενικά, όσο υψηλότερος είναι αυτός ο αριθμός, τόσο πιο ισχυρό είναι το μοντέλο. Αυτό σημαίνει επίσης ότι θα απαιτήσει περισσότερους πόρους. Σε ένα Mac με 8GB VRAM, πιστεύω ότι ένα καλό εύρος από 3 έως 4 δισεκατομμύρια παραμέτρους είναι ένα καλό εύρος. Τα πράγματα μπορεί να γίνουν λίγο πιο περίπλοκα σε έναν υπολογιστή. Αντί για την κανονική μνήμη RAM του συστήματος, η ποσότητα VRAM που έχετε είναι αυτό που έχει μεγαλύτερη σημασία.
Αν έχετε 8GB VRAM, μπορείτε άνετα να πειραματιστείτε με μοντέλα που χρησιμοποιούν παραμέτρους 7B, ειδικά σε ελαφρύτερες κβαντικές διαμορφώσεις. Από την εμπειρία μου, η καλύτερη προσέγγιση είναι να ξεκινήσετε με ένα μικρότερο μοντέλο και να το αυξήσετε σταδιακά μέχρι να βρείτε αυτό που σας ταιριάζει.
Προσωπικά, με τράβηξε περισσότερο το μοντέλο Gemma 3 4B, το οποίο βασίζεται στα ίδια θεμέλια με τα μοντέλα Gemini της Google. Ωστόσο, θα συνιστούσα να δοκιμάσετε και τα μοντέλα Qwen. Ανάλογα με το τι κάνετε, μπορεί να σας ταιριάζει πολύ περισσότερο.
Μπορείτε ακόμη και να προσθέσετε αναζήτηση ιστού στο τοπικό σας LLM
Το DuckDuckGo έρχεται να σώσει
Ένα από τα μεγαλύτερα παράπονα που έχω δει σχετικά με τα native Large Language Models (LLM) είναι το πόσο περιορισμένα είναι σε σύγκριση με μοντέλα που βασίζονται στο cloud όπως το ChatGPT όσον αφορά την αναζήτηση στο web. Δεν είναι πολύ χρήσιμο να ρωτάμε για το τελευταίο iPhone και ο LLM να αρχίζει να μιλάει για το iPhone 14. Αυτός είναι ένας τομέας όπου τα μοντέλα που βασίζονται στο cloud ήταν ανώτερα.
Το LM Studio διαθέτει ενσωματωμένο σύστημα plugin και η προσθήκη αναζήτησης ιστού είναι απίστευτα απλή. Απλώς μεταβείτε στη διεύθυνση Σελίδα πρόσθετου DuckDuckGoΚαι καθορίστε Εκτέλεση στο LM Studio.
Μόλις ενεργοποιηθεί, όταν εκτελείτε μια φόρμα, θα δείτε μια επιλογή κάτω από το πλαίσιο συνομιλίας που θα σας ρωτάει εάν θέλετε να ενεργοποιήσετε το DuckDuckGo για το ερώτημά σας. Εάν την ενεργοποιήσετε, το LM Studio θα ανακτήσει ζωντανά αποτελέσματα αναζήτησης και θα τα τροφοδοτήσει στη φόρμα πριν δημιουργήσει μια απάντηση.
Αυτό δεν είναι το μόνο που μπορείτε να κάνετε με τα πρόσθετα. Η ομάδα του LM Studio έχει επίσης δημιουργήσει μερικά πολύ χρήσιμα. Για παράδειγμα, έχουν ένα πρόσθετο της Wikipedia που επιτρέπει στο μεγάλο γλωσσικό σας μοντέλο να διαβάζει και να αναζητά άρθρα από τη Wikipedia (φυσικά).
Υπάρχει επίσης το πρόσθετο JavaScript Sandbox, το οποίο μπορεί να είναι πολύ χρήσιμο αν ενδιαφέρεστε για τον κώδικα vibe και θέλετε να πάρετε γρήγορα μια γενική ιδέα για το τι έχει δημιουργηθεί. Αλλά δεν θα έλεγα ότι αξίζει τον κόπο να δημιουργήσετε κάτι έτοιμο για παραγωγή.
Ξεφορτωθείτε τις μεγάλες εταιρείες
Μπορείτε να ρυθμίσετε το LM Studio ώστε να έχετε πρόσβαση στο μεγάλο γλωσσικό σας μοντέλο από το τηλέφωνό σας, αλλά αν θέλετε να μεταφέρετε όλα τα συμπεράσματα απευθείας στο τηλέφωνό σας, αυτό είναι επίσης δυνατό. Εκτέλεση μικρότερων, μεγαλύτερων γλωσσικών μοντέλων σε τηλέφωνο AndroidΑν και δεν θα είναι τόσο ισχυρό όσο αυτό που θα έχετε σε ένα Mac.
Η βελτίωση αυτών των ελαφριών μοντέλων συνεχίζεται με ταχύ και εντυπωσιακό ρυθμό. Καθώς το κόστος υλικού αναμένεται να αυξηθεί, δεν θα με εξέπληττε αν εταιρείες όπως η OpenAI ή η Google αυξήσουν τις τιμές συνδρομής τους. Είναι καθησυχαστικό να υπάρχει μια ρύθμιση που δεν επηρεάζεται από τίποτα από αυτά.
