Τα περισσότερα από τα εργαλεία τεχνητής νοημοσύνης που χρησιμοποιούμε σήμερα λειτουργούν σε cloud computing, πράγμα που σημαίνει ότι απαιτούν συνεχή σύνδεση στο διαδίκτυο. Ενώ υπάρχουν επιλογές για την τοπική εκτέλεση εργαλείων τεχνητής νοημοσύνης στις συσκευές μας, η κοινή πεποίθηση είναι ότι για να γίνει αυτό απαιτείται ισχυρό και ακριβό υλικό.
Αυτό σκεφτόμουν κι εγώ, μέχρι που αποφάσισα να δοκιμάσω μερικά από τα εγγενή εργαλεία τεχνητής νοημοσύνης σε ένα σχετικά παλιό μηχάνημα—μια κάρτα γραφικών GTX 1070 που υπάρχει εδώ και σχεδόν μια δεκαετία—και ανακάλυψα ότι είναι όντως δυνατό και αποτελεσματικό. Αυτό το πείραμα άνοιξε την πόρτα σε νέες δυνατότητες χρήσης της τεχνητής νοημοσύνης ακόμη και σε συσκευές με μέτριες προδιαγραφές, καθιστώντας αυτήν την τεχνολογία προσβάσιμη σε ένα ευρύτερο φάσμα χρηστών.
Γρήγοροι σύνδεσμοι
Γιατί χρειάζεται να χρησιμοποιήσετε ένα τοπικό chatbot τεχνητής νοημοσύνης;
Έχω χρησιμοποιήσει αμέτρητα chatbot με τεχνητή νοημοσύνη στο διαδίκτυο, όπως τα ChatGPT, Gemini, Claude και άλλα. Λειτουργούν άψογα. Αλλά τι γίνεται με εκείνες τις φορές που δεν έχετε σύνδεση στο διαδίκτυο και εξακολουθείτε να θέλετε να χρησιμοποιήσετε ένα chatbot με τεχνητή νοημοσύνη; Ή αν θέλετε να εργαστείτε σε κάτι πολύ ιδιωτικό ή σε πληροφορίες που δεν μπορούν να αποκαλυφθούν για επαγγελματικούς λόγους ή για οποιονδήποτε άλλο λόγο;
Αυτό συμβαίνει όταν χρειάζεστε ένα τοπικό, εκτός σύνδεσης μεγάλο μοντέλο γλώσσας (LLM) που διατηρεί όλες τις συνομιλίες και τα δεδομένα σας στη συσκευή σας. Τοπικό chatbot τεχνητής νοημοσύνης Αξιοποιώντας τη δύναμη της τεχνητής νοημοσύνης χωρίς να βασίζεστε σε σύνδεση στο διαδίκτυο.
Λαμβάνεται υπόψη το απόρρητο Ένας από τους κύριους λόγους για τη χρήση ενός μεγάλου τοπικού γλωσσικού μοντέλου είναιΥπάρχουν όμως και άλλοι λόγοι, όπως η αποφυγή λογοκρισίας, η χρήση εκτός σύνδεσης, η εξοικονόμηση κόστους, η προσαρμογή κ.λπ. Σας παρέχει Τοπικό Chatbot Τεχνητής Νοημοσύνης Πλήρης έλεγχος των δεδομένων σας, διασφαλίζοντας ότι οι ευαίσθητες πληροφορίες σας παραμένουν ασφαλείς.
Τι είναι τα κβαντισμένα μεγάλα γλωσσικά μοντέλα (Κβαντισμένα LLM);
Το υλικό αποτελεί τη μεγαλύτερη πρόκληση για τους περισσότερους ανθρώπους που θέλουν να χρησιμοποιούν μεγάλα γλωσσικά μοντέλα (LLM) επί τόπου. Τα πιο ισχυρά μοντέλα τεχνητής νοημοσύνης απαιτούν ισχυρό υλικό για την εκτέλεσή τους. Εκτός από την ευκολία χρήσης, οι περιορισμοί υλικού είναι ένας ακόμη λόγος για τον οποίο τα περισσότερα chatbot που υποστηρίζονται από τεχνητή νοημοσύνη βασίζονται στο cloud computing.
Οι περιορισμοί υλικού είναι ένας από τους λόγους που νόμιζα ότι δεν θα μπορούσα να εκτελέσω ένα μεγάλο μοντέλο γλώσσας (LLM) εγγενώς. Έχω έναν αρκετά μέτριο υπολογιστή αυτές τις μέρες, με επεξεργαστή AMD Ryzen 5800x (κυκλοφόρησε το 2020), 32GB μνήμης DDR4 RAM και GPU GTX 1070 (κυκλοφόρησε το 2016). Έτσι, δεν είναι κορυφαίας ποιότητας υλικό, αλλά λαμβάνοντας υπόψη το πόσο λίγο παίζω παιχνίδια αυτές τις μέρες (και όταν το κάνω, επιλέγω... Παλαιότερα, λιγότερο απαιτητικά σε πόρους ανεξάρτητα παιχνίδια) και το υψηλό κόστος των σύγχρονων GPU, είμαι ευχαριστημένος με αυτό που έχω.
Ωστόσο, αποδεικνύεται ότι δεν χρειάζεστε το πιο ισχυρό μοντέλο τεχνητής νοημοσύνης. Κβαντισμένα Μεγάλα Γλωσσικά Μοντέλα (Κβαντισμένα Μεταπτυχιακά Νομικής) Πρόκειται για μοντέλα τεχνητής νοημοσύνης που έχουν γίνει μικρότερα και ταχύτερα απλοποιώντας τα δεδομένα που χρησιμοποιούν, συγκεκριμένα τους αριθμούς με υποδιαστολή.
Η Τεχνητή Νοημοσύνη συνήθως λειτουργεί με αριθμούς υψηλής ακρίβειας (όπως δεκαδικά ψηφία 32-bit), οι οποίοι καταναλώνουν σημαντικά ποσά μνήμης και επεξεργαστικής ισχύος. Η κβαντοποίηση μειώνει αυτούς τους αριθμούς σε αριθμούς χαμηλότερης ακρίβειας (όπως ακέραιους αριθμούς 8-bit) χωρίς να αλλάζει σημαντικά τη συμπεριφορά του μοντέλου. Αυτό σημαίνει ότι το μοντέλο λειτουργεί πιο γρήγορα, χρησιμοποιεί λιγότερο χώρο αποθήκευσης και μπορεί να εκτελεστεί σε μικρότερες συσκευές (όπως smartphone ή περιφερειακό υλικό), αν και μερικές φορές με μια μικρή απώλεια ακρίβειας.
Αυτό σημαίνει ότι ενώ το παλιό μου υλικό σίγουρα θα δυσκολευόταν να εκτελέσει ένα μεγάλο μοντέλο γλώσσας (LLM) τόσο ισχυρό όσο το Llama 3.1 με 205 δισεκατομμύρια παραμέτρους, θα μπορούσε να εκτελέσει το μικρότερο κβαντικό μοντέλο 8B.
Και όταν Ανακοινώθηκε το OpenAI Για τα πρώτα μου πλήρως κβαντισμένα μοντέλα ανοιχτού βάρους με συμπερασμό, σκέφτηκα ότι είχε έρθει η ώρα να δω πόσο καλά λειτουργούσαν στο παλιό μου υλικό.
Πώς μπορώ να χρησιμοποιήσω ένα μεγάλο μοντέλο γλώσσας (LLM) τοπικά με μια κάρτα γραφικών Nvidia GTX 1070 και LM Studio;
Θα ήθελα να ξεκινήσω αυτήν την ενότητα επισημαίνοντας ότι δεν είμαι ειδικός σε τοπικά μοντέλα μεγάλων γλωσσών (LLM), ούτε στο λογισμικό που χρησιμοποίησα για να εκτελέσω αυτό το έξυπνο μοντέλο στον υπολογιστή μου. Αυτό που θα παρουσιάσω εδώ είναι απλώς μια περιγραφή του τι έκανα για να εκτελέσω ένα έξυπνο chatbot τοπικά στην κάρτα γραφικών GTX 1070 μου, καθώς και μια αξιολόγηση της αποτελεσματικότητας αυτής της λύσης. Στόχος είναι να δείξω πώς μπορείτε να αξιοποιήσετε τη διαθέσιμη υπολογιστική σας ισχύ για να εκτελέσετε προηγμένα μοντέλα AI χωρίς να χρειάζεται να βασίζεστε σε υπηρεσίες cloud.
Λήψη LM Studio
Για να εκτελέσετε ένα μεγάλο γλωσσικό μοντέλο (LLM) τοπικά, χρειάζεστε εξειδικευμένο λογισμικό. Συγκεκριμένα, ένα πρόγραμμα LM Studio, ένα δωρεάν εργαλείο που σας επιτρέπει να κατεβάσετε και να εκτελέσετε μοντέλα LLM τοπικά στη συσκευή σας. Μεταβείτε στην αρχική σελίδα του LM Studio και επιλέξτε Λήψη για [λειτουργικό σύστημα] (Χρησιμοποιώ Windows 10.) Το LM Studio είναι μια ιδανική πλατφόρμα για προγραμματιστές και ερευνητές που θέλουν να πειραματιστούν με διαφορετικά μεγάλα γλωσσικά μοντέλα και να αξιολογήσουν την απόδοσή τους στους προσωπικούς τους υπολογιστές πριν τα αναπτύξουν.
Αυτή είναι μια τυπική διαδικασία εγκατάστασης των Windows. Εκτελέστε το πρόγραμμα εγκατάστασης, ολοκληρώστε την εγκατάσταση και, στη συνέχεια, εκκινήστε το LM Studio. Συνιστώ να επιλέξετε το Χρήστης ρεύματος Επειδή αποκαλύπτει ορισμένες χρήσιμες επιλογές που ίσως θέλετε να εξερευνήσετε. Αυτή η επιλογή παρέχει μεγαλύτερο έλεγχο στις ρυθμίσεις του προγράμματος και προηγμένες επιλογές για την προσαρμογή της εμπειρίας χρήσης μοντέλων LLM. Με το LM Studio, μπορείτε να εξερευνήσετε τον κόσμο των μεγάλων μοντέλων γλώσσας εύκολα και αποτελεσματικά.
Κατεβάστε το πρώτο σας τοπικό μοντέλο τεχνητής νοημοσύνης
Μετά την εγκατάσταση, μπορείτε να φορτώσετε το πρώτο σας μεγάλο μοντέλο γλώσσας (LLM). Επιλέξτε την καρτέλα Ανακαλύψτε (Εικονίδιο μεγεθυντικού φακού). Το LM Studio εμφανίζει εύκολα τα εγγενή μοντέλα τεχνητής νοημοσύνης που θα λειτουργήσουν καλύτερα στη συσκευή σας.
Στην περίπτωσή μου, προτείνει τη λήψη ενός προτύπου με το όνομα Qwen 3-4b-σκέψη-2507Το όνομα του μοντέλου είναι Qwen (Αναπτύχθηκε από τον κινεζικό τεχνολογικό γίγαντα Alibaba), η οποία είναι η τρίτη έκδοση αυτού του μοντέλου. Η τιμή "4b" σημαίνει ότι αυτό το μοντέλο έχει τέσσερα δισεκατομμύρια παραμέτρους που μπορεί να χρησιμοποιήσει για να σας απαντήσει, ενώ η τιμή "σκέψη" σημαίνει ότι αυτό το μοντέλο θα αφιερώσει χρόνο για να σκεφτεί την απάντησή του πριν απαντήσει. Τέλος, η τιμή 2507 είναι η τελευταία φορά που ενημερώθηκε αυτό το μοντέλο, στις 25 Ιουλίου.
Το Qwen3-4b-thinking έχει μέγεθος μόνο 2.5 GB, επομένως δεν θα χρειαστεί πολύς χρόνος για να το κατεβάσετε. Επίσης, προηγουμένως είχα κατεβάσει το OpenAI/gpt-oss-20b, το οποίο είναι μεγαλύτερο στα 12.11 GB. Διαθέτει επίσης 20 δισεκατομμύρια παραμέτρους, επομένως θα πρέπει να παρέχει "καλύτερες" απαντήσεις, αν και θα έχει υψηλότερο κόστος πόρων.
Τώρα, εκτός από Οι πολυπλοκότητες της ονομασίας μοντέλων τεχνητής νοημοσύνηςΜόλις κατεβάσετε το LLM, είστε σχεδόν έτοιμοι να αρχίσετε να το χρησιμοποιείτε.
Πριν εκτελέσετε το μοντέλο AI, μεταβείτε στην καρτέλα υλικού Βεβαιωθείτε ότι το LM Studio αναγνωρίζει σωστά το σύστημά σας. Μπορείτε επίσης να κάνετε κύλιση προς τα κάτω και να προσαρμόσετε Γκαράζ Εδώ. Έχω ρυθμίσει τα τείχη προστασίας στον υπολογιστή μου σε ισορροπημένη, αποτρέποντας οποιοδήποτε μοντέλο τεχνητής νοημοσύνης από το να καταναλώνει πάρα πολλούς πόρους, κάτι που θα μπορούσε να προκαλέσει υπερφόρτωση του συστήματος.
Θα παρατηρήσετε επίσης Παρακολούθηση πόρων Κάτω από τα Guardrails. Αυτός είναι ένας εύκολος τρόπος για να δείτε πόση χρήση συστήματος καταναλώνει το μοντέλο AI σας. Αξίζει να το παρακολουθείτε αν χρησιμοποιείτε αρκετά περιορισμένο υλικό όπως εγώ, επειδή δεν θέλετε το σύστημά σας να παρουσιάζει απροσδόκητη διακοπή λειτουργίας.
Ανεβάστε το μοντέλο τεχνητής νοημοσύνης σας και ξεκινήστε να το χρησιμοποιείτε.
Είστε πλέον έτοιμοι να ξεκινήσετε να χρησιμοποιείτε το chatbot τεχνητής νοημοσύνης σας τοπικά στη συσκευή σας. Στο LM Studio, επιλέξτε την επάνω γραμμή, η οποία λειτουργεί ως εργαλείο αναζήτησης. Η επιλογή του ονόματος της τεχνητής νοημοσύνης θα φορτώσει το μοντέλο τεχνητής νοημοσύνης στη μνήμη του υπολογιστή σας και μπορείτε να ξεκινήσετε να εισάγετε εντολές και ερωτήσεις. Αυτή η διαδικασία είναι απαραίτητη για να ενεργοποιήσετε τις δυνατότητες του μεγάλου γλωσσικού μοντέλου (LLM) απευθείας στη συσκευή σας, επιτρέποντάς σας να βιώσετε την τεχνητή νοημοσύνη διαδραστικά και γρήγορα χωρίς να χρειάζεστε συνεχή σύνδεση στο διαδίκτυο. Να θυμάστε ότι η απόδοση του μοντέλου εξαρτάται από τις προδιαγραφές της συσκευής σας, οπότε βεβαιωθείτε ότι έχετε επαρκείς πόρους για να εκτελέσετε αποτελεσματικά το μοντέλο τεχνητής νοημοσύνης σας.
Εκτέλεση ενός μοντέλου AI τοπικά σε παλαιότερο υλικό: εξαιρετικό, αλλά με περιορισμούς
Η τοπική εκτέλεση ενός μοντέλου τεχνητής νοημοσύνης σάς επιτρέπει να επωφεληθείτε από αυτό με τον συνήθη τρόπο, αλλά θα πρέπει να γνωρίζετε ορισμένους σημαντικούς περιορισμούς. Αυτά τα τοπικά μοντέλα, αν και χρήσιμα, δεν είναι τόσο ισχυρά όσο τα πιο σύγχρονα μοντέλα όπως το GPT-5 που χρησιμοποιούνται στο ChatGPT. Επιπλέον, θα παρατηρήσετε ότι η διαδικασία σκέψης και απόκρισης διαρκεί πολύ περισσότερο και η ποιότητα των απαντήσεων μπορεί να διαφέρει σημαντικά.
Για να το δείξω, δοκίμασα ένα κλασικό μοντέλο μεγάλης γλώσσας (LLM) τόσο στο Qwen όσο και στο gpt-oss, και και τα δύο κατάφεραν να ολοκληρώσουν την εργασία, αν και μετά από μεγάλη αναμονή. Αυτό καταδεικνύει ότι η χρήση ενός εγγενούς μοντέλου τεχνητής νοημοσύνης σε ένα παλαιότερο μηχάνημα μπορεί να είναι μια πρακτική λύση, αλλά απαιτεί υπομονή και κατανόηση των περιορισμών του παλαιότερου υλικού.
Ο Άλεν, ο Μπομπ, ο Κόλιν, ο Ντέιβ και η Έμιλι στέκονται σε κύκλο. Ο Άλεν είναι ακριβώς αριστερά του Μπομπ. Ο Μπομπ είναι ακριβώς αριστερά του Κόλιν. Ο Κόλιν είναι ακριβώς αριστερά του Ντέιβ. Ο Ντέιβ είναι ακριβώς αριστερά της Έμιλι. Ποιος είναι ακριβώς δεξιά του Άλεν;
Ο Qwen χρειάστηκε 5 λεπτά και 11 δευτερόλεπτα για να καταλήξει στο σωστό συμπέρασμα. Το GPT-5 χρειάστηκε μόνο περίπου 45 δευτερόλεπτα. Ποιος όμως ξεπέρασε τους υπόλοιπους; Το gpt-oss-20b με χρόνο ρεκόρ 31 δευτερολέπτων.
Ένα τεστ δεν είναι αρκετό, οπότε το δοκίμασα σε ένα άλλο παζλ που σχεδιάστηκε για να δοκιμάσει τις δεξιότητες συλλογισμού με τεχνητή νοημοσύνη. Σε ένα προηγούμενο τεστ, το τελευταίο μοντέλο του OpenAI, το GPT-5, απέτυχε σε αυτό το τεστ, οπότε ήμουν ανυπόμονος να δω πώς θα το χειρίζονταν οι offline εκδόσεις του Qwen και του gpt-oss.
Ανάλυση της απόδοσης μοντέλων τεχνητής νοημοσύνης στην επίλυση λογικών προβλημάτων
Η ικανότητα επίλυσης λογικών προβλημάτων αποτελεί πραγματική πρόκληση για τα μοντέλα Τεχνητής Νοημοσύνης. Το παραπάνω παράδειγμα, το οποίο περιλαμβάνει τον εντοπισμό χωρικών σχέσεων μεταξύ μιας ομάδας ανθρώπων, καταδεικνύει πόσο μεταβλητή μπορεί να είναι η απόδοση αυτών των μοντέλων.
Χωρικές Σχέσεις και οι Προκλήσεις της Τεχνητής Νοημοσύνης
Η επεξεργασία χωρικών σχέσεων αποτελεί θεμελιώδες μέρος της τεχνητής νοημοσύνης, απαιτώντας άριστη κατανόηση της γλώσσας και την ικανότητα λογικής συλλογιστικής. Το προηγούμενο παράδειγμα καταδεικνύει ότι ορισμένα μοντέλα, όπως το gpt-oss-20b, υπερέχουν σε αυτό το έργο, ενώ άλλα, όπως το Qwen και το GPT-5, χρειάζονται περισσότερο χρόνο για να καταλήξουν στη σωστή λύση.
Η σημασία διαφόρων τεστ για την αξιολόγηση της τεχνητής νοημοσύνης
Δεν μπορεί να βασιστεί κανείς σε καμία μεμονωμένη δοκιμή για την ολοκληρωμένη αξιολόγηση των δυνατοτήτων της Τεχνητής Νοημοσύνης. Είναι απαραίτητο να διεξάγεται μια ποικιλία δοκιμών που να καλύπτουν διαφορετικές πτυχές της νοημοσύνης, όπως η λογική σκέψη, η κατανόηση γλώσσας και η επίλυση σύνθετων προβλημάτων. Αυτό επιτρέπει μια πιο ακριβή αξιολόγηση των δυνατοτήτων και των περιορισμών κάθε μοντέλου.
Φανταστείτε ότι παίζετε ρωσική ρουλέτα με ένα πιστόλι έξι βολών. Ο αντίπαλός σας γεμίζει πέντε σφαίρες, περιστρέφει το τύμπανο και μετά πυροβολεί τον εαυτό του. Το "Τικ" σημαίνει άδειο. Στη συνέχεια, σας προσφέρει μια επιλογή: Θέλετε να περιστρέψετε ξανά το τύμπανο πριν σας πυροβολήσει ή όχι; Τι επιλέγετε;
Το μοντέλο Qwen μπόρεσε να δώσει τη σωστή απάντηση σε 41 λεπτό και 5 δευτερόλεπτα, που είναι ένας πολύ καλός χρόνος (λαμβάνοντας υπόψη τους περιορισμούς του υλικού). Παραδόξως, ωστόσο, το GPT-20 δεν κατάφερε να λύσει αυτό το πρόβλημα, κάτι που είναι πραγματικά εκπληκτικό. Προσφέρθηκε μάλιστα να μου παράσχει ένα διάγραμμα που να δείχνει γιατί ήταν σωστό. Για άλλη μια φορά, το gpt-oss-9b έδωσε τη σωστή απάντηση σε μόλις XNUMX δευτερόλεπτα.
Και σε άλλους τομείς, είδα άμεση επιτυχία. Ζήτησα από το gpt-oss να μου «γράψει ένα παιχνίδι snake χρησιμοποιώντας το pygame» και μέσα σε ένα ή δύο λεπτά, είχα ένα πλήρως λειτουργικό παιχνίδι snake. Αυτό καταδεικνύει την ικανότητα του μοντέλου να δημιουργεί αποτελεσματικά παιχνίδια.
Εκτέλεση μοντέλου τεχνητής νοημοσύνης στις παλιές σας συσκευές
Το κλειδί για την εκτέλεση ενός μεγάλου μοντέλου γλώσσας (LLM) εγγενώς σε παλαιότερο υλικό είναι η επιλογή του σωστού μοντέλου AI για τις δυνατότητες του υλικού σας. Ενώ η έκδοση Qwen είχε καλή απόδοση και ήταν η καλύτερη επιλογή στο LM Studio, το μοντέλο gpt-oss-20b του OpenAI είναι σαφώς μια πολύ ανώτερη επιλογή.
Αλλά είναι σημαντικό να εξισορροπήσετε τις προσδοκίες σας. Ενώ το gpt-oss απάντησε στις ερωτήσεις με ακρίβεια (και πιο γρήγορα από το GPT-5), δεν θα μπορέσω να του δώσω τεράστια ποσότητα δεδομένων για επεξεργασία. Οι περιορισμοί του υλικού μου θα γίνουν γρήγορα εμφανείς.
Πριν το δοκιμάσω, ήμουν πεπεισμένος ότι η λειτουργία ενός native AI chatbot στο παλαιότερο υλικό μου ήταν αδύνατη. Αλλά χάρη στα κβαντικά μοντέλα και εργαλεία όπως το LM Studio, δεν είναι μόνο δυνατή, αλλά και εκπληκτικά χρήσιμη.
Ωστόσο, δεν θα έχετε την ίδια ταχύτητα, ακρίβεια ή βάθος συλλογισμού όπως θα έχετε από κάτι σαν το GPT-5 στο cloud. Η τοπική εκτέλεση συνεπάγεται συμβιβασμούς: Αποκτάτε απόρρητο, πρόσβαση εκτός σύνδεσης και έλεγχο των δεδομένων σας, αλλά θυσιάζετε μέρος της απόδοσης.
Ωστόσο, το γεγονός ότι μια GPU επτά ετών και μια CPU τεσσάρων ετών μπορούν να διαχειριστούν έστω και λίγο τη σύγχρονη Τεχνητή Νοημοσύνη είναι πολύ συναρπαστικό. Αν διστάζετε επειδή δεν διαθέτετε υλικό υψηλής τεχνολογίας, μην ανησυχείτε - τα τοπικά κβαντικά μοντέλα μπορεί να είναι ο δρόμος σας προς την Τεχνητή Νοημοσύνη εκτός σύνδεσης. Χρησιμοποιήστε το σωστό μοντέλο Τεχνητής Νοημοσύνης για να αξιοποιήσετε στο έπακρο το παλαιότερο υλικό σας.
