Η εκτέλεση μοντέλων AI εκτός σύνδεσης θα ήταν ιδανική, αλλά συνήθως απαιτεί ισχυρό και ακριβό υλικό. Ωστόσο, αυτό δεν συμβαίνει πάντα: το μοντέλο DeepSeek R1 προσφέρει μια πρακτική επιλογή για συσκευές με περιορισμένες δυνατότητες και είναι επίσης απίστευτα εύκολο στην εγκατάσταση.
Γρήγοροι σύνδεσμοι
Τι σημαίνει να τρέχεις τοπικά ένα chatbot AI;
Όταν χρησιμοποιείτε διαδικτυακά chatbot AI, όπως το ChatGPT, τα αιτήματά σας υποβάλλονται σε επεξεργασία στους διακομιστές του OpenAI, πράγμα που σημαίνει ότι η συσκευή σας δεν κάνει τα βαριά. Χρειάζεστε μια συνεχή σύνδεση στο Διαδίκτυο για να επικοινωνείτε με chatbots AI και δεν θα έχετε ποτέ τον πλήρη έλεγχο των δεδομένων σας. Τα μοντέλα μεγάλων γλωσσών που τροφοδοτούν τα chatbot AI, όπως τα ChatGPT, Gemini, Claude κ.λπ., έχουν πολύ υψηλές απαιτήσεις λειτουργίας λόγω της εξάρτησής τους από GPU με μεγάλη χωρητικότητα μνήμης βίντεο (VRAM). Για αυτόν τον λόγο, τα περισσότερα μοντέλα τεχνητής νοημοσύνης βασίζονται σε σύννεφο.
Το τοπικό chatbot AI εγκαθίσταται απευθείας στη συσκευή σας, όπως κάθε άλλο λογισμικό. Αυτό σημαίνει ότι δεν χρειάζεστε συνεχή σύνδεση στο Διαδίκτυο για να χρησιμοποιήσετε το AI chatbot και μπορείτε να στείλετε ένα αίτημα ανά πάσα στιγμή. Το DeepSeek-R1 είναι ένα μεγάλο μοντέλο μητρικής γλώσσας που μπορεί να εγκατασταθεί σε πολλές συσκευές. Το αποσταγμένο μοντέλο 7Β (επτά δισεκατομμύρια παράμετρος) είναι μια μικρότερη, βελτιστοποιημένη έκδοση που λειτουργεί καλά σε συσκευές μεσαίας εμβέλειας, επιτρέποντάς μου να δημιουργήσω αποκρίσεις τεχνητής νοημοσύνης χωρίς επεξεργασία cloud. Με απλά λόγια, αυτό σημαίνει ταχύτερες αποκρίσεις, καλύτερο απόρρητο και πλήρη έλεγχο των δεδομένων μου.
Πώς να εγκαταστήσετε το DeepSeek-R1 σε φορητό υπολογιστή
Η εκτέλεση του DeepSeek-R1 στη συσκευή σας είναι σχετικά απλή, αλλά έχετε κατά νου ότι χρησιμοποιείτε μια λιγότερο ισχυρή έκδοση του web-based AI chatbot από DeepSeek. Το chatbot AI του DeepSeek χρησιμοποιεί περίπου 671 δισεκατομμύρια παραμέτρους, ενώ περιέχει DeepSeek-R1 Σε περίπου 7 δισεκατομμύρια παραμέτρους.
Μπορείτε να κάνετε λήψη και να χρησιμοποιήσετε το DeepSeek-R1 στον υπολογιστή σας ακολουθώντας αυτά τα βήματα:
- Παω σε Ιστοσελίδα Olama Και κατεβάστε την πιο πρόσφατη έκδοση. Στη συνέχεια, εγκαταστήστε το στη συσκευή σας όπως κάθε άλλη εφαρμογή.
- Ανοίξτε το Terminal και πληκτρολογήστε την ακόλουθη εντολή:
olama run deepseek-r1:7b
Αυτό θα πραγματοποιήσει λήψη του μοντέλου DeepSeek-R1 7B στον υπολογιστή σας, επιτρέποντάς σας να εισάγετε ερωτήματα στο Terminal και να λαμβάνετε απαντήσεις. Εάν αντιμετωπίζετε προβλήματα απόδοσης ή σφάλματα, δοκιμάστε να χρησιμοποιήσετε ένα λιγότερο απαιτητικό μοντέλο αντικαθιστώντας 7b σι 1.5b Με την παραπάνω σειρά.
Παρόλο που το μοντέλο λειτουργεί καλά στο Terminal, εάν θέλετε ένα περιβάλλον χρήστη με πλήρεις δυνατότητες με σωστή μορφοποίηση κειμένου όπως το ChatGPT, μπορείτε επίσης να χρησιμοποιήσετε μια εφαρμογή όπως κουτί συνομιλίας.
Η τοπική εκτέλεση του DeepSeek δεν είναι ιδανική – αλλά λειτουργεί
Όπως αναφέρθηκε προηγουμένως, οι απαντήσεις δεν θα είναι τόσο καλές (ή γρήγορες!) όσο το διαδικτυακό chatbot του DeepSeek, καθώς χρησιμοποιεί ένα πιο ισχυρό μοντέλο και επεξεργάζεται τα πάντα στο cloud. Ας δούμε όμως πώς αποδίδουν τα μικρότερα μοντέλα.
Επίλυση μαθηματικών προβλημάτων
Για να δοκιμάσω την απόδοση του μοντέλου των 7 δισεκατομμυρίων παραγόντων, του έδωσα μια εξίσωση και του ζήτησα να λύσει το ολοκλήρωμά του. Ήμουν πολύ ευχαριστημένος με την απόδοσή του, ειδικά επειδή τα βασικά μοντέλα συχνά παλεύουν με τα μαθηματικά. Αυτό το πείραμα καταδεικνύει την ικανότητα μεγάλων γλωσσικών μοντέλων να χειρίζονται προβλήματα λογισμού, κάτι που υπόσχεται πολλά σε πεδία όπως η φυσική και η μηχανική.
Αυτό δεν είναι το πιο περίπλοκο ζήτημα, αλλά αυτό είναι ακριβώς που κάνει την εκτέλεση ενός τοπικού μοντέλου μεγάλης γλώσσας τόσο χρήσιμη. Πρόκειται για το να έχετε ένα άμεσα διαθέσιμο εργαλείο για να χειρίζεστε άμεσα απλά ερωτήματα αντί να βασίζεστε στο cloud για τα πάντα. Αυτή η προσέγγιση βελτιώνει την ταχύτητα απόκρισης και μειώνει την εξάρτηση από τη συνδεσιμότητα στο διαδίκτυο, κάτι που είναι κρίσιμο στις διαδραστικές εφαρμογές τεχνητής νοημοσύνης.
Διόρθωση σφαλμάτων στον κώδικα
Μία από τις καλύτερες χρήσεις της τοπικής εκτέλεσης του μοντέλου DeepSeek-R1 είναι η βοήθεια σε έργα τεχνητής νοημοσύνης. Είναι πολύ χρήσιμο, ειδικά όταν γράφω κώδικα σε αεροπλάνα όπου δεν υπάρχει πρόσβαση στο Διαδίκτυο και βασίζομαι σε μεγάλο βαθμό σε μοντέλα μεγάλων γλωσσών για τον εντοπισμό σφαλμάτων. Για να δοκιμάσω την αποτελεσματικότητά του, του παρείχα αυτόν τον κωδικό με ένα απλό, σκόπιμα σφάλμα που προστέθηκε.
Χειρίστηκε τον κώδικα εύκολα, αλλά πρέπει να σημειωθεί ότι τον χρησιμοποιούσα σε MacBook Air M1 με μόνο 8 GB ενοποιημένης μνήμης. (Η ενοποιημένη μνήμη είναι η κοινή μνήμη μεταξύ της CPU, της GPU και άλλων τμημάτων ενός συστήματος σε ένα chip.)
Με το IDE ανοιχτό και πολλές καρτέλες του προγράμματος περιήγησης ανοιχτές, η απόδοση του MacBook μου δέχτηκε μεγάλο χτύπημα – έπρεπε να κλείσω τα πάντα για να ανταποκριθεί ξανά. Εάν έχετε 16 GB μνήμης RAM ή ακόμα και GPU μεσαίας εμβέλειας, πιθανότατα δεν θα αντιμετωπίσετε αυτά τα προβλήματα.
Το έχω δοκιμάσει επίσης με μεγαλύτερες βάσεις κωδικών, αλλά κολλάει σε έναν βρόχο, επομένως δεν θα συνιστούσα να βασιστείτε σε αυτό ως πλήρη αντικατάσταση για πιο ισχυρά μοντέλα. Ωστόσο, εξακολουθεί να είναι χρήσιμο για τη γρήγορη δημιουργία μικρών αποσπασμάτων κώδικα.
Λύστε τους γρίφους
Ήμουν επίσης περίεργος να δω πόσο καλά το μοντέλο χειριζόταν παζλ και λογικούς συλλογισμούς, οπότε το δοκίμασα με ένα πρόβλημα: Monty Hall, το οποίο έλυσα εύκολα, αλλά άρχισα πραγματικά να εκτιμώ το DeepSeek για έναν άλλο λόγο.
Όπως φαίνεται στην εικόνα, δεν σας δίνει απλώς την απάντηση, σας καθοδηγεί σε όλη τη διαδικασία σκέψης, εξηγώντας πώς έφτασε στη λύση. Αυτό δείχνει ότι σκέφτεται το πρόβλημα αντί να ανακαλεί απλώς μια απομνημονευμένη απάντηση από τα δεδομένα εκπαίδευσης του. Αυτό δείχνει ότι το DeepSeek είναι σε θέση να επεξεργάζεται πληροφορίες και να συνάγει λύσεις με τρόπο που μιμείται την ανθρώπινη σκέψη, κάτι που αποτελεί σημαντικό βήμα στην ανάπτυξη μοντέλων τεχνητής νοημοσύνης.
Αναζητήσεις
Ένα από τα μεγαλύτερα μειονεκτήματα της λειτουργίας ενός μεγάλου γλωσσικού μοντέλου τοπικά είναι η ασυνέχεια γνώσης. Δεδομένου ότι δεν μπορεί να έχει πρόσβαση στο διαδίκτυο, η εύρεση αξιόπιστων πληροφοριών για πρόσφατα γεγονότα μπορεί να είναι δύσκολη. Αυτός ο περιορισμός ήταν εμφανής στις δοκιμές μου, αλλά χειροτέρεψε όταν ζήτησα μια σύντομη επισκόπηση του αρχικού iPhone - προκάλεσε μια ανακριβή και ακούσια αστεία απάντηση.
Προφανώς το πρώτο iPhone δεν κυκλοφόρησε με το iOS 5 και το ανύπαρκτο "iPhone 3" δεν έχει έρθει ακόμα. Έκανε σχεδόν τα πάντα λάθος. Το δοκίμασα με μερικές άλλες βασικές ερωτήσεις, αλλά η ανακρίβεια παρέμεινε.
بعد Παραβίαση δεδομένων DeepSeekΈνιωσα καθησυχασμένος γνωρίζοντας ότι θα μπορούσα να εκτελέσω αυτό το μοντέλο τοπικά χωρίς να ανησυχώ μήπως παραβιαστούν τα δεδομένα μου. Αν και δεν είναι τέλειο, το να έχετε έναν βοηθό AI εκτός σύνδεσης είναι ένα τεράστιο πλεονέκτημα. Θα ήθελα να δω περισσότερα μοντέλα όπως αυτό ενσωματωμένα σε καταναλωτικές συσκευές όπως smartphone, ειδικά μετά Η απογοήτευσή μου με την Apple Intelligence.
