Εκτέλεση τοπικού μοντέλου DeepSeek R1: Ένας ολοκληρωμένος οδηγός για Windows, macOS, Android και iOS

Περίληψη:

    • Εάν έχετε προβλήματα απορρήτου, μπορείτε να εκτελέσετε το μοντέλο DeepSeek R1 τοπικά στον υπολογιστή σας με Windows, macOS, Android ή iOS.
    • Μπορείτε να εγκαταστήσετε το LM Studio για να εκτελέσετε το ειδικά αποσταγμένο μοντέλο DeepSeek R1 7B, αλλά η συσκευή σας πρέπει να έχει 8 GB μνήμης RAM.
    • Διαφορετικά, μπορείτε να εγκαταστήσετε το Olama και να ξεκινήσετε με τα αποσταγμένα μοντέλα DeepSeek R1. Προσφέρει ακόμη και ένα μικρό μοντέλο με 1.5 δισεκατομμύρια παραμέτρους.
    • Μπορείτε να εκτελέσετε το DeepSeek R1 εγγενώς σε Android και iOS χρησιμοποιώντας τη δωρεάν εφαρμογή PocketPal AI.

Το μοντέλο DeepSeek R1 από μια κινεζική ομάδα έχει κάνει πάταγο στον κλάδο της τεχνητής νοημοσύνης. Έχει ξεπεράσει το ChatGPT και βρίσκεται στην κορυφή της λίστας του App Store των ΗΠΑ. Όχι μόνο αυτό, το DeepSeek συγκλονίζει την αγορά τεχνολογίας των ΗΠΑ με το κορυφαίο μοντέλο R1, το οποίο ισχυρίζεται ότι είναι στο ίδιο επίπεδο με το ChatGPT. Ενώ μπορείτε να αποκτήσετε δωρεάν πρόσβαση στο DeepSeek R1 στον επίσημο ιστότοπο του, πολλοί χρήστες έχουν ανησυχίες σχετικά με το απόρρητο καθώς τα δεδομένα αποθηκεύονται στην Κίνα. Έτσι, εάν θέλετε να εκτελέσετε το DeepSeek R1 τοπικά στον υπολογιστή ή στο macOS σας, μπορείτε να το κάνετε εύκολα χρησιμοποιώντας το LM Studio και το Ollama. Ακολουθεί ένας οδηγός βήμα προς βήμα για να ξεκινήσετε.

Τοπικές απαιτήσεις λειτουργίας DeepSeek R1

Για να εκτελέσετε το μοντέλο DeepSeek R1 εγγενώς σε υπολογιστή, macOS ή σύστημα Linux, η συσκευή σας πρέπει να έχει τουλάχιστον 8 GB μνήμης RAM. Με 8 GB μνήμης, μπορείτε να εκτελέσετε το μικρό μοντέλο DeepSeek R1 1.5 δισεκατομμυρίων παραμέτρων αρκετά αποτελεσματικά, παρέχοντας εξόδους με περίπου 13 σύμβολα ανά δευτερόλεπτο. Μπορείτε επίσης να εκτελέσετε ένα μοντέλο 7 δισεκατομμυρίων παραμέτρων, αλλά θα καταναλώσει περίπου 4 GB μνήμης, γεγονός που μπορεί να κάνει το σύστημά σας λίγο λιγότερο απόκριση.

Με περισσότερη διαθέσιμη μνήμη, μπορείτε να εκτελέσετε 14 δισεκατομμύρια, 32 δισεκατομμύρια και 70 δισεκατομμύρια μοντέλα παραμέτρων, αλλά θα χρειαστείτε ταχύτερη CPU και GPU. Επί του παρόντος, το μεγαλύτερο μέρος του λογισμικού δεν χρησιμοποιεί μονάδα νευρωνικής επεξεργασίας (NPU) για την εκτέλεση εγγενών μοντέλων AI. Αντίθετα, βασίζεται κυρίως στην CPU και σε ορισμένες περιπτώσεις (όπως οι high-end GPU της Nvidia), η GPU χρησιμοποιείται για συμπεράσματα.

Για τηλέφωνα Android και iPhone, συνιστάται να έχετε τουλάχιστον 6 GB μνήμης RAM για την ομαλή λειτουργία του μοντέλου DeepSeek R1. Μπορείτε να εκτελέσετε το DeepSeek R1 στο Snapdragon 8 Elite ή σε άλλα τσιπ της σειράς Snapdragon 8 και 7, επιπλέον, μπορείτε να δείτε πώς συγκρίνονται τα μοντέλα DeepSeek R1 και ChatGPT o1.

Εκτέλεση του μοντέλου DeepSeek R1 σε υπολογιστή χρησιμοποιώντας το LM Studio

Το LM Studio είναι ο ευκολότερος τρόπος εκτέλεσης του μοντέλου DeepSeek R1 εγγενώς σε συστήματα PC, Mac και Linux. Διαθέτει μια εύχρηστη διεπαφή χρήστη και μπορείτε να εξερευνήσετε και να κατεβάσετε συμβατά μοντέλα AI με λίγα μόνο κλικ. Επιπλέον, η εφαρμογή είναι εντελώς δωρεάν για χρήση.

  • Λήψη και εγκατάσταση του LM Studio έκδοση 0.3.8 ή νεότερη (Ελεύθερος) σε υπολογιστή, Mac ή Linux.
  • Στη συνέχεια, εκκινήστε το LM Studio και μεταβείτε στο παράθυρο αναζήτησης στο αριστερό παράθυρο.
  • Εδώ, κάτω από την αναζήτηση μοντέλου, θα βρείτε το μοντέλο "DeepSeek R1 Distill (Qwen 7B)" (Αγκαλιάζοντας το πρόσωπο).
  • Τώρα, κάντε κλικ στο «Λήψη». Πρέπει να έχετε τουλάχιστον 5 GB αποθηκευτικού χώρου και 8 GB RAM για να χρησιμοποιήσετε αυτό το μοντέλο.

Κατεβάστε το μοντέλο deepseek r1 χρησιμοποιώντας το lm studio

  • Αφού κατεβάσετε το μοντέλο DeepSeek R1, μεταβείτε στο παράθυρο "Συζήτηση" και φορτώστε το μοντέλο.

Κατεβάστε το μοντέλο deepseek r1 στα Windows

  • Απλώς επιλέξτε το πρότυπο και κάντε κλικ στο κουμπί "Μεταφόρτωση προτύπου". Εάν αντιμετωπίσετε κάποιο σφάλμα, μειώστε το "GPU offload" στο 0 και συνεχίστε.

Εκτέλεση του μοντέλου deepseek r1 χρησιμοποιώντας το lm studio Εκτέλεση του μοντέλου DeepSeek R1 τοπικά στον υπολογιστή χρησιμοποιώντας το Ollama

  • Ξεκινήστε την εγκατάσταση του Olama (مجاني) στον υπολογιστή σας με Windows, macOS ή Linux.
  • Τώρα, εκκινήστε το Terminal και εκτελέστε την παρακάτω εντολή για να εκτελέσετε το DeepSeek R1 τοπικά.
  • Αυτό είναι ένα μοντέλο μικρού μεγέθους. 1.5 δισεκατομμύρια αποστάγματα DeepSeek R1 Βασίζεται στο Qwen για υπολογιστές χαμηλών προδιαγραφών. Καταναλώνει μόνο 1.1 GB μνήμης.
olama run deepseek-r1:1.5b

Εγκαταστήστε το deepseek r1 χρησιμοποιώντας το olama

  • Εάν έχετε μεγάλη μνήμη με ισχυρό υλικό, μπορείτε να εκτελέσετε μοντέλα. 7 δις ή 14 δις ή 32 δις ή 70 δις Απόσταξη από το DeepSeek R1. Μπορείτε να βρείτε τις εντολές Εδώ.
  • Δείτε πώς μπορείτε να εκτελέσετε το μοντέλο DeepSeek R1 των 7 δισεκατομμυρίων bit στον υπολογιστή σας. Καταναλώνει 4.7 GB μνήμης.
olama run deepseek-r1:7b

Εγκαταστήστε το μοντέλο deepseek r1 7b χρησιμοποιώντας το olama

  • Τώρα, μπορείτε να συνομιλείτε με το DeepSeek R1 τοπικά στον υπολογιστή σας, απευθείας από το Terminal.
  • Για να σταματήσετε τη συνομιλία με το μοντέλο AI και να βγείτε, χρησιμοποιήστε τη συντόμευση "Ctrl + D".

Εκτέλεση του μοντέλου deepseek r1 7b με χρήση olama

Εκτέλεση του DeepSeek R1 τοπικά χρησιμοποιώντας το Open WebUI

Εάν θέλετε να χρησιμοποιήσετε το μοντέλο DeepSeek R1 τοπικά με μια διεπαφή χρήστη τύπου ChatGPT, μπορείτε να εγκαταστήσετε Ανοίξτε το WebUI (GitHub) σε υπολογιστή ή Mac. Αυτή η εφαρμογή χρησιμοποιεί την υπηρεσία Olama για να παρέχει πολλές εξαιρετικές δυνατότητες όπως αναλυτής κώδικα, φωνητική συνομιλία, ανάλυση αρχείων, εξατομικευμένες οδηγίες και πολλά άλλα.

Εν ολίγοις, μπορείτε να εκτελέσετε το DeepSeek R1 τοπικά στον υπολογιστή σας με όλες τις δυνατότητες του ChatGPT.

  • Πρώτα, σηκωθείτε Ρύθμιση Python και Pip στον υπολογιστή σου.
  • Στη συνέχεια, ανοίξτε το Terminal ή Command Prompt και εκτελέστε την παρακάτω εντολή για να εγκαταστήσετε το Open WebUI. Αυτό το βήμα θα διαρκέσει αρκετά λεπτά.
εγκατάσταση pip open-webuy

Εγκαταστήστε το open webui μέσω της γραμμής εντολών

  • Μόλις εγκατασταθεί, εκτελέστε το μοντέλο DeepSeek μέσω του Ollama στο Terminal.
  • Μπορείτε να ακολουθήσετε τις οδηγίες που αναφέρονται στην παραπάνω μέθοδο για να εκτελέσετε το Olama.
olama run deepseek-r1:1.5b

Εκτέλεση του deepseek r1 μοντέλου μέσω ollama

  • Αφού εκτελέσετε το Ollama, εκτελέστε την παρακάτω εντολή για να ξεκινήσετε τον διακομιστή Open WebUI.
υπηρεσία open-webui

Ξεκινήστε τον ανοιχτό διακομιστή webui

  • Στη συνέχεια, πατήστε http://localhost:8080 Για να ανοίξετε τον τοπικό διακομιστή Open WebUI.
  • Κάντε κλικ στο "Έναρξη" και εισαγάγετε το όνομά σας εδώ.

ανοίξτε την αρχική σελίδα του webui

  • Τώρα, μπορείτε να χρησιμοποιήσετε το DeepSeek R1 μέσω μιας εύχρηστης διεπαφής χρήστη.
  • Το Open WebUI θα επιλέξει αυτόματα το μοντέλο DeepSeek R1 στην αναπτυσσόμενη λίστα.

Εκτελέστε το DeepSeek R1 τοπικά σε τηλέφωνα Android και iPhone

Μπορείτε να εκτελέσετε το DeepSeek R1 τοπικά σε τηλέφωνο Android και iPhone γρήγορα. Στο Android, δοκίμασα πολλές εφαρμογές, συμπεριλαμβανομένων των LM Playground, Private AI, Llamao και άλλων, αλλά το PocketPal προσέφερε τον καλύτερο τρόπο. Για να εκτελέσετε τοπικά μοντέλα AI σε τηλέφωνα Android - Όλα δωρεάν.

Το καλύτερο μέρος είναι ότι το PocketPal AI είναι επίσης διαθέσιμο σε iOS και είναι εντελώς δωρεάν, σε αντίθεση με το Apollo AI και το Private LLM. Δείτε πώς να ξεκινήσετε.

  • Πρώτα απ 'όλα, εγκαταστήστε την εφαρμογή PocketPal AI.
  • Στη συνέχεια, ξεκινήστε την εφαρμογή και κάντε κλικ στο "Μετάβαση στις Φόρμες".
  • Εδώ, κάντε κλικ στο κουμπί «+» κάτω δεξιά.
  • Επιλέξτε "Προσθήκη από Αγκαλιασμένο πρόσωπο" εδώ.

Κατεβάστε το μοντέλο deepseek r1 στο Android

  • Αναζητήστε το "deepseek" και κάντε κύλιση προς τα κάτω για να βρείτε το "DeepSeek-R1-Distill-Qwen-1.5B" από τον bartowski.
  • Ανοίξτε το και κατεβάστε το κατάλληλο μοντέλο με βάση τη διαθέσιμη μνήμη στο τηλέφωνό σας. Κατέβασα το κβαντισμένο μοντέλο "Q5_K_M" για αυτό το σεμινάριο επειδή καταναλώνει περίπου 1.3 GB μνήμης RAM.
  • Αφού κατεβάσετε τη φόρμα, επιστρέψτε και κάντε κλικ στην επιλογή Λήψη.

Κατεβάστε το μοντέλο deepseek r1 σε Android τοπικά

  • Τώρα, μπορείτε να συνομιλήσετε τοπικά με το μοντέλο DeepSeek R1 στο τηλέφωνο Android ή το iPhone σας.

Εκτελέστε το μοντέλο deepseek r1 τοπικά σε Android

Αυτοί είναι οι διαφορετικοί τρόποι εγκατάστασης του DeepSeek R1 σε υπολογιστή και smartphone Συνομιλία με μοντέλο AI εκτός σύνδεσης. Στη σύντομη δοκιμή μου, τόσο τα μοντέλα 1.5B όσο και 7B έδειξαν πολλές παραισθήσεις και ιστορικά λάθη.

Ωστόσο, μπορείτε εύκολα να χρησιμοποιήσετε αυτά τα πρότυπα για δημιουργική γραφή και μαθηματικό συλλογισμό. Εάν έχετε ισχυρό υλικό, προτείνω να δοκιμάσετε το μοντέλο DeepSeek R1 32B. Είναι πολύ καλύτερος στην κωδικοποίηση και στην παροχή απαντήσεων που υποστηρίζονται από τη λογική.

Κουμπί μετάβασης στην κορυφή