Χρησιμοποιώ chatbots που βασίζονται στο cloud εδώ και πολύ καιρό. Επειδή τα μεγάλα γλωσσικά μοντέλα απαιτούν τεράστια υπολογιστική ισχύ για να εκτελεστούν, αυτά τα προγράμματα ήταν η μόνη διαθέσιμη επιλογή. Αλλά με τα LM Studio και LLM Quantum Models, μπορώ πλέον να εκτελώ καλά μοντέλα εκτός σύνδεσης χρησιμοποιώντας υλικό που ήδη κατέχω. Αυτό που ξεκίνησε ως περιέργεια για την τοπική Τεχνητή Νοημοσύνη έχει μετατραπεί σε μια ισχυρή εναλλακτική λύση που δεν κοστίζει τίποτα, λειτουργεί εκτός σύνδεσης και μου δίνει τον πλήρη έλεγχο των αλληλεπιδράσεών μου με την Τεχνητή Νοημοσύνη.
Αυτή η αλλαγή κατέστη απαραίτητη αφότου βίωσα από πρώτο χέρι τι συμβαίνει όταν κατά λάθος κοινοποιείτε ευαίσθητες πληροφορίες με την τεχνητή νοημοσύνη στο cloud. Κατέληξα να κοινοποιήσω το PIN μου στο ChatGPT κατά τη διάρκεια μιας συζήτησης που έμοιαζε με κανονική. Αυτή η στιγμή απροσεξίας με έκανε να συνειδητοποιήσω ότι αντιμετώπιζα την τεχνητή νοημοσύνη στο cloud σαν ένα ψηφιακό σημειωματάριο, χωρίς να λάβω υπόψη τις επιπτώσεις στην ασφάλεια. Το LM Studio αντιμετωπίζει αυτά τα θεμελιώδη ζητήματα φέρνοντας τις δυνατότητες της τεχνητής νοημοσύνης LLM απευθείας στην επιφάνεια εργασίας σας, εξαλείφοντας τους κινδύνους απορρήτου και τα επαναλαμβανόμενα κόστη.
Γρήγοροι σύνδεσμοι
Το LM Studio λύνει τις πολυπλοκότητες της τοπικής τεχνητής νοημοσύνης.
Η λειτουργία τοπικών μοντέλων LLM μόλις έγινε ευκολότερη από ποτέ!
Πριν από την ανακάλυψη LM StudioΠέρασα αμέτρητες ώρες δουλεύοντας με νεοσύστατα εργαλεία ανοιχτού κώδικα. Βυθιζόμουν σε αποθετήρια GitHub, διαβάζοντας εκτενή τεχνική τεκμηρίωση, ρυθμίζοντας περιβάλλοντα Python που φαινόταν να διακόπτονται με κάθε ενημέρωση και αναζητώντας κατάλληλα πρότυπα στη σελίδα oobabooga στο Hugging Face. Ακριβώς τη στιγμή που κατάφερνα να βρω μια λειτουργική εγκατάσταση, τα υποκείμενα εργαλεία έπαυαν να χρησιμοποιούνται ή υφίσταντο σημαντικές αλλαγές, με αποτέλεσμα να χρειαστεί να ξεκινήσω ολόκληρη τη διαδικασία από την αρχή.
Το LM Studio άλλαξε εντελώς αυτήν την εμπειρία, ενσωματώνοντας τα πάντα σε μια προσεγμένη εφαρμογή για υπολογιστές που κάνει τη λήψη και την εκτέλεση μεγάλων γλωσσικών μοντέλων τόσο απλή όσο η εγκατάσταση οποιουδήποτε άλλου λογισμικού. Για να εκτελέσετε Τεχνητή Νοημοσύνη εκτός σύνδεσης, χρειάζεστε δύο πράγματα: ένα κβαντικό μοντέλο Τεχνητής Νοημοσύνης και ένα εργαλείο διεπαφής όπως το LM Studio. Τα κβαντικά μοντέλα είναι συμπαγείς εκδόσεις ολοκληρωμένων μοντέλων Τεχνητής Νοημοσύνης που διατηρούν το μεγαλύτερο μέρος των δυνατοτήτων τους ενώ χρησιμοποιούν σημαντικά λιγότερους υπολογιστικούς πόρους. Αντί να χρειάζεστε ακριβό υλικό κατηγορίας διακομιστή, μπορείτε να εκτελέσετε εξελιγμένα μοντέλα Τεχνητής Νοημοσύνης σε έναν κανονικό φορητό υπολογιστή με αξιοπρεπή CPU και 16 GB RAM. Με το LM Studio, είναι δυνατό... Ακόμα και η λειτουργία ενός chatbot τεχνητής νοημοσύνης σε παλαιότερες συσκευές!
Ένα από τα αγαπημένα μου ποσοτικά μοντέλα για χρήση με το LM Studio είναι το Dolphin3. Σε αντίθεση με τα mainstream μοντέλα AI που διαθέτουν εκτεταμένο φιλτράρισμα περιεχομένου, το Dolphin3 έχει σχεδιαστεί για να είναι πραγματικά χρήσιμο χωρίς αυθαίρετους περιορισμούς. Ανταποκρίνεται σε αιτήματα που άλλα μοντέλα ενδέχεται να απορρίψουν και παρέχει απλές απαντήσεις χωρίς να κάνει διαλέξεις για πιθανή κακή χρήση. Για εγκληματολογική έρευνα, νομική εργασία ή εις βάθος συζητήσεις και συμβουλές, αυτό το μη εποπτευόμενο μοντέλο AI έχει γίνει γρήγορα ένα από τα αγαπημένα μου.
Αποκτήστε το Dolphin3 σε λειτουργία σε λίγα λεπτά.
Οδηγός γρήγορης και εύκολης εκκίνησης
Η εγκατάσταση του βοηθού τεχνητής νοημοσύνης σας εκτός σύνδεσης δεν απαιτεί τόση τεχνική εξειδίκευση όσο θα περίμενε κανείς. Η όλη διαδικασία διαρκεί περίπου 20 λεπτά, τα περισσότερα από τα οποία απαιτούν απλώς αναμονή για την ολοκλήρωση των λήψεων.
Πρώτα, Λήψη LM Studio Κατεβάστε το από την επίσημη ιστοσελίδα του και εγκαταστήστε το όπως οποιαδήποτε άλλη εφαρμογή. Το πρόγραμμα είναι συμβατό με Windows, Mac και Linux, με τους Apple Silicon Mac να αποδίδουν εξαιρετικά καλά σε αυτές τις εργασίες συμπερασματολογίας με τεχνητή νοημοσύνη. Μόλις εγκατασταθεί, το LM Studio ανοίγει με μια καθαρή διεπαφή με μια γραμμή αναζήτησης για την εύρεση μοντέλων.
Αναζητήστε το "Dolphin3" και θα δείτε αρκετές διαθέσιμες εκδόσεις. Σας προτείνω να ξεκινήσετε με την έκδοση των 8 δισεκατομμυρίων παραμέτρων εάν έχετε 16 GB μνήμης RAM ή με τη μικρότερη έκδοση των 3 δισεκατομμυρίων παραμέτρων για υπολογιστές με 8 GB. Το μέγεθος λήψης κυμαίνεται από 2 GB έως 6 GB, ανάλογα με την έκδοση που θα επιλέξετε. Το LM Studio σας δείχνει ακριβώς πόση μνήμη απαιτεί κάθε μοντέλο, εξαλείφοντας την ανάγκη για εικασίες σχετικά με τη συμβατότητα υλικού.
Αφού ολοκληρωθεί η λήψη, μεταβείτε στη διεπαφή. κουβέντα Στην επάνω δεξιά γωνία της πλαϊνής γραμμής, κάντε κλικ στο κουμπί Επιλέξτε ένα μοντέλο για φόρτωση Στο επάνω κεντρικό τμήμα του παραθύρου, τα μοντέλα που έχετε κατεβάσει θα εμφανιστούν ως αναπτυσσόμενη λίστα. Επιλέξτε Dolphin3 για να ξεκινήσετε την αποστολή του μοντέλου. Η διαδικασία αποστολής διαρκεί περίπου τριάντα δευτερόλεπτα και, στη συνέχεια, είστε έτοιμοι να ξεκινήσετε τη συνομιλία. Η διεπαφή φαίνεται οικεία σε όποιον έχει χρησιμοποιήσει το ChatGPT, με ένα πλαίσιο μηνύματος στο κάτω μέρος και ένα ιστορικό συνομιλιών από πάνω.
Εδώ, έκανα μια ερώτηση στον Dolphin3 και η απόδοσή του ήταν καλή. Όχι τόσο εκπληκτικά γρήγορη όσο το ChatGPT ή το Claude, αλλά απόλυτα αποδεκτή. Όπως μπορείτε να δείτε, κατάφερε να απαντήσει σε περίπου 11 δευτερόλεπτα για μια απάντηση περίπου 320 λέξεων (453 χαρακτήρων), διατηρώντας την συνομιλία ομαλή χωρίς αισθητή καθυστέρηση. Όλα συμβαίνουν τοπικά, επομένως ο χρόνος απόκρισης είναι σταθερός ανεξάρτητα από τη σύνδεσή σας στο διαδίκτυο.
Όταν ολοκληρώσετε τη συνομιλία σας, μπορείτε να κάνετε κλικ στο κουμπί. Εξαγωγή Για να καταργήσετε πλήρως το Dolphin3 από τη μνήμη. Αυτό διαγράφει αμέσως όλα τα ίχνη της συνομιλίας σας και απελευθερώνει πόρους συστήματος. Σε αντίθεση με τις υπηρεσίες cloud που ενδέχεται να διατηρούν το ιστορικό συνομιλιών σας επ' αόριστον, η κατάργηση της φόρμας σάς δίνει πλήρη έλεγχο του πότε οι συνομιλίες σας διαγράφονται οριστικά.
Γιατί μου αρέσει να χρησιμοποιώ το Dolphin3
Γρήγορος, ξεχωριστός και εκπληκτικά ικανός.
Είναι αλήθεια ότι δεν θα είναι Μια εξαιρετική εναλλακτική λύση για το ChatGPT Δεν προσφέρει περίπλοκα συμπεράσματα ή τις πιο πρόσφατες ενημερώσεις που σχετίζονται με το διαδίκτυο, αλλά τα αντισταθμίζει με άλλους τρόπους. Οι συζητήσεις που αφορούν την προστασία της ιδιωτικής ζωής βρίσκονται στην κορυφή αυτής της λίστας, όπου μπορώ να μοιραστώ τις βαθύτερες σκέψεις και ανησυχίες μου χωρίς να ανησυχώ για τις πολιτικές διατήρησης δεδομένων ή την εταιρική επιτήρηση. Αυτό περιλαμβάνει προσωπικές σκέψεις, συναισθηματικά ζητήματα ή ευαίσθητες καταστάσεις στον χώρο εργασίας, τις οποίες δεν θα εμπιστευόμουν ποτέ σε υπηρεσίες cloud.
υπάρχουν πολλά Άλλα μοντέλα μεγάλης γλώσσας (LLM) εκτός σύνδεσης που μπορείτε να δοκιμάσετε τώραΩστόσο, εξακολουθώ να επιμένω στο Dolphin3 λόγω της προσέγγισής του στην εποπτεία περιεχομένου. Το γεγονός ότι το μοντέλο είναι χωρίς επίβλεψη δεν σημαίνει ότι αγνοεί την ηθική ή το πλαίσιο. Επειδή βασίζεται στο LLaMA, το οποίο εκπαιδεύτηκε σε μεγάλα και ποικίλα σύνολα δεδομένων, εξακολουθεί να αντικατοπτρίζει μια ισχυρή κατανόηση του σωστού και του λάθους. Το "χωρίς επίβλεψη" σημαίνει απλώς ότι μπορεί να χειριστεί θέματα που άλλα μοντέλα μπορεί να αποφεύγουν, όπως αμφιλεγόμενη πολιτική ή ευαίσθητα ιστορικά γεγονότα. Σε αντίθεση με πολλούς βοηθούς τεχνητής νοημοσύνης που αισθάνονται ότι επιβλέπουν συνεχώς τα λόγια σας, το Dolphin3 παρέχει ειλικρινείς, σαφείς απαντήσεις χωρίς περιττούς περιορισμούς. Το αποτέλεσμα είναι μια συζήτηση που μοιάζει περισσότερο με συνομιλία με έναν έμπειρο φίλο παρά με αλληλεπίδραση με ένα εταιρικά απολυμασμένο chatbot. Μπορείτε να εμβαθύνετε σε σύνθετα θέματα και να κάνετε άβολες ερωτήσεις χωρίς να ενεργοποιήσετε διαλέξεις ασφαλείας.
Μου αρέσει επίσης η λειτουργικότητα RAG που προσφέρει το LM Studio με το Dolphin3. Μου επιτρέπει να αναλύω συμβόλαια, νομικά έγγραφα και πολιτικές απορρήτου που περιέχουν ευαίσθητες πληροφορίες. Αυτά τα έγγραφα συχνά περιλαμβάνουν όρους εμπιστευτικότητας, ρήτρες ιδιοκτησίας ή προσωπικά δεδομένα που δεν πρέπει να κοινοποιούνται σε υπηρεσίες cloud. Η ύπαρξη ενός βοηθού τεχνητής νοημοσύνης που μπορεί να αναλύσει πολύπλοκη νομική γλώσσα διατηρώντας παράλληλα τα πάντα τοπικά προσφέρει τεράστια αξία για τους ελεύθερους επαγγελματίες και τους ιδιοκτήτες μικρών επιχειρήσεων όπως εγώ κατά τον χειρισμό ευαίσθητων εγγράφων.
Η σύντομη βοήθεια προγραμματισμού λειτουργεί επίσης καλά, ειδικά για γρήγορη βοήθεια στον εντοπισμό σφαλμάτων ή για την εξήγηση άγνωστων μοτίβων κώδικα. Παρόλο που δεν βασίζομαι στην εγγενή τεχνητή νοημοσύνη για σύνθετα έργα ανάπτυξης, υπερέχει σε εστιασμένα τεχνικά ερωτήματα χωρίς να εκθέτει ιδιωτικό κώδικα σε εξωτερικούς διακομιστές.
Τέλος, οι ταξιδιωτικές συνθήκες προσφέρουν ένα ακόμη βασικό πλεονέκτημα της τεχνητής νοημοσύνης εκτός σύνδεσης. Κατά τη διάρκεια μεγάλων μετακινήσεων, συνεδριών απομακρυσμένης εργασίας ή περιοχών με κακή συνδεσιμότητα, η ύπαρξη ενός πλήρως λειτουργικού βοηθού τεχνητής νοημοσύνης αποδεικνύεται ανεκτίμητη. Έχω χρησιμοποιήσει το Dolphin3 για να συντάσσω email, να αναλύω δεδομένα και να λύνω προβλήματα ενώ είμαι εντελώς εκτός σύνδεσης, κάτι που είναι αδύνατο με εναλλακτικές λύσεις που βασίζονται στο cloud.
Εξακολουθώ να χρησιμοποιώ τεχνητή νοημοσύνη στο cloud.
Δεν μπορώ να απαλλαγώ εντελώς από την τεχνητή νοημοσύνη στο cloud, και αυτός δεν ήταν ο στόχος εξαρχής. Η αλήθεια είναι ότι η εκτέλεση πραγματικά ισχυρών μοντέλων απαιτεί τεχνητή νοημοσύνη στο cloud, και είναι η τέλεια επιλογή. Προσωπικά, μου αρέσει να χρησιμοποιώ το Perplexity για έρευνα και εργασίες που βασίζονται στο web, όπου χρειάζομαι ενημερωμένες πληροφορίες και μεγάλες βάσεις δεδομένων γνώσης. Αυτές οι υπηρεσίες υπερέχουν σε εργασίες που απαιτούν τεράστιους υπολογιστικούς πόρους, δεδομένα σε πραγματικό χρόνο ή την πιο πρόσφατη εκπαίδευση.
Το πιο σημαντικό είναι να βρεθεί η σωστή ισορροπία μεταξύ της τεχνητής νοημοσύνης στο cloud και της τεχνητής νοημοσύνης εκτός σύνδεσης, για να διασφαλιστεί η μέγιστη προστασία της ιδιωτικής ζωής και ασφάλειας και να ελαχιστοποιηθεί η εξάρτηση από την υποδομή. Χρησιμοποιώ υπηρεσίες cloud όταν χρειάζομαι προηγμένες δυνατότητες, ενσωμάτωση αναζήτησης στο web ή όταν δεν εμπλέκονται ευαίσθητες πληροφορίες. Για όλα τα υπόλοιπα, ειδικά για συνομιλίες που αφορούν προσωπικά ή ιδιόκτητα δεδομένα ή για καταστάσεις όπου χρειάζομαι εγγυημένη διαθεσιμότητα, αναλαμβάνει η εσωτερική μου εγκατάσταση.
