Η Nvidia κυκλοφόρησε το Chat with RXT, ένα chatbot AI που τρέχει στον υπολογιστή σας και προσφέρει λειτουργίες παρόμοιες με αυτές που θα βρείτε όταν χρησιμοποιείτε το ChatGPT και πολλά άλλα! Το μόνο που χρειάζεστε είναι μια κάρτα γραφικών Nvidia RTX και είστε έτοιμοι να αρχίσετε να χρησιμοποιείτε το νέο chatbot της Nvidia.
Σε αυτό το άρθρο, θα ρίξουμε μια βαθιά ματιά στις δυνατότητες του chatbot της Nvidia και στον τρόπο χρήσης του στον υπολογιστή σας. Θα διερευνήσουμε πιθανές χρήσεις και θα ρίξουμε μια ματιά στο πώς μπορείτε να αξιοποιήσετε στο έπακρο αυτήν την καινοτόμο τεχνολογία. Επαληθεύω Πώς να χρησιμοποιήσετε το Poe από την Quora για πρόσβαση σε διαφορετικά chatbot και μοντέλα LLM.
Γρήγοροι σύνδεσμοι
Τι είναι το Chat with RTX από την Nvidia;
Το Nvidia Chat with RTX είναι ένα μοντέλο τεχνητής νοημοσύνης (AI) που σας επιτρέπει να εκτελέσετε ένα μοντέλο μεγάλης γλώσσας (LLM) τοπικά στον υπολογιστή σας. Έτσι, αντί να συνδέεστε στο διαδίκτυο για να χρησιμοποιήσετε ένα chatbot AI όπως το ChatGPT, μπορείτε να χρησιμοποιήσετε το Chat με RTX εκτός σύνδεσης όποτε θέλετε.
Η συνομιλία με RTX χρησιμοποιεί το TensorRT-LLM, την επιτάχυνση RTX και το κβαντικό Mistral 7-B LLM για να παρέχει γρήγορη απόδοση και υψηλής ποιότητας αποκρίσεις όπως άλλα διαδικτυακά chatbot AI. Προσφέρει επίσης Retrieval Augmented Generation (RAG), επιτρέποντας στο chatbot να διαβάζει τα αρχεία σας και να ενεργοποιεί εξατομικευμένες απαντήσεις με βάση τα δεδομένα που παρέχετε. Αυτό σας επιτρέπει να προσαρμόσετε το chatbot για να παρέχετε μια πιο προσωπική εμπειρία.
Συνομιλία με χαρακτηριστικά RTX:
- τοπικός: Εκτελείται στον υπολογιστή σας τοπικά και εκτός σύνδεσης, δίνοντάς σας πλήρη έλεγχο των δεδομένων και του απορρήτου σας.
- Προσαρμόσιμο: Μπορείτε να το εκπαιδεύσετε με τα δικά σας δεδομένα, όπως βίντεο και έγγραφα YouTube, για να δημιουργήσετε μια εξατομικευμένη εμπειρία συνομιλίας.
- πολυγλωσσία: Υποστηρίζει πολλές γλώσσες.
- εύχρηστος: Απλό και εύκολο στην πλοήγηση διεπαφή χρήστη.
Τι μπορεί να κάνει το Chat με RTX;
- Απαντήστε στις ερωτήσεις σας: Η συνομιλία με το RTX μπορεί να απαντήσει στις ερωτήσεις σας για διάφορα θέματα, όπως ειδήσεις, τρέχοντα γεγονότα, επιστήμη και ιστορία.
- Συνοψίζοντας πληροφορίες: Η συνομιλία με το RTX μπορεί να συνοψίσει πληροφορίες από βίντεο YouTube, έγγραφα και άλλες πηγές δεδομένων.
- Δημιουργήστε δημιουργικό περιεχόμενο: Η συνομιλία με το RTX μπορεί να δημιουργήσει δημιουργικό περιεχόμενο, όπως ποιήματα, ιστορίες και κείμενα.
- Μετάφραση γλώσσας: Η συνομιλία με RTX μπορεί να μεταφράσει κείμενα από μια γλώσσα σε άλλη.
Εάν θέλετε να δοκιμάσετε το Nvidia Chat με RTX, δείτε πώς να το κατεβάσετε, να το εγκαταστήσετε και να το διαμορφώσετε στον υπολογιστή σας.
Πώς να κατεβάσετε και να εγκαταστήσετε το Nvidia Chat με RTX
Η Nvidia έχει κάνει πολύ πιο εύκολη την εκτέλεση του μοντέλου LLM τοπικά στον υπολογιστή σας. Για να εκτελέσετε το Chat με RTX, απλώς κατεβάστε και εγκαταστήστε την εφαρμογή, όπως θα κάνατε με οποιαδήποτε άλλη εφαρμογή. Ωστόσο, το Chat with RTX έχει κάποιες ελάχιστες απαιτήσεις προδιαγραφών που πρέπει να πληρούνται για σωστή εγκατάσταση και χρήση.
- Κάρτα γραφικών RTX 30-Series ή 40-Series.
- RAM 16 GB.
- 100 GB διαθέσιμος αποθηκευτικός χώρος.
- Παράθυρα 11.
Εάν ο υπολογιστής σας πληροί τις ελάχιστες απαιτήσεις συστήματος, μπορείτε να προχωρήσετε και να εγκαταστήσετε την εφαρμογή.
- حخطوة 1: Κατεβάστε το αρχείο zip Chat με RTX.
- Κατεβάστε: Συνομιλία με RTX (35 GB δωρεάν λήψη)
- حخطوة 2: Εξαγάγετε το αρχείο zip κάνοντας δεξί κλικ και επιλέγοντας ένα εργαλείο αρχειοθέτησης αρχείων όπως το 7Zip ή κάνοντας διπλό κλικ στο αρχείο και επιλέγοντας Αποσυμπίεση όλων.
- حخطوة 3: Ανοίξτε τον φάκελο που έχει εξαχθεί και κάντε διπλό κλικ στο setup.exe. Ακολουθήστε τις οδηγίες που εμφανίζονται στην οθόνη και επιλέξτε όλα τα πλαίσια κατά τη διάρκεια της προσαρμοσμένης διαδικασίας εγκατάστασης. Αφού πατήσετε Επόμενο, ο οδηγός εγκατάστασης θα πραγματοποιήσει λήψη και εγκατάσταση του LLM και όλων των εξαρτήσεων.
Η εγκατάσταση του Chat with RTX θα χρειαστεί λίγο χρόνο για να ολοκληρωθεί καθώς πραγματοποιεί λήψη και εγκατάσταση μεγάλου όγκου δεδομένων. Μετά τη διαδικασία εγκατάστασης, κάντε κλικ στο Κλείσιμο και είστε έτοιμοι. Τώρα, ήρθε η ώρα να δοκιμάσετε την εφαρμογή.
Πώς να χρησιμοποιήσετε το Chat με RTX από τη Nvidia
Αν και μπορείτε να χρησιμοποιήσετε το Chat with RTX σαν ένα κανονικό διαδικτυακό chatbot, σας προτείνω ανεπιφύλακτα να ελέγξετε τη λειτουργικότητά του RAG, η οποία σας επιτρέπει να προσαρμόσετε την έξοδο του με βάση τα αρχεία στα οποία του δίνετε πρόσβαση.
Βήμα 1: Δημιουργήστε έναν φάκελο RAG
Για να ξεκινήσετε να χρησιμοποιείτε το RAG στο Chat με RTX, δημιουργήστε έναν νέο φάκελο για να αποθηκεύσετε τα αρχεία που θέλετε να αναλύσει το AI.
Μετά τη δημιουργία, τοποθετήστε τα αρχεία δεδομένων που προτιμάτε στο φάκελο. Τα δεδομένα που αποθηκεύετε μπορούν να καλύπτουν πολλά θέματα και τύπους αρχείων, όπως έγγραφα, PDF, κείμενο και βίντεο. Ωστόσο, μπορεί να θέλετε να περιορίσετε τον αριθμό των αρχείων που τοποθετείτε σε αυτόν τον φάκελο, ώστε να μην επηρεάζει την απόδοση. Περισσότερα δεδομένα για αναζήτηση μέσων σημαίνει ότι η συνομιλία με RTX θα χρειαστεί περισσότερο χρόνο για να επιστρέψει απαντήσεις για συγκεκριμένα ερωτήματα (αλλά αυτό εξαρτάται επίσης από το εσωτερικό υλικό της συσκευής).
Τώρα που η βάση δεδομένων είναι έτοιμη, μπορείτε να ρυθμίσετε το Chat με το RTX και να αρχίσετε να το χρησιμοποιείτε για να απαντάτε στις ερωτήσεις και τις ερωτήσεις σας.
Βήμα 2: Προετοιμάστε το περιβάλλον
Ανοίξτε το Chat με RTX. Η διεπαφή πρέπει να μοιάζει με την παρακάτω εικόνα.
Στην περιοχή Σύνολο δεδομένων, βεβαιωθείτε ότι είναι επιλεγμένη η επιλογή Διαδρομή φακέλου. Τώρα κάντε κλικ στο εικονίδιο επεξεργασίας στο κάτω μέρος και επιλέξτε το φάκελο που περιέχει όλα τα αρχεία που θέλετε να διαβάσει το Chat with RTX. Μπορείτε επίσης να αλλάξετε το μοντέλο AI εάν είναι διαθέσιμες άλλες επιλογές (τη στιγμή της σύνταξης, μόνο το Mistral 7B είναι διαθέσιμο).
Είστε πλέον έτοιμοι να χρησιμοποιήσετε το Chat with RTX.
Βήμα 3: Κάντε τις ερωτήσεις σας στο Chat with RTX!
Υπάρχουν διάφοροι τρόποι για να ρωτήσετε για διαφορετικές πληροφορίες χρησιμοποιώντας το Chat with RTX. Το πρώτο είναι να το χρησιμοποιήσετε σαν ένα κανονικό chatbot AI. Ρώτησα το Chat with RTX σχετικά με τα οφέλη από τη χρήση ενός τοπικού μοντέλου LLM και έμεινα ικανοποιημένος με την απάντησή του. Δεν ήταν πολύ σε βάθος, αλλά αρκετά ακριβές.
Αλλά επειδή το μοντέλο Chat with RTX είναι ικανό για RAG, μπορείτε επίσης να το χρησιμοποιήσετε ως προσωπικός βοηθός με τεχνητή νοημοσύνη.
Παραπάνω, χρησιμοποίησα το Chat with RTX για να ρωτήσω για το πρόγραμμά μου. Τα δεδομένα προήλθαν από ένα αρχείο PDF που περιέχει το χρονοδιάγραμμα, το ημερολόγιο, τις εκδηλώσεις, την εργασία κ.λπ. Σε αυτήν την περίπτωση, το Chat with RTX έβγαλε τα σωστά δεδομένα ημερολογίου από τα δεδομένα. Θα πρέπει να διατηρείτε ενημερωμένα τα αρχεία δεδομένων σας και τις ημερομηνίες του ημερολογίου σας για λειτουργίες όπως αυτή για να λειτουργούν σωστά και θα πρέπει να ενσωματωθούν με άλλες εφαρμογές.
Υπάρχουν πολλοί τρόποι με τους οποίους μπορείτε να χρησιμοποιήσετε το RAG στη συνομιλία με RTX προς όφελός σας. Για παράδειγμα, μπορείτε να το χρησιμοποιήσετε για να διαβάσετε νομικά έγγραφα και να παρέχετε μια περίληψη, να δημιουργήσετε κώδικα σχετικό με την εφαρμογή που αναπτύσσετε, να λάβετε επισημάνσεις σχετικά με ένα βίντεο που ήσασταν πολύ απασχολημένος για να παρακολουθήσετε και πολλά άλλα! Επαληθεύω Πρέπει να χρησιμοποιήσετε ένα τοπικό μοντέλο LLM; Πλεονεκτήματα, μειονεκτήματα και βέλτιστες πρακτικές.
Βήμα 4: Επιπλέον μπόνους
Εκτός από τον φάκελο τοπικών δεδομένων, μπορείτε να χρησιμοποιήσετε το Chat with RTX για να αναλύσετε βίντεο στο YouTube. Για να το κάνετε αυτό, μέσα στο σύνολο δεδομένων, αλλάξτε τη διαδρομή φακέλου στη διεύθυνση URL του YouTube.
Αντιγράψτε τη διεύθυνση URL του YouTube που θέλετε να αναλύσετε και επικολλήστε την κάτω από το αναπτυσσόμενο μενού. Τότε ρώτα!
Η συνομιλία με το RTX κατά την ανάλυση βίντεο YouTube ήταν πολύ καλή και παρείχε ακριβείς πληροφορίες, επομένως μπορεί να είναι χρήσιμη για γρήγορη έρευνα, ανάλυση και πολλά άλλα. Επαληθεύω Πώς να αξιοποιήσετε αποτελεσματικά το Scikit-LLM για ανάλυση κειμένου χρησιμοποιώντας μεγάλα γλωσσικά μοντέλα.
Είναι καλό το Chat με RTX από την Nvidia;
Το ChatGPT παρέχει λειτουργικότητα RAG. Ορισμένα τοπικά chatbot AI έχουν πολύ χαμηλότερες απαιτήσεις συστήματος. Λοιπόν, αξίζει το Chat με RTX;
Η απάντηση είναι ναι! Η συνομιλία με το RTX αξίζει να χρησιμοποιηθεί παρά τον ανταγωνισμό.
Ένα από τα μεγαλύτερα σημεία πώλησης στη χρήση του Chat με RTX είναι η ικανότητά του να χρησιμοποιεί RAG χωρίς να στέλνει τα αρχεία σας σε διακομιστή τρίτου μέρους. Η προσαρμογή των GPT μέσω διαδικτυακών υπηρεσιών μπορεί να εκθέσει τα δεδομένα σας. Επειδή όμως το Chat with RTX εκτελείται τοπικά και εκτός σύνδεσης, η χρήση του RAG στο Chat with RTX διασφαλίζει ότι τα ευαίσθητα δεδομένα σας είναι ασφαλή και προσβάσιμα μόνο στον υπολογιστή σας.
Όπως και για άλλα εγχώρια chatbot AI που τρέχουν το Mistral 7B, η απόδοση συνομιλίας με το RTX είναι καλύτερη και ταχύτερη. Αν και μεγάλο μέρος της ενίσχυσης της απόδοσης προέρχεται από τη χρήση GPU υψηλής τεχνολογίας, η χρήση της επιτάχυνσης Nvidia TensorRT-LLM και RTX έκανε το Mistral 7B να τρέχει πιο γρήγορα στο Chat με RTX σε σύγκριση με άλλες μεθόδους εκτέλεσης LLM βελτιστοποιημένου για συνομιλία.
Αξίζει να σημειωθεί ότι η έκδοση του Chat with RTX που χρησιμοποιούμε αυτή τη στιγμή είναι έκδοση beta. Οι νεότερες εκδόσεις του Chat με RTX πιθανότατα θα γίνουν πιο βελτιστοποιημένες και θα παρέχουν βελτιώσεις στην απόδοση.
Τι γίνεται αν δεν έχω κάρτα γραφικών RTX 30 ή 40 Series;
Η συνομιλία με το RTX είναι ένας εύκολος, γρήγορος και ασφαλής τρόπος για να εκτελέσετε το μοντέλο LLM τοπικά χωρίς την ανάγκη σύνδεσης στο διαδίκτυο. Εάν ενδιαφέρεστε επίσης να εκτελέσετε το LLM τοπικά, αλλά δεν έχετε κάρτα γραφικών RTX 30 ή 40 Series, μπορείτε να δοκιμάσετε άλλες μεθόδους για να εκτελέσετε το LLM τοπικά. Δύο από τα πιο δημοφιλή είναι το GPT4ALL και το Text Gen WebUI. Δοκιμάστε το GPT4ALL εάν θέλετε μια εμπειρία plug-and-play τοπικά με το LLM. Αλλά αν είστε λίγο πιο τεχνικοί, τα LLM τρέχουν Κείμενο Gen WebUI Θα σας προσφέρει καλύτερο έλεγχο και ευελιξία. Τώρα μπορείτε να δείτε Εκτελέστε ένα αντίγραφο του ChatGPT τοπικά και δωρεάν στα Windows με το GPT4All.
