Ως έχουν, τα chatbots AI έχουν δωρεάν τεχνητή άδεια και άδεια να αποκόπτουν περιεχόμενο ιστότοπου και να χρησιμοποιούν διαθέσιμες πληροφορίες χωρίς καμία άδεια. Ανησυχείτε ότι η πρόσβαση στο περιεχόμενό σας αλλοιώνεται από αυτά τα εργαλεία;
Τα καλά νέα είναι ότι μπορείτε να αποκλείσετε τα εργαλεία AI από την πρόσβαση στον ιστότοπό σας, αλλά υπάρχουν ορισμένες προειδοποιήσεις. Εδώ θα σας δείξουμε πώς να αποκλείσετε τα ρομπότ με το αρχείο robots.txt του ιστότοπού σας, καθώς και τα πλεονεκτήματα και τα μειονεκτήματα του να το κάνετε. Επαληθεύω Πώς να δημιουργήσετε το τέλειο αρχείο Robots.txt για SEO: Τι είναι και πώς να το χρησιμοποιήσετε λεπτομερώς.
Γρήγοροι σύνδεσμοι
Πώς τα chatbots AI έχουν πρόσβαση σε περιεχόμενο ιστού;
Τα chatbot AI εκπαιδεύονται χρησιμοποιώντας πολλαπλά και τεράστια σύνολα δεδομένων, μερικά από τα οποία είναι ανοιχτού κώδικα και διαθέσιμα στο κοινό. Για παράδειγμα, το GPT3 εκπαιδεύτηκε χρησιμοποιώντας πέντε σύνολα δεδομένων, σύμφωνα με μια ερευνητική εργασία που δημοσίευσε OpenAI:
- Συνδυασμένη ανίχνευση (60% των δεδομένων εκπαίδευσης).
- WebText2 (22% των δεδομένων εκπαίδευσης).
- Βιβλία1 (8% των δεδομένων εκπαίδευσης).
- Βιβλία2 (8% των δεδομένων εκπαίδευσης).
- Wikipedia (2% των δεδομένων εκπαίδευσης).
Περιλαμβάνει ανίχνευση της άρθρωσης Petabyte (χιλιάδες terabyte) δεδομένων από ιστότοπους που συλλέγονται από το 2008, παρόμοια με τον τρόπο με τον οποίο ο αλγόριθμος αναζήτησης Google ανιχνεύει περιεχόμενο ιστού. Το WebText2 είναι ένα σύνολο δεδομένων που δημιουργήθηκε από το OpenAI, το οποίο περιέχει περίπου 45 εκατομμύρια ιστοσελίδες που συνδέονται με αναρτήσεις του Reddit με τουλάχιστον τρεις θετικές ψήφους.
Έτσι, στην περίπτωση του ChatGPT, το μοντέλο AI δεν έχει πρόσβαση και δεν ανιχνεύει τις ιστοσελίδες σας απευθείας — όχι ακόμα, ούτως ή άλλως. Αν και η ανακοίνωση του OpenAI για ένα πρόγραμμα περιήγησης ιστού που φιλοξενεί το ChatGPT έχει εγείρει ανησυχίες ότι αυτό μπορεί να αλλάξει.
Στο μεταξύ, οι ιδιοκτήτες ιστότοπων θα πρέπει να παρακολουθούν άλλα chatbot που υποστηρίζονται από AI, καθώς περισσότερα από αυτά κυκλοφορούν στην αγορά. Το Gemini είναι το άλλο μεγάλο όνομα σε αυτόν τον τομέα και πολύ λίγα είναι γνωστά για τα σύνολα δεδομένων που χρησιμοποιούνται για την εκπαίδευσή του. Προφανώς, γνωρίζουμε ότι τα ρομπότ αναζήτησης Google ανιχνεύουν συνεχώς ιστοσελίδες, αλλά αυτό δεν σημαίνει απαραίτητα ότι το Gemini έχει πρόσβαση στα ίδια δεδομένα. επαληθεύω ChatGPT εναντίον Google Gemini: Ποιο μοντέλο είναι καλύτερο για προγραμματισμό;
Γιατί ανησυχούν ορισμένοι ιδιοκτήτες ιστοτόπων;
Η μεγαλύτερη ανησυχία για τους ιδιοκτήτες ιστότοπων είναι ότι μοντέλα τεχνητής νοημοσύνης όπως το ChatGPT, το Gemini και το Bing Chat υποτιμούν το περιεχόμενό τους. Τα chatbot χρησιμοποιούν υπάρχον περιεχόμενο για να δημιουργήσουν τις απαντήσεις τους, αλλά και μειώνουν την ανάγκη πρόσβασης των χρηστών στην αρχική πηγή. Αντί οι χρήστες να επισκέπτονται ιστότοπους για πρόσβαση σε πληροφορίες, μπορούν απλώς να έχουν πρόσβαση στο Google ή στο Bing για να δημιουργήσουν μια περίληψη των πληροφοριών που χρειάζονται.
Όταν πρόκειται για chatbot που υποστηρίζονται από AI στην αναζήτηση, η μεγαλύτερη ανησυχία για τους ιδιοκτήτες ιστότοπων είναι η απώλεια επισκεψιμότητας. Στην περίπτωση των Διδύμων, σπάνια περιλαμβάνει μοντέλο τεχνητής νοημοσύνης Πηγές παραπομπών για τη δημιουργία των απαντήσεών του, λέγοντας στους χρήστες από ποιες σελίδες λαμβάνει τις πληροφορίες του.
Έτσι, εκτός από την αντικατάσταση των επισκέψεων στον ιστότοπο με απαντήσεις τεχνητής νοημοσύνης, το Gemini σχεδόν εξαλείφει κάθε πιθανότητα ο ιστότοπος προέλευσης να λαμβάνει επισκεψιμότητα — ακόμα κι αν ο χρήστης θέλει περισσότερες πληροφορίες. Από την άλλη πλευρά, το Bing Chat συνδέεται πιο συχνά με πηγές πληροφοριών.
Με άλλα λόγια, τα υπάρχοντα εργαλεία από μοντέλα παραγωγής τεχνητής νοημοσύνης χρησιμοποιούν το έργο των δημιουργών περιεχομένου για να αντικαταστήσουν συστηματικά την ανάγκη τους. Τελικά, πρέπει να ρωτήσετε τι κίνητρο αφήνει αυτό στους ιδιοκτήτες ιστότοπων για να συνεχίσουν να δημοσιεύουν ενημερωμένο περιεχόμενο. Και, κατ' επέκταση, τι συμβαίνει με τα bot AI όταν οι ιστότοποι σταματούν να δημοσιεύουν το περιεχόμενο στο οποίο βασίζονται για να δημιουργήσουν έγκυρες απαντήσεις; Επαληθεύω Υπεύθυνοι τρόποι χρήσης της τεχνητής νοημοσύνης ως συγγραφέας ή συντάκτη περιεχομένου.
Πώς να αποτρέψετε την πρόσβαση των chatbots AI στον ιστότοπό σας
Εάν δεν θέλετε τα bots AI να χρησιμοποιούν το περιεχόμενό σας στον ιστό, μπορείτε να τα αποτρέψετε από την πρόσβαση στον ιστότοπό σας χρησιμοποιώντας ένα αρχείο robots.txt. Δυστυχώς, πρέπει να αποκλείσετε κάθε μεμονωμένο bot και να το αναγνωρίσετε με το όνομά του.
Για παράδειγμα, ένα κοινόχρηστο bot παρακολούθησης ανίχνευσης ονομάζεται CCBot και μπορείτε να το αποκλείσετε προσθέτοντας τον ακόλουθο κώδικα στο αρχείο robots.txt:
Παράγοντας χρήστη: CCBot Απαγορεύεται: /
Αυτό θα αποτρέψει την ανίχνευση του ρομπότ συν-ανίχνευσης στον ιστότοπό σας στο μέλλον, αλλά δεν θα αφαιρέσει δεδομένα που έχουν ήδη συλλεχθεί από προηγούμενες ανιχνεύσεις.
Αν ανησυχείτε για τις νέες προσθήκες ChatGPT που έχουν πρόσβαση σε περιεχόμενο ιστού, δημοσίευσα OpenAI Ήδη οδηγίες για τον αποκλεισμό του ρομπότ συνομιλίας της. Σε αυτήν την περίπτωση, το ρομπότ ChatGPT ονομάζεται ChatGPT-User και μπορείτε να το αποκλείσετε προσθέτοντας τον ακόλουθο κώδικα στο αρχείο robots.txt:
Παράγοντας χρήστη: ChatGPT-Απαγορεύεται η χρήση χρήστη: /
Ωστόσο, η αποτροπή ρομπότ AI της μηχανής αναζήτησης από την ανίχνευση του περιεχομένου σας είναι ένα άλλο πρόβλημα. Επειδή η Google είναι τόσο μυστική σχετικά με τα δεδομένα εκπαίδευσης που χρησιμοποιεί, είναι αδύνατο να πούμε ποια ρομπότ θα χρειαστεί να αποκλείσετε και αν θα τηρούν εντολές στο αρχείο σας robots.txt (πολλά ρομπότ ανίχνευσης δεν το κάνουν). Επαληθεύω Τα καλύτερα δωρεάν και επί πληρωμή εργαλεία παρακολούθησης αλλαγών περιεχομένου ιστότοπου.
Πόσο αποτελεσματική είναι αυτή η μέθοδος;
Ο αποκλεισμός μοντέλων AI στο robots.txt είναι η πιο αποτελεσματική μέθοδος που διατίθεται αυτή τη στιγμή, αλλά δεν είναι ιδιαίτερα αξιόπιστη.
Το πρώτο πρόβλημα είναι ότι πρέπει να προσδιορίσετε κάθε chatbot που θέλετε να αποκλείσετε, αλλά ποιος μπορεί να παρακολουθεί κάθε bot τεχνητής νοημοσύνης που βγαίνει στην αγορά; Το επόμενο πρόβλημα είναι ότι οι εντολές στο αρχείο robots.txt δεν είναι υποχρεωτικές. Ενώ το Shared Crawler, το ChatGPT και πολλά άλλα ρομπότ σέβονται αυτές τις εντολές, υπάρχουν πολλά εργαλεία που δεν το κάνουν.
Η άλλη μεγάλη προειδοποίηση είναι ότι μπορείτε μόνο να αποτρέψετε τα bots AI από το να κάνουν μελλοντικές ανιχνεύσεις. Δεν μπορείτε να αφαιρέσετε δεδομένα από προηγούμενες ανιχνεύσεις ή να στείλετε αιτήματα σε εταιρείες όπως το OpenAI για τη διαγραφή όλων των δεδομένων σας. Επαληθεύω Μερικά μεγάλα προβλήματα με το ChatGPT του OpenAI.
Θα πρέπει να αποκλειστεί η πρόσβαση των εργαλείων AI στον ιστότοπο;
Δυστυχώς, δεν υπάρχει απλός τρόπος να αποκλείσετε όλα τα chatbot AI από την πρόσβαση στον ιστότοπό σας και ο μη αυτόματος αποκλεισμός κάθε μεμονωμένου bot είναι σχεδόν αδύνατος. Ακόμα κι αν παρακολουθείτε τα πιο πρόσφατα ρομπότ τεχνητής νοημοσύνης που περιφέρονται στον Ιστό, δεν υπάρχει καμία εγγύηση ότι όλα θα υπακούουν στις εντολές στο αρχείο robots.txt.
Το πραγματικό ερώτημα εδώ είναι αν τα αποτελέσματα αξίζουν την προσπάθεια, και η σύντομη απάντηση είναι (σίγουρα) όχι.
Υπάρχουν πιθανά μειονεκτήματα στον αποκλεισμό των bots AI από την πρόσβαση στον ιστότοπό σας επίσης. Πάνω απ 'όλα, δεν θα μπορείτε να συλλέξετε σημαντικά δεδομένα για να αποδείξετε εάν εργαλεία όπως το Gemini ωφελούν ή βλάπτουν τη στρατηγική μάρκετινγκ αναζήτησης.
Ναι, μπορείτε να υποθέσετε ότι η έλλειψη αναφορών είναι επιβλαβής, αλλά δεν μπορείτε να καταλάβετε αν σας λείπουν δεδομένα επειδή έχετε αποκλείσει τα bots AI από την πρόσβαση στο περιεχόμενό σας. Υπήρχε μια παρόμοια ιστορία όταν παρουσίασα για πρώτη φορά το Google Επιλεγμένα αποσπάσματα για να αναζητήσετε.
Για σχετικά ερωτήματα, η Google εμφανίζει ένα απόσπασμα περιεχομένου από ιστοσελίδες στη σελίδα αποτελεσμάτων, απαντώντας στην ερώτηση του χρήστη. Αυτό σημαίνει ότι οι χρήστες δεν χρειάζεται να κάνουν κλικ σε έναν ιστότοπο για να λάβουν την απάντηση που αναζητούν. Αυτό προκάλεσε πανικό μεταξύ των ιδιοκτητών ιστοτόπων και των ειδικών SEO που εξαρτώνται από τη δημιουργία επισκεψιμότητας από ερωτήματα αναζήτησης.
Ωστόσο, ο τύπος των ερωτημάτων που ενεργοποιούν τα επιλεγμένα αποσπάσματα είναι γενικά αναζητήσεις χαμηλής αξίας όπως "what's X" ή "what's the weather like in New York". Όποιος θέλει αναλυτικές πληροφορίες ή ένα ολοκληρωμένο δελτίο καιρού θα συνεχίσει να κάνει κλικ στα αποτελέσματα και όσοι δεν θέλουν εμπεριστατωμένες πληροφορίες ή ένα ολοκληρωμένο δελτίο καιρού δεν ήταν ποτέ τόσο πολύτιμοι εξαρχής.
Μπορεί να διαπιστώσετε ότι είναι μια παρόμοια ιστορία για τα εργαλεία παραγωγής τεχνητής νοημοσύνης, αλλά θα χρειαστείτε τα δεδομένα για να το αποδείξετε. Επαληθεύω Λάθη που πρέπει να αποφεύγονται κατά τη χρήση εργαλείων δημιουργίας τεχνητής νοημοσύνης.
Μην βιάζεστε σε τίποτα
Όπως είναι λογικό, οι ιδιοκτήτες και οι εκδότες ιστότοπων ανησυχούν για την τεχνολογία AI και απογοητεύονται από την ιδέα ότι τα bots χρησιμοποιούν το περιεχόμενό τους για να δημιουργήσουν άμεσες απαντήσεις. Ωστόσο, δεν είναι η ώρα για βιασύνη σε κινήσεις αντεπίθεσης. Η τεχνολογία AI είναι ένας τομέας που κινείται γρήγορα και τα πράγματα θα συνεχίσουν να εξελίσσονται με γρήγορους ρυθμούς. Εκμεταλλευτείτε αυτήν την ευκαιρία για να δείτε πώς είναι τα πράγματα και να αναλύσετε τις πιθανές απειλές και ευκαιρίες που φέρνει στο τραπέζι η τεχνητή νοημοσύνη.
Το τρέχον σύστημα που βασίζεται στην εργασία των δημιουργών για την αντικατάστασή τους δεν είναι βιώσιμο. Είτε εταιρείες όπως η Google και το OpenAI αλλάξουν την προσέγγισή τους είτε οι κυβερνήσεις θεσπίσουν νέους κανονισμούς, υπάρχει κάτι να προσφέρει. Ταυτόχρονα, οι αρνητικές επιπτώσεις των chatbot AI στη δημιουργία περιεχομένου γίνονται όλο και πιο εμφανείς και οι ιδιοκτήτες ιστοτόπων και οι δημιουργοί περιεχομένου μπορούν να τα χρησιμοποιήσουν προς όφελός τους. Μπορείτε να δείτε τώρα Τρόποι με τους οποίους οι κυβερνήσεις μπορούν να ρυθμίζουν τα εργαλεία τεχνητής νοημοσύνης.
