Πάντα χρησιμοποιούσα το Excel για γρήγορους υπολογισμούς και για τη δημιουργία απλών πινάκων. Αλλά εκτός από τους κοινούς τύπους και τις βασικές τεχνικές χειρισμού δεδομένων, δεν ένιωσα ποτέ την ανάγκη να μάθω επιπλέον συναρτήσεις του Excel—μέχρι που τα έργα μου άρχισαν να γίνονται πιο περίπλοκα.
Γρήγοροι σύνδεσμοι
Το πρόβλημα που τελικά με έκανε να δώσω προσοχή
Λόγω διαφόρων παραγόντων της αγοράς και εισαγωγικών δασμών, η αγορά εξαρτημάτων υπολογιστών στην περιοχή μου είναι συχνά πιο ακριβή από ό,τι στις Ηνωμένες Πολιτείες. Ήθελα να μάθω πόσο περισσότερο πλήρωνα για τα ίδια εξαρτήματα και αν ήταν καλύτερο να παραγγείλω απευθείας από το Amazon ή το Newegg αντί για τους τοπικούς λιανοπωλητές. Έτσι, συνέλεξα δεδομένα τιμών σε διάστημα μερικών μηνών για τα κύρια εξαρτήματα υπολογιστών (CPU, GPU και RAM) που συνήθως εισάγουν τα τοπικά καταστήματα. Απλό έργο παρακολούθησης, σωστά; Λάθος.
Γρήγορα κατέληξα με ένα πλήρες χάος δεδομένων. Κάθε λιανοπωλητής εξήγαγε τις πληροφορίες του χρησιμοποιώντας διαφορετικές συμβάσεις μορφοποίησης, καθιστώντας σχεδόν αδύνατη τη συγχώνευση των αρχείων. Η Amazon παρείχε ημερομηνίες σε MM/DD/YYYY, η Newegg χρησιμοποίησε YYYYMMDD και η Shopee (το τοπικό μου κατάστημα) χρησιμοποίησε DD-MM-YYYY.
Οι ασυνέπειες δεν σταματούσαν εκεί. Τα ονόματα των στηλών διέφεραν σημαντικά. Η Newegg ονόμαζε τις τιμές ως "retail_price", ενώ η Amazon χρησιμοποιούσε "unit_price_usd" και η Shopee επέλεξε "price_php". Η μορφοποίηση των τιμών ήταν εξίσου προβληματική, με ορισμένα αρχεία να εμφανίζουν "₱18,600" συμπεριλαμβανομένων των συμβόλων νομισμάτων, ενώ άλλα εμφάνιζαν κανονικούς αριθμούς όπως "320". Ακόμη και τα ονόματα των επωνυμιών δεν είχαν συνέπεια, καθώς εμφανίζονταν ως "gigabyte", "GIGABYTE INC." ή "Gigabyte Tech" για τον ίδιο κατασκευαστή σε διαφορετικά αρχεία.
Ο χειροκίνητος καθαρισμός και η συγχώνευση αυτών των δεδομένων μου πήρε ήδη ώρες. Έπρεπε να αντιγράφω και να επικολλώ μεταξύ αρχείων, να βρίσκω και να αντικαθιστώ ασυνεπείς τιμές και να διαγράφω κενές γραμμές μία προς μία. Η μετατροπή PHP σε USD για συγκρίσεις τιμών σήμαινε ότι έβλεπα συνεχώς μια άλλη οθόνη για συναλλαγματικές ισοτιμίες. Συνολικά, η εργασία ήταν κουραστική, επιρρεπής σε σφάλματα και σχεδόν με έκανε να τα παρατήσω.
Τότε ήταν που σκέφτηκα τελικά να χρησιμοποιήσω μία από τις λειτουργίες για τις οποίες μιλάνε πάντα οι λάτρεις του Excel - το Power Query. Πολλές άλλες ισχυρές δυνατότητες που προσφέρει το ExcelΑλλά είχα ακούσει ότι το Power Query ήταν το τέλειο εργαλείο για το συγκεκριμένο πρόβλημά μου. Έτσι, αφού παρακολούθησα μερικά εκπαιδευτικά βίντεο στο YouTube, συνειδητοποίησα αμέσως πόσο χρόνο μπορούσα να εξοικονομήσω μόλις άρχισα να χρησιμοποιώ το Power Query Editor για να καθαρίσω όλα τα ακατάστατα δεδομένα που είχα συλλέξει από το διαδίκτυο. Με το Power Query, μπορώ πλέον εύκολα να εισάγω δεδομένα από διάφορες πηγές, να τα μετατρέψω σε τυποποιημένη μορφή και να τα αναλύσω αποτελεσματικά, εξοικονομώντας μου πολύτιμο χρόνο και προσπάθεια στα έργα ανάλυσης τιμολόγησης εξαρτημάτων του υπολογιστή μου.
Πώς μπορώ να χρησιμοποιήσω το Power Query για να καθαρίσω μη δομημένα δεδομένα;
Μετά από λίγο καιρό, κατέληξα σε μια απλή, βήμα προς βήμα διαδικασία στο πρόγραμμα επεξεργασίας Power Query. Δείτε πώς ακριβώς καθάρισα τις ακατάστατες εξαγωγές CSV μου και τις μετέτρεψα σε ένα συνεπές, καλά οργανωμένο υπολογιστικό φύλλο.
Αρχικά, εισήγαγα τα δεδομένα μου στο Power Query Editor ανοίγοντας ένα κενό βιβλίο εργασίας, κάνοντας κλικ στο ημερομηνία Στην κορδέλα, επιλέξτε Από κείμενο/CSVΣτη συνέχεια, επέλεξα το αρχείο CSV μου και έκανα κλικ Μετασχηματισμός Δεδομένων Για να το ανοίξετε χρησιμοποιώντας το πρόγραμμα επεξεργασίας Power Query.
Ξεκίνησα διορθώνοντας τη στήλη ημερομηνίας. Δεδομένου ότι συνέλεγα δεδομένα από δύο πηγές με διαφορά ώρας 12 ωρών, έπρεπε να ενοποιήσω τις ημερομηνίες. Αποδείχθηκε αρκετά απλό. Ορίσα τη στήλη Ημερομηνία, κάντε δεξί κλικ για να ανοίξετε το μενού περιβάλλοντος και επιλέξτε Αλλαγή τύπου > Χρήση τοπικών ρυθμίσεωνΣτο αναδυόμενο μενού, ορίζω τον τύπο σε Ημερομηνία και ταυτοποιήθηκαν Αγγλικά (Ηνωμένες Πολιτείες) Για να διασφαλιστεί η συνεπής μορφοποίηση, το Power Query αναγνωρίζει αυτόματα διαφορετικές μορφές, όπως MM/DD/YYYY, YYYY/MM/DD, και μεταβλητές που χρησιμοποιούν σύμβολα όπως ΗΗ-ΜΜ-YY, και στη συνέχεια τις ενοποιεί όλες σε μία μόνο μορφή ημερομηνίας.
Τώρα που είχα διορθώσει τη μορφή ημερομηνίας, το μόνο που χρειαζόταν ήταν να καθαρίσω τη στήλη. εκεί Διαφορετικοί τρόποι για να καθαρίσετε ένα υπολογιστικό φύλλο ExcelΑλλά επειδή όλα τα σφάλματα ήταν εσφαλμένες καταχωρήσεις που δημιουργήθηκαν από το scraper μου, απλώς επέλεξα να χρησιμοποιήσω ένα φίλτρο. Κατάργηση σφαλμάτων Για να καταργήσετε αυτές τις καταχωρήσεις. Αυτό το βήμα αφαίρεσε τις τιμές null και τυχόν υπόλοιπα προβληματικά δεδομένα που δεν είχαν καταγραφεί σωστά, αφήνοντάς μου καθαρές, συνεπείς ημερομηνίες σε όλα τα αρχεία μου.
Στη συνέχεια, αντιμετώπισα την ακαταστασία που σχετίζεται με το όνομα της μάρκας με μια λειτουργία. Αντικατάσταση τιμώνΌπως και πριν, επέλεξα τη στήλη-στόχο, στη συνέχεια έκανα δεξί κλικ για να ανοίξω το μενού περιβάλλοντος και επέλεξα Αντικατάσταση τιμώνΣτο αναδυόμενο παράθυρο, εισαγάγετε την ασυνεπή τιμή στο πεδίο. Αξία προς εύρεση και η τυπική μου τιμή στο πεδίο Αντικατάσταση με πεδίο.
Το έκανα αυτό δύο ακόμη φορές και τελικά μετέτρεψα όλες αυτές τις καταχωρήσεις "gigabyte" και "GIGABTYE Inc." σε μία ενιαία, συνεπή "GIGABYTE" σε όλα τα αρχεία μου. Έκανα το ίδιο πράγμα με την AMD και τώρα ολόκληρη η στήλη "Μάρκα" για τις GPU χρησιμοποιεί τυπικές εμπορικές ονομασίες.
Power Query: Πώς μου γλίτωσε ώρες εργασίας
Ένας από τους λόγους που απέφυγα το Power Query ήταν ότι νόμιζα ότι θα ήταν μια ακόμη πολύπλοκη λειτουργία που θα χρειαζόταν πολύ χρόνο για να την μάθω. Αλλά αποδείχθηκε πολύ πιο εύκολο από ό,τι περίμενα. Αντί να εκτελώ ατελείωτες εντολές εύρεσης και αντικατάστασης, μπορώ να χρησιμοποιήσω το Power Query για να καθαρίζω γρήγορα και αυτόματα δεδομένα από τα εργαλεία συλλογής δεδομένων μου.
Αυτό που με εξέπληξε περισσότερο στο Power Query είναι ότι κάθε εντολή που εκτελούσα καταγραφόταν και μπορούσε να επαναληφθεί ξανά και ξανά. Αυτό ουσιαστικά σας δίνει ένα αυτοματοποιημένο σενάριο καθαρισμού που μπορεί να μετατρέψει τα ακατάστατα αρχεία CSV σε καθαρά, οργανωμένα υπολογιστικά φύλλα—τέλειο αν εργάζεστε σε ένα Δημιουργήστε προσαρμοσμένα σύνολα δεδομένων χρησιμοποιώντας web scraping, καθώς αυτά τα εργαλεία συχνά παράγουν μη καθαρά δεδομένα.
Για όποιον ασχολείται με επαναλαμβανόμενες εκκαθαρίσεις δεδομένων, ασυνεπείς μορφές ή πολλαπλές πηγές δεδομένων, το Power Query μετατρέπει αυτά τα βάρη σε μια απλή, αυτοματοποιημένη διαδικασία. Αντί να αφιερώνετε ώρες κάθε εβδομάδα σε μη αυτόματες διορθώσεις, μπορείτε απλώς να πατήσετε "ανανέωση" και να ξεκινήσετε την ανάλυση. Είναι μια λειτουργία του Excel που εύχομαι να είχα υιοθετήσει εδώ και πολύ καιρό. Μόλις βιώσετε τη δύναμη ενός αυτοματοποιημένου, επαναλαμβανόμενου σεναρίου καθαρισμού, δεν υπάρχει επιστροφή. Το Power Query είναι ένα ισχυρό εργαλείο για την εξοικονόμηση χρόνου και προσπάθειας στην επεξεργασία δεδομένων, παρέχοντας προηγμένες λύσεις για αποτελεσματικό καθαρισμό και μετασχηματισμό δεδομένων.
