Δοκίμαζα το εργαλείο ανάλυσης καμπανιών που έχω φτιάξει, πάνω σε πραγματικό λογαριασμό Google Ads.
Το εργαλείο ανέφερε συνολική δαπάνη 3.594,20 ευρώ για τον μήνα. Η πραγματική δαπάνη στο περιβάλλον του Google Ads ήταν 3.955,87 ευρώ.
Απόκλιση περίπου 9%.
Ρώτησα ξανά το ίδιο πράγμα. Το εργαλείο απάντησε 3.598,08 ευρώ. Διαφορετικό νούμερο. Ίδιος λογαριασμός, ίδια περίοδος, λίγα λεπτά διαφορά.
Γιατί συνέβαινε
Το σύστημα έδινε στο γλωσσικό μοντέλο 182 γραμμές ημερήσιας δαπάνης και του ζητούσε να τις προσθέσει.
Τα γλωσσικά μοντέλα δεν είναι αριθμομηχανές.
Όταν τους δίνεις μεγάλες λίστες αριθμών να αθροίσουν, προσεγγίζουν. Η προσέγγιση αποκλίνει. Η απόκλιση είναι μικρή, είναι συστηματική, και τείνει να πέφτει προς τα κάτω.
Δεν το έχω δει πουθενά τεκμηριωμένο με καθαρό τρόπο, και είναι από τα πράγματα που θα έπρεπε να λέγονται πιο συχνά, τώρα που όλο και περισσότερες αναφορές παράγονται έτσι.
Πώς διορθώνεται
Με έναν μόνο τρόπο.
Τα μαθηματικά γίνονται πλέον στον κώδικα. Το μοντέλο εξηγεί μόνο το αποτέλεσμα. Το νούμερο υπολογίζεται, δεν εκτιμάται.
Αυτός είναι ο σωστός καταμερισμός σε κάθε εργαλείο αυτού του τύπου. Το γλωσσικό μοντέλο είναι εξαιρετικό στο να διαβάζει μια εικόνα και να λέει τι σημαίνει. Είναι λάθος εργαλείο για να παράγει τον ίδιο τον αριθμό.
Γιατί έχει σημασία
Απόκλιση 361 ευρώ σε έναν λογαριασμό, σε έναν μήνα, είναι μικρή.
Σε πολλούς λογαριασμούς, μέσα σε ένα τρίμηνο, είναι η διαφορά ανάμεσα σε μια καμπάνια που φαίνεται κερδοφόρα και σε μια που αθόρυβα δεν είναι.
Και είναι το είδος του λάθους που δεν θα το προσέξει ποτέ κανείς πελάτης, μέχρι τη στιγμή που θα έχει σημασία. Δεν βγάζει μήνυμα σφάλματος. Δεν κρασάρει τίποτα. Απλώς το νούμερο είναι λίγο λάθος, κάθε φορά, προς την ίδια κατεύθυνση.
Γιατί το γράφω δημόσια
Πουλάω υπηρεσίες που στηρίζονται σε τέτοια εργαλεία. Δεν με βολεύει προφανώς να λέω ότι το δικό μου έβγαζε λάθος νούμερα.
Το γράφω γιατί είναι ακριβώς το ίδιο πράγμα που κάνω όταν ανοίγω τον λογαριασμό ενός πελάτη. Ψάχνω δύο νούμερα που δεν συμφωνούν μεταξύ τους και δεν προχωράω μέχρι να καταλάβω ποιο από τα δύο λέει ψέματα. Δεν θα ήταν σοβαρό να το εφαρμόζω στους άλλους και όχι στον εαυτό μου.
Αν χρησιμοποιείτε AI για να παράγετε αναφορές, τρία πράγματα αξίζουν έλεγχο:
- Ρωτήστε το ίδιο πράγμα δύο φορές. Αν πάρετε δύο απαντήσεις, ο αριθμός εκτιμάται και δεν υπολογίζεται.
- Διασταυρώστε ένα σύνολο με το ίδιο το περιβάλλον της πλατφόρμας, χειροκίνητα, μία φορά τον μήνα.
- Ρωτήστε ποιος κάνει την πράξη. Αν την κάνει το μοντέλο και όχι ο κώδικας, το νούμερο δεν είναι αξιόπιστο.
Η πειθαρχία που έχει σημασία είναι μία. Δεν αναφέρεις νούμερο που δεν το έχεις επαληθεύσει απέναντι στην πηγή.
Όλα τα υπόλοιπα είναι διακόσμηση.