Η αγορά των «AI Detectors» έχει αποκτήσει τα τελευταία χρόνια μια μάλλον περίεργη σχέση με τη λέξη βεβαιότητα.
Εργαλεία υπόσχονται ότι μπορούν να εξετάσουν ένα κείμενο και να αποφανθούν αν γράφτηκε από άνθρωπο ή από κάποιο μοντέλο τεχνητής νοημοσύνης. Στη συνέχεια εμφανίζουν ένα ωραίο ποσοστό — 87%, 94%, 99% — μαζί με χρωματιστές επισημάνσεις, γραφήματα και όρους που ακούγονται αρκετά επιστημονικοί ώστε να μην αναρωτηθεί κανείς τι ακριβώς σημαίνει αυτό το 99%.
Εμείς στο OSarena αποφασίσαμε να λύσουμε το πρόβλημα.
Φτιάξαμε λοιπόν έναν AI detector που τουλάχιστον είναι ειλικρινής.
Καλώς ήρθατε στο:
💩 OSarena AI Bullsh*t Detector — Certified RNG Edition™
Ένα αυτοματοποιημένο, μηδενικής σοβαρότητας εργαλείο «ανίχνευσης τεχνητής νοημοσύνης», σχεδιασμένο αποκλειστικά για το OSarena.
Επικολλάτε ένα κείμενο, πατάτε «Analyze» και το σύστημά μας πραγματοποιεί μια εξαιρετικά προηγμένη ανάλυση...
...της τύχης.
Το αποτέλεσμα είναι ένας τυχαίος αριθμός μεταξύ 85% και 99,9% AI.
- Δεν αναλύουμε τη σκέψη του συγγραφέα.
- Δεν διαβάζουμε το κείμενο σε κάποιο υπερσύγχρονο neural network.
- Δεν επικοινωνούμε με κάποιο μυστικό AI cloud.
- Απλώς χρησιμοποιούμε
Math.random().
Και αυτό ακριβώς είναι το αστείο.
Στο πλάι της σελίδας, δεξιά, κάτω από τις κατηγορίες, υπάρχει ο σύνδεσμος προς αυτόν.
Το «™» είναι σαρκαστικό βέβαια.
Γιατί υπάρχει αυτό το εργαλείο;
Επειδή ένα από τα μεγαλύτερα προβλήματα με τους AI detectors δεν είναι ότι «δεν έχουν αρκετά ωραίο interface».
Είναι ότι ένα πιθανολογικό αποτέλεσμα παρουσιάζεται πολύ εύκολα ως αποδεικτικό στοιχείο.
Το να πάρεις ένα κείμενο και να πεις:
δεν είναι το ίδιο πράγμα με το:
«Έχουμε αποδείξει ότι το κείμενο γράφτηκε από AI με πιθανότητα 97%.»
Αυτές οι δύο προτάσεις ακούγονται παρόμοιες, αλλά δεν σημαίνουν το ίδιο πράγμα.
Ένα detector είναι ένας ταξινομητής. Προσπαθεί να εντοπίσει χαρακτηριστικά που σχετίζονται στατιστικά με κείμενα που έχει δει ως ανθρώπινα ή παραγόμενα από μοντέλα.
Δεν έχει πρόσβαση στο ιστορικό του εγγράφου, δεν ξέρει ποιος κάθισε στο πληκτρολόγιο και φυσικά, δεν ήταν παρών όταν γράφτηκε.
Και κυρίως, δεν μπορεί να κοιτάξει ένα κείμενο και να γνωρίζει μεταφυσικά την προέλευσή του.
Πώς προσπαθούν να εντοπίσουν AI κείμενο;
Δεν υπάρχει ένας μοναδικός τρόπος με τον οποίο λειτουργούν όλοι οι AI detectors. Διαφορετικά εργαλεία χρησιμοποιούν διαφορετικούς συνδυασμούς στατιστικών χαρακτηριστικών, classifiers και άλλων μεθόδων.
Μερικές από τις γνωστές προσεγγίσεις εξετάζουν, μεταξύ άλλων, χαρακτηριστικά όπως:
Perplexity
Σε απλά λόγια, αφορά το πόσο προβλέψιμη είναι η ακολουθία των λέξεων ενός κειμένου για ένα γλωσσικό μοντέλο.
Ένα κείμενο με πολύ προβλέψιμες επιλογές λέξεων μπορεί να παρουσιάζει χαρακτηριστικά που σχετίζονται με κείμενο παραγόμενο από LLM.
Το πρόβλημα είναι ότι η προβλεψιμότητα δεν είναι αποκλειστικό χαρακτηριστικό της τεχνητής νοημοσύνης.
- Ένα καλογραμμένο τεχνικό κείμενο μπορεί να είναι προβλέψιμο.
- Ένα ακαδημαϊκό κείμενο μπορεί να είναι προβλέψιμο.
- Ένα επίσημο έγγραφο μπορεί να είναι προβλέψιμο.
- Ένας άνθρωπος που γράφει συστηματικά και χρησιμοποιεί συγκεκριμένο λεξιλόγιο μπορεί να είναι προβλέψιμος.
Κανένας από αυτούς δεν μετατρέπεται αυτομάτως σε transformer.
Burstiness
Άλλες προσεγγίσεις εξετάζουν τη μεταβλητότητα στη δομή και στο μήκος των προτάσεων, τη συχνότητα συγκεκριμένων μοτίβων και άλλα στατιστικά χαρακτηριστικά.
Και εδώ υπάρχει το ίδιο πρόβλημα:
η ανθρώπινη γλώσσα δεν έχει κάποιο μοναδικό fingerprint που να γράφει «HUMAN» από κάτω.
Υπάρχουν άνθρωποι που γράφουν με μεγάλη ποικιλία, άλλοι που γράφουν μονότονα ή που γράφουν άψογα, όπως και αυτοί που γράφουν σαν να τους κυνηγάει η προθεσμία.
Και υπάρχουν άνθρωποι που γράφουν σαν LLM επειδή... απλώς έτσι γράφουν. Και επί αυτού γνωρίζω συγκεκριμένο άνθρωπο, πρώην συντάκτη του παλιού osarena, ο οποίος όχι μόνο έγραφε, αλλά μιλούσε και σαν ΑΙ!
Το πρόβλημα με τα false positives
Εδώ αρχίζουν τα πραγματικά ενδιαφέροντα.
Ένας detector μπορεί να βγάλει λάθος αποτέλεσμα προς οποιαδήποτε κατεύθυνση. Μπορεί να αποτύχει να αναγνωρίσει AI-generated κείμενο, αλλά μπορεί επίσης να χαρακτηρίσει ανθρώπινο κείμενο ως AI-generated.
Το δεύτερο είναι ιδιαίτερα επικίνδυνο όταν το αποτέλεσμα χρησιμοποιείται ως κατηγορία.
Για παράδειγμα:
«Ο detector βρήκε 98% AI.» και ξαφνικά το στατιστικό score μετατρέπεται σε:
«Άρα ο συγκεκριμένος άνθρωπος χρησιμοποίησε AI.»
Αυτό είναι ένα λογικό άλμα που το ίδιο το score δεν δικαιολογεί.
Και το πρόβλημα δεν είναι απλώς θεωρητικό. Έχουν δημοσιευτεί μελέτες που δείχνουν ότι οι AI detectors μπορούν να παρουσιάσουν σημαντικά false positives και διαφορετική συμπεριφορά ανάλογα με τη γλώσσα, το είδος του κειμένου, το μοντέλο παραγωγής, το μήκος του κειμένου και άλλους παράγοντες: link.springer.co.
Υπάρχει μάλιστα έρευνα που έχει δείξει ιδιαίτερα προβληματικά αποτελέσματα για κείμενα μη φυσικών ομιλητών της αγγλικής γλώσσας: hai.stanford.
Με άλλα λόγια το ότι ένα κείμενο μοιάζει στατιστικά με κάτι που θα μπορούσε να γράψει ένα AI, δεν σημαίνει ότι το έγραψε AI.
Ακριβώς όπως το ότι ένας άνθρωπος μοιάζει στατιστικά με έναν εγκληματία δεν αποτελεί απόδειξη ότι διέπραξε έγκλημα.
Εδώ βρίσκεται ίσως η πιο σημαντική παρεξήγηση.
Το «99% AI» που βλέπετε σε ένα interface δεν πρέπει να διαβάζεται αυτομάτως ως 99% πιθανότητα ότι ο συγκεκριμένος άνθρωπος χρησιμοποίησε AI.
Το τι ακριβώς σημαίνει ένα score εξαρτάται από το μοντέλο, τα δεδομένα εκπαίδευσης, τη βαθμονόμησή του, τον τρόπο αξιολόγησης και το πώς έχει αποφασίσει ο κατασκευαστής να παρουσιάσει το αποτέλεσμα.
Και εδώ μπαίνει το μεγάλο πρόβλημα των thresholds.
Ένα σύστημα πρέπει κάποια στιγμή να πάρει ένα συνεχές ή σύνθετο στατιστικό σήμα και να το μετατρέψει σε απόφαση:
**human / AI / πιθανώς AI / mixed / whatever.**
Το σημείο στο οποίο μπαίνει το όριο έχει τεράστια σημασία.
Μπορείς να αλλάξεις το threshold και να αλλάξεις δραματικά πόσα κείμενα χαρακτηρίζονται ως AI.
Όμως, δεν υπάρχει κάποιος κοσμικός νόμος που λέει ότι στο 73,4% βρίσκεται το μαγικό σύνορο μεταξύ ανθρώπου και μηχανής.
Είναι απόφαση μοντελοποίησης. Απλά και μόνο. Τίποτα περισσότερο, τίποτα λιγότερο.
Και γι' αυτό ένα interface που εμφανίζει ένα τεράστιο «98% AI» μπορεί να δημιουργεί πολύ μεγαλύτερη αίσθηση βεβαιότητας από αυτή που πραγματικά δικαιολογούν τα δεδομένα.
Και κάπου εδώ εμφανίζεται το OSarena Bullsh*t Detector 💩
Εμείς είπαμε:
Αφού έτσι κι αλλιώς θα πάρεις ένα ποσοστό που δεν αποτελεί από μόνο του απόδειξη, ας πάρεις τουλάχιστον ένα ποσοστό που ξέρεις από την αρχή ότι είναι τυχαίο.
Το δικό μας detector:
- Δεν προσποιείται ότι έχει καταλάβει το κείμενο.
- Δεν προσποιείται ότι έχει βρει κάποιο κρυφό linguistic fingerprint.
- Δεν προσποιείται ότι έκανε forensic analysis.
- Δεν προσποιείται ότι γνωρίζει ποιος έγραψε το κείμενο.
Πατάς το κουμπί και παίρνεις έναν τυχαίο αριθμό:
85.0% — 99.9%
Κάθε φορά διαφορετικό.
- Αν βάλεις ένα κείμενο του 2026, μπορεί να είναι AI.
- Αν βάλεις ένα κείμενο του 1920, μπορεί να είναι AI.
- Αν βάλεις ένα κείμενο που γράφτηκε πριν υπάρξουν ηλεκτρονικοί υπολογιστές, μπορεί να είναι AI.
- Αν βάλεις το ίδιο κείμενο δύο φορές, μπορεί να πάρεις διαφορετικό αποτέλεσμα.
Και τουλάχιστον εδώ ξέρεις γιατί.
Η τεχνική πλευρά του πράγματος
Παρά το γεγονός ότι το εργαλείο τρολάρει την ιδέα του «μαγικού AI detection», τεχνικά είναι εξαιρετικά απλό και διαφανές.
Η εφαρμογή είναι πλήρως client-side, χωρίς backend, database ή API τρίτου μέρους.
Χρησιμοποιεί:
-🔹 HTML5
-🔹 CSS3
-🔹Vanilla JavaScript
και φιλοξενείται ως single-page εφαρμογή.
Ο δε πυρήνας του «αλγορίθμου» είναι περίπου τόσο εξελιγμένος, όσο θα περίμενε κανείς:
const score =
(Math.random() * (99.9 - 85.0) + 85.0).toFixed(1);
Δηλαδή:
παίρνουμε έναν τυχαίο αριθμό μεταξύ 85,0 και 99,9 και τον εμφανίζουμε ως AI score.
- Δεν υπάρχει database που να αποθηκεύει τα κείμενα.
- Δεν υπάρχει server-side ανάλυση του περιεχομένου.
- Δεν χρειάζεται API key.
- Δεν στέλνεται το κείμενο σε κάποιο τρίτο AI service για «ανάλυση».
Η εφαρμογή απλώς κάνει αυτό που λέει ότι κάνει.
Ή, για να είμαστε πιο ακριβείς:
κάνει αυτό που λέει ότι κάνει, επειδή δεν προσπαθεί να πει ότι κάνει κάτι άλλο.
Ο κώδικας βασίστηκε, αρχικά σε αυτόν του Bryan Vine: bryanvine/ai-detector με σημαντικές τροποποιήσεις. Ωστόσο, επειδή έβγαζε κάποιο bug που αδυνατούσα να επιλύσω, ζήτησα την βοηθεια του Μητσάρα (του τοπικού μου llm) και σε δυο λεπτά problem fixed.
Single-file architecture
Ολόκληρη η εφαρμογή βρίσκεται σε ένα index.html, το οποίο περιλαμβάνει:
- 🔹το DOM
- 🔹το CSS
- 🔹την JavaScript λογική
- 🔹τα UI στοιχεία-
- 🔹τα sample/preset κείμενα
Η εμφάνιση ακολουθεί το dark αισθητικό προφίλ του OSarena, με σκούρο background, μπλε στοιχεία και system/monospace γραμματοσειρές.
Υπάρχει επίσης βασικό input validation, ώστε η εφαρμογή να μην προσπαθεί να «αναλύσει» κενή είσοδο, καθώς και preset δείγματα για όσους θέλουν να δουν αμέσως πώς λειτουργεί.
Από πλευράς deployment, το site σερβίρεται μέσω Nginx στο detector.osarena.org και χρησιμοποιεί HTTPS.
Τίποτα ιδιαίτερα μυστηριώδες.
Και αυτή είναι λίγο-πολύ η ιδέα.
Το πραγματικό πρόβλημα δεν είναι ότι οι detectors κάνουν λάθος
Το πιο ενδιαφέρον ζήτημα είναι τι κάνουμε όταν ένα εργαλείο που παράγει πιθανότητες αντιμετωπίζεται σαν μηχανή αλήθειας.
Ένα detector μπορεί να είναι χρήσιμο ως ένα ενδεικτικό εργαλείο. Αφού μπορεί να βοηθήσει σε research, να χρησιμοποιηθεί για πειραματισμό ή, και να παρουσιάζει ενδιαφέρον ως statistical signal.
Αλλά υπάρχει τεράστια διαφορά ανάμεσα στο:
«Το κείμενο παρουσιάζει χαρακτηριστικά που το συγκεκριμένο μοντέλο συσχετίζει με AI-generated κείμενο»
και στο:
«Το AI έγραψε αυτό το κείμενο.»
Το δεύτερο είναι πολύ ισχυρότερος ισχυρισμός.
Και ένα ποσοστό στην οθόνη δεν τον κάνει αυτομάτως αληθινό.
Μην μπερδεύετε το score με την απόδειξη
Αυτό είναι τελικά όλο το νόημα του Bullsh*t Detector.
Δεν υποστηρίζουμε ότι κάθε AI detector είναι κυριολεκτικά ένα Math.random(). Δεν είναι.
Υπάρχουν διαφορετικές τεχνικές, μοντέλα, datasets και επίπεδα ποιότητας. Κάποια συστήματα μπορεί να αποδίδουν καλύτερα από άλλα σε συγκεκριμένες συνθήκες.
Αυτό όμως δεν αλλάζει το βασικό ζήτημα: ένα detector δεν έχει μαγική πρόσβαση στην ιστορία συγγραφής ενός κειμένου.
Ένα statistical classifier μπορεί να εκτιμήσει ομοιότητες με τα δεδομένα και τα χαρακτηριστικά που έχει μάθει.
Δεν μπορεί, από ένα κείμενο μόνο, να μετατρέψει μια στατιστική εκτίμηση σε αδιάσειστη απόδειξη ταυτότητας του συγγραφέα.
Και όσο περισσότερο ένα interface παρουσιάζει το αποτέλεσμα σαν απόλυτη αλήθεια, τόσο περισσότερο χρειάζεται να θυμόμαστε τι βρίσκεται από πίσω: ένα μοντέλο, κάποια δεδομένα, κάποιες υποθέσεις, κάποια thresholds και ένα score.
Όχι έναν ψηφιακό ανακριτή.
Certified RNG Edition™
Το δικό μας εργαλείο λοιπόν έχει ένα μικρό πλεονέκτημα απέναντι στους υπόλοιπους:
- ΔΕΝ σου λέει ότι ξέρει.
- Σου λέει ότι τραβάει έναν αριθμό από το καπέλο.
Και αν κάποιος θέλει να χρησιμοποιήσει το αποτέλεσμα ενός τέτοιου εργαλείου ως «αδιάσειστη απόδειξη» ότι ένας άνθρωπος χρησιμοποίησε AI, τότε ίσως το μεγαλύτερο πρόβλημα δεν είναι ο detector.
Ίσως είναι ότι κάποιος μπέρδεψε ένα ποσοστό με την αλήθεια.
Disclaimer
Το OSarena AI Bullsh*t Detector είναι σατιρικό/πειραματικό εργαλείο και δεν αποτελεί πραγματικό AI detector. Τα ποσοστά που εμφανίζει είναι σκόπιμα τυχαία και δεν έχουν καμία σχέση με την προέλευση ή την ποιότητα του κειμένου που εισάγετε.
Αν το αποτέλεσμα γράψει 99,9% AI, τουλάχιστον ξέρουμε με βεβαιότητα ότι αυτή τη φορά... όντως λέει μαλακίες.
Μην πληρώνετε γι' αυτά, επειδή το 99,9% που κυκλοφορούν, δίνουν 1 - 2 δοκιμές και μετά σε προτρέπουν να πληρώνεις, συνήθως ανά μήνα, για τη χρήση του.
Και ας μην αναφερθούμε στα θέματα ιδιωτικότητας επειδή εκεί υπάρχει μαύρο σκοτάδι.