Perché i sistemi di verifica basati sull'intelligenza artificiale assegnano punteggi diversi allo stesso saggio

Introduzione

Due schede del browser, un saggio e due risultati molto diversi. Il primo strumento di controllo indica l’8 per cento. Il secondo indica il 61. Nel testo non è cambiato nulla tra un incollaggio e l’altro, non hai modificato nemmeno una parola e ora non sai a quale schermata credere.

Nessuno dei due sta mentendo. Stanno semplicemente rispondendo alla domanda in modo diverso, e capire il perché ti aiuta a non farti prendere dal panico in quel momento. Questo articolo spiega da dove deriva questa discrepanza, come confrontare i risultati in modo sensato e cosa ti sta realmente dicendo questa divergenza.

Formazione diversa, istinti diversi

Ogni strumento di controllo è costruito secondo una propria formula. Alcuni si basano sulla «perplessità», una misura di quanto la tua formulazione sia prevedibile per un modello linguistico. Altri valutano la «burstiness», ovvero la varietà nella lunghezza e nella struttura delle frasi. Molti combinano questi elementi con classificatori addestrati su esempi etichettati di testo umano e generato da macchina, e ciò che questi esempi contengono determina tutto ciò che lo strumento rileva in seguito.

La pagina dedicata al rilevatore di Phrasly afferma che il suo addestramento si basa su oltre 1 milione di articoli reali scritti da esseri umani, un’affermazione del fornitore che vale la pena conoscere perché illustra il punto: uno strumento addestrato principalmente su articoli di cronaca giudicherà un saggio accademico in modo diverso rispetto a uno addestrato su testi scritti da studenti. Due strumenti di controllo possono leggere la stessa frase e giungere a conclusioni diverse perché hanno appreso da diverse raccolte di testi.

Il significato della percentuale dipende dallo strumento

Anche la cifra principale non è standardizzata. Un tool riporta la probabilità che l’intero testo sia stato scritto da una macchina. Un altro riporta la percentuale di frasi che ritiene siano state scritte da una macchina. Un terzo calcola la media dei punteggi delle frasi. Tutti riportano una percentuale, ma non misurano la stessa cosa. Anche le soglie differiscono. Uno strumento potrebbe considerare probabile che qualsiasi testo con una percentuale superiore al 50% sia stato scritto da una macchina, mentre un altro aspetta fino all’80%, quindi un risultato grezzo identico può ricevere etichette opposte.

Ecco perché un semplice numero proveniente da due fonti diverse non può essere confrontato direttamente. Verificate come ogni strumento descrive il proprio punteggio e preferite quelli che mostrano le frasi evidenziate e le probabilità. Quando potete vedere le frasi alla base della cifra, potete confrontare ciò che gli strumenti hanno effettivamente segnalato piuttosto che le etichette che hanno attribuito.

Gli aggiornamenti dei modelli lasciano delle lacune

Gli strumenti di scrittura basati sull’IA cambiano costantemente, mentre i rilevatori restano indietro. Un articolo esplicativo del 2026 pubblicato da Centric DXB descrive il problema come uno “spostamento di distribuzione”: un classificatore addestrato su modelli più vecchi perde precisione quando ne arrivano di più recenti, finché non viene riaddestrato. Uno strumento di controllo aggiornato il mese scorso e uno aggiornato l’anno scorso possono gestire lo stesso saggio in modo molto diverso. Nulla di tutto ciò rende inutili gli strumenti di controllo più vecchi. Significa che dovreste controllare le note sugli aggiornamenti recenti di uno strumento così come controllereste la data di rilascio di un’app, e considerare il silenzio come un motivo per prestare maggiore attenzione.

Anche la copertura è un fattore importante. La pagina di Phrasly cita ChatGPT, Claude, Gemini, Perplexity, DeepSeek e Grok tra i modelli a cui si rivolge e supporta inglese, spagnolo, francese e tedesco. Uno strumento con una copertura più limitata potrebbe non rilevare schemi che un altro rileva, oppure segnalare come testo generato da un sistema ciò che in realtà è scritto da un essere umano, semplicemente perché non lo comprende.

Lo stesso saggio, letto in modo diverso

C’è anche il lato umano del testo. Uno studio del 2023 condotto da ricercatori di Stanford ha testato sette rilevatori ampiamente utilizzati su 91 saggi TOEFL scritti da persone non madrelingua in inglese, e in media il 61,3% è stato erroneamente etichettato come generato dall’IA (Liang et al., Patterns, 2023). Una formulazione semplice, attenta e prevedibile è ciò che uno strumento basato sulla perplessità considera simile a quella di una macchina.

Se il tuo saggio è scritto in una seconda lingua, in uno stile accademico fortemente strutturato o seguendo un modello standard, aspettati punteggi più alti e una maggiore discrepanza tra gli strumenti. La discrepanza non è casuale. Riflette quanto ogni strumento di controllo sia sensibile a uno stile di scrittura comune tra gli autori autentici. Anche l’argomento ha la sua importanza. La scrittura tecnica, con i suoi termini fissi e le strutture ripetitive, offre a un rilevatore meno variazioni su cui lavorare rispetto a una riflessione personale.

Un modo sensato per confrontare i risultati

Quando due strumenti non sono d’accordo, resisti alla tentazione di continuare a incollare il testo finché non ottieni un punteggio che ti soddisfa. Segui invece un piano. Non trascurare la lunghezza. Incolla ogni volta lo stesso saggio completo, perché un strumento di controllo a cui viene fornita solo l’introduzione sta risolvendo un problema diverso rispetto a uno a cui vengono fornite dieci pagine.

• Controlla lo stesso testo completo, senza apportare modifiche tra una scansione e l’altra.

• Presta attenzione a come ogni strumento definisce il proprio punteggio.

• Confronta le frasi evidenziate piuttosto che i dati principali.

• Segnate ogni frase segnalata da entrambi, poiché tale sovrapposizione è l’indizio più utile.

• Riscrivi quelle righe con qualcosa di specifico e originale, quindi esegui nuovamente l'analisi.

Scegliete un verificatore AI come punto di riferimento e utilizzatelo in modo coerente, in modo che le variazioni nel punteggio riflettano i cambiamenti nella vostra scrittura anziché quelli dello strumento. La coerenza vi offre un andamento da cui potete imparare, mentre passare da uno strumento all’altro genera solo rumore. Se lo fate spesso, tenete un piccolo registro: data, strumento, punteggio e quali frasi sono state evidenziate. Dopo alcuni saggi saprete come ogni strumento tende a comportarsi con il vostro stile, il che vale più di qualsiasi singola lettura.

Quando il disaccordo è l’informazione

Ecco un punto che sfugge a molte persone. Se due strumenti affidabili sono in netto disaccordo sul tuo testo, questa è una prova di ambiguità. Il testo si colloca in una zona grigia che il software non è in grado di risolvere, e nessuno dei due valori merita di essere considerato una prova. Nel 2023 OpenAI ha ritirato il proprio AI Text Classifier dopo aver riportato un tasso di veri positivi del 26% e un tasso di falsi positivi del 9% (OpenAI, 2023), a ricordarci che anche i team con risorse abbondanti faticano a tracciare una linea netta.

Quindi la risposta giusta a un verdetto contrastante è affidarsi al proprio processo. Conservate bozze, schemi e appunti, e siate pronti a spiegare la vostra argomentazione con parole vostre. Se un docente o un revisore chiede informazioni su un punteggio, quei documenti parlano più forte di qualsiasi singola analisi. Se dovete comunicare un numero a qualcuno, indicate l’intervallo e citate gli strumenti utilizzati.

L’accordo è raro, ed è utile saperlo

Strumenti diversi, addestrati in modo diverso, progettati per modelli diversi e che misurano aspetti leggermente diversi, raramente produrranno punteggi corrispondenti. Sapere questo vi permette di smettere di inseguire un unico numero corretto e di iniziare a fare qualcosa di meglio: leggere i punti salienti, rafforzare eventuali frasi generiche e tenere traccia di come avete scritto. Una discrepanza tra due strumenti di controllo non è una crisi. È uno spunto per guardare più da vicino.

Se desideri capire meglio come vengono generati i punteggi di rilevamento e quali sono i loro limiti, nel blog di Phrasly troverai ulteriori approfondimenti su questi argomenti.