Controllo della somiglianza del testo

Questo strumento confronta due testi incollati utilizzando due algoritmi indipendenti, reali e ben documentati, non una vaga euristica "sembra simile". La prima è la somiglianza Jaccard con n-grammi: ogni testo viene tokenizzato in parole, quindi suddiviso in sequenze sovrapposte di n parole consecutive (un n-gramma; il valore predefinito è n=3, un trigramma, e puoi regolarlo da 1 a 5). L'indice di Jaccard dei due insiemi di n-grammi risultanti (la dimensione della loro intersezione divisa per la dimensione della loro unione) è una misura di somiglianza standard basata su insiemi utilizzata nel recupero delle informazioni e nel rilevamento quasi duplicato. Un n più alto coglie una frase condivisa più lunga ed è più rigoroso riguardo alla formulazione esatta; una n inferiore è più indulgente e rileva la vaga sovrapposizione di parole anche tra frasi strutturate in modo diverso.

Il secondo algoritmo è una vera e propria Longest Common Subsequence (LCS) a livello di parola, calcolata con una vera tabella di programmazione dinamica O(n·m) sulle due sequenze di parole: lo stesso algoritmo dei libri di testo utilizzato dagli strumenti diff, non un'approssimazione. A differenza del punteggio n-gram, LCS non richiede che le parole corrispondenti siano contigue, quindi cattura la sovrapposizione anche quando una frase è stata riordinata o leggermente modificata tra frasi condivise. La percentuale di sovrapposizione deriva dalla lunghezza LCS rispetto alla lunghezza media di entrambi i testi. La tabella DP viene quindi tornata indietro per identificare con precisione quali parole in ciascun testo hanno preso parte alla sequenza comune più lunga, e questa è la caratteristica principale: quelle parole vengono mappate nuovamente sul testo originale - con la spaziatura originale, le interruzioni di riga e la punteggiatura intatte - e rese come intervalli evidenziati uno accanto all'altro, in modo da poter vedere esattamente quali passaggi si sovrappongono invece di fidarsi di un semplice numero.

La portata e l'onestà contano qui: questo è uno strumento di confronto di due testi, non un rilevatore di plagio. Non ha connessione Internet, nessun indice di ricerca e nessun database di contenuti di altre persone con cui confrontarsi: può solo dirti quanto sono simili tra loro i due testi che incolli. Ciò lo rende particolarmente adatto per confrontare bozze di revisione, verificare quanto una parafrasi o riscrittura è effettivamente cambiata o individuare contenuti quasi duplicati nelle tue pagine. La corrispondenza delle parole non fa distinzione tra maiuscole e minuscole e la tabella LCS O(n·m) è limitata a pochi milioni di celle per coppie di parole: per testi molto grandi (circa poche migliaia di parole combinate) l'LCS esatto e il passaggio di evidenziazione vengono saltati con una nota in linguaggio semplice, mentre il punteggio Jaccard n-grammi, che costa solo tempo lineare, viene sempre calcolato sul testo completo. Tutto funziona localmente nel tuo browser; nessuno dei due messaggi lascia mai il tuo dispositivo.