Tekstų panašumo tikrintuvas

Šis įrankis lygina du jūsų įklijuotus tekstus naudodamas du nepriklausomus, tikrus, gerai dokumentuotus algoritmus – o ne miglotą „atrodo panašus“ euristiką. Pirmasis yra n-gramų Jaccard panašumas: kiekvienas tekstas suskaidomas žodžiais, tada suskirstomas į persidengiančius n iš eilės einančių žodžių fragmentus (n-gramą; numatyta n=3, trigrama, kurią galite keisti nuo 1 iki 5). Gautų dviejų n-gramų aibių Jaccard indeksas – jų sankirtos dydis, padalintas iš sąjungos dydžio – yra standartinis aibėmis pagrįstas panašumo matas, naudojamas informacijos paieškoje ir beveik identiškų kopijų aptikime. Didesnis n pagauna ilgesnes bendras frazes ir yra griežtesnis tikslios formuluotės atžvilgiu; mažesnis n yra atlaidesnis ir pagauna laisvą žodžių sutapimą net tarp skirtingai struktūruotų sakinių.

Antrasis algoritmas yra tikra ilgiausia bendra poseka žodžių lygmenyje (LCS), apskaičiuojama naudojant tikrą O(n·m) dinaminio programavimo lentelę per dvi žodžių sekas – tą patį vadovėlinį algoritmą, naudojamą palyginimo įrankiuose, o ne apytikslį metodą. Skirtingai nei n-gramų įvertis, LCS nereikalauja, kad sutampantys žodžiai būtų vienas šalia kito, todėl ji pagauna sutapimą net kai sakinys pertvarkytas ar šiek tiek redaguotas tarp bendrų frazių. Sutapimo procentas išvedamas iš LCS ilgio, palyginti su vidutiniu abiejų tekstų ilgiu. Dinaminio programavimo lentelėje grįžtama atgal, kad būtų tiksliai nustatyta, kurie kiekvieno teksto žodžiai dalyvavo toje ilgiausioje bendroje sekoje, ir tai yra išskirtinė savybė: tie žodžiai susiejami su jūsų pradiniu tekstu – išsaugant jo pradinius tarpus, eilučių lūžius ir skyrybą – ir atvaizduojami kaip paryškintos atkarpos greta, kad galėtumėte tiksliai matyti, kurios ištraukos sutampa, užuot pasikliovę vien skaičiumi.

Čia svarbu apimtis ir sąžiningumas: tai dviejų tekstų palyginimo įrankis, o ne plagijavimo detektorius. Jis neturi interneto ryšio, paieškos indekso ir jokios kitų žmonių turinio duomenų bazės, su kuria galėtų tikrinti – jis gali pasakyti tik tai, kiek panašūs yra du jūsų įklijuoti tekstai. Dėl to jis puikiai tinka lyginti juodraščių versijas, tikrinti, kiek iš tikrųjų pasikeitė perfrazuotas ar perrašytas tekstas, arba pastebėti beveik identišką turinį savo puslapiuose. Žodžių atitikimas nepriklauso nuo didžiųjų ir mažųjų raidžių, o O(n·m) LCS lentelė apribota iki kelių milijonų žodžių porų langelių – labai dideliems tekstams (apytiksliai keliems tūkstančiams žodžių kartu sudėjus) tikslaus LCS ir paryškinimo žingsnis praleidžiamas, pateikiant aiškų paaiškinimą, o n-gramų Jaccard įvertis, reikalaujantis tik linijinio laiko, visada apskaičiuojamas visam tekstui. Viskas veikia vietoje jūsų naršyklėje; nė vienas tekstas nepalieka jūsų įrenginio.