Metin Benzerliği Denetleyicisi

Bu araç, yapıştırdığınız iki metni, belirsiz bir "benzer görünen" buluşsal yöntemi değil, iki bağımsız, gerçek, iyi belgelenmiş algoritmayı kullanarak karşılaştırır. Birincisi, n-gram Jaccard benzerliğidir: her metin kelimelere dönüştürülür, ardından n ardışık kelimeden oluşan örtüşen dizilere bölünür (bir n-gram; varsayılan değer n=3, bir trigramdır ve bunu 1'den 5'e kadar ayarlayabilirsiniz). Sonuçta elde edilen iki n-gram kümesinin Jaccard indeksi (kesişmelerinin boyutunun birleşimlerinin boyutuna bölümü), bilgi alma ve neredeyse kopya tespitinde kullanılan standart küme tabanlı bir benzerlik ölçüsüdür. Daha yüksek n, daha uzun paylaşılan ifadeleri yakalar ve tam ifadeler konusunda daha katıdır; Daha düşük bir n daha bağışlayıcıdır ve farklı yapılandırılmış cümleler arasında bile gevşek sözcük örtüşmelerini yakalar.

İkinci algoritma, iki kelime dizisi üzerinde gerçek bir O(n·m) dinamik programlama tablosuyla hesaplanan gerçek bir kelime düzeyinde En Uzun Ortak Alt Dizidir (LCS) - diff araçları tarafından kullanılan aynı ders kitabı algoritması, bir yaklaşım değil. N-gram puanının aksine LCS, eşleşen kelimelerin bitişik olmasını gerektirmez; bu nedenle, bir cümle yeniden sıralandığında veya paylaşılan ifadeler arasında hafifçe düzenlendiğinde bile örtüşmeleri yakalar. Örtüşme yüzdesi, her iki metnin ortalama uzunluğuna göre LCS uzunluğundan elde edilir. Daha sonra DP tablosu, her metindeki hangi kelimelerin o en uzun ortak dizide yer aldığını tam olarak belirlemek için geriye doğru izlenir ve bu göze çarpan özelliktir: bu kelimeler, orijinal aralığı, satır sonları ve noktalama işaretleri bozulmadan orijinal metninize geri eşleştirilir ve yan yana vurgulanmış yayılmalar olarak oluşturulur, böylece çıplak bir sayıya güvenmek yerine tam olarak hangi pasajların çakıştığını görebilirsiniz.

Burada kapsam ve dürüstlük önemlidir: Bu, iki metinli bir karşılaştırma aracıdır, intihal dedektörü değildir. İnternet bağlantısı yok, arama dizini yok ve diğer insanların içeriğini kontrol edecek bir veri tabanı yok; size yalnızca yapıştırdığınız iki metnin birbirine ne kadar benzer olduğunu söyleyebilir. Bu, onu taslak revizyonları karşılaştırmak, bir açıklamanın veya yeniden yazmanın gerçekte ne kadar değiştiğini kontrol etmek veya kendi sayfalarınızdaki neredeyse yinelenen içeriği tespit etmek için çok uygun hale getirir. Kelime eşleştirme büyük/küçük harfe duyarlı değildir ve O(n·m) LCS tablosunun sınırı birkaç milyon kelime çifti hücresiyle sınırlıdır; çok büyük metinler için (kabaca birkaç bin kelimenin birleşimi) tam LCS ve vurgulama adımı düz dilli bir notla atlanır, yalnızca doğrusal zamana mal olan n-gram Jaccard puanı ise her zaman tam metin üzerinde hesaplanır. Tarayıcınızda her şey yerel olarak çalışır; hiçbir metin cihazınızdan asla ayrılmaz.