בודק דמיון טקסט

כלי זה משווה בין שני טקסטים שאתה מדביק באמצעות שני אלגוריתמים עצמאיים, אמיתיים ומתועדים היטב - לא היוריסטיקה מעורפלת של "נראה דומה". הראשון הוא דמיון ג'קארד של n-גרם: כל טקסט מסומן למילים, ואז מפוצל לרצות חופפות של n מילים רצופות (-n-גרם; ברירת המחדל היא n=3, טריגרם, ותוכל להתאים אותו מ-1 ל-5). אינדקס ה-Jaccard של שתי קבוצות ה-n-גרם שהתקבלו - גודל החתך שלהן חלקי גודל האיחוד שלהן - הוא מדד דמיון מבוסס-סט סטנדרטי המשמש באחזור מידע וזיהוי כמעט כפילויות. n גבוה יותר תופס ניסוח משותף ארוך יותר ומחמיר יותר לגבי ניסוח מדויק; n נמוך יותר סלחן יותר ותופס חפיפה רופפת של מילים אפילו בין משפטים בעלי מבנה שונה.

האלגוריתם השני הוא רצף המשותף הארוך ביותר (LCS) אמיתי ברמת המילה, המחושב עם טבלת תכנות דינמית אמיתית O(n·m) על פני שני רצפי המילים - אותו אלגוריתם של ספר לימוד המשמש בכלים שונים, לא קירוב. בניגוד לציון n-gram, ה-LCS אינו דורש מילים מותאמות להיות צמודות, ולכן הוא לוכד חפיפה גם כאשר משפט עבר סדר מחדש או עריכה קלה בין ביטויים משותפים. אחוז החפיפה נגזר מאורך LCS ביחס לאורך הממוצע של שני הטקסטים. לאחר מכן, טבלת ה-DP נמשכת לאחור כדי לזהות במדויק אילו מילים בכל טקסט לקחו חלק ברצף המשותף הארוך ביותר, וזוהי התכונה הבולטת: המילים הללו ממפות בחזרה אל הטקסט המקורי שלך - עם המרווח המקורי, מעברי השורות וסימני הפיסוק שלו ללא פגע - ומעובדות כטווחים מודגשים זה לצד זה, כך שתוכל לראות בדיוק אילו קטעים אמון חופפים במקום מספר חשוף.

ההיקף והיושר חשובים כאן: זהו כלי להשוואת שני טקסטים, לא גלאי גניבת עין. אין לו חיבור לאינטרנט, אין אינדקס חיפוש ואין מסד נתונים של תוכן של אנשים אחרים שאפשר לבדוק מולו - הוא יכול רק לומר לך עד כמה שני הטקסטים שאתה מדביק דומים זה לזה. זה הופך אותו למתאים היטב להשוואת טיוטות מהדורות, בדיקת עד כמה פרפרזה או שכתוב באמת השתנו, או איתור תוכן כמעט משוכפל על פני הדפים שלך. התאמת מילים אינה תלויה באותיות גדולות, וטבלת O(n·m) LCS מוגבלת לכמה מיליוני תאים של צמד מילים - עבור טקסטים גדולים מאוד (בערך כמה אלפי מילים משולבות) מדלגים על שלב ה-LCS וההדגשה המדויקת עם הערה בשפה פשוטה, בעוד שציון Jaccard ב-n-גרם, שעולה רק זמן ליניארי, מחושב תמיד בטקסט המלא. הכל פועל באופן מקומי בדפדפן שלך; אף טקסט לא יוצא מהמכשיר שלך.