مدقق تشابه النص

تقارن هذه الأداة بين نصين تلصقهما باستخدام خوارزميتين مستقلتين وحقيقيتين وموثقتين جيدًا - وليس استدلالًا غامضًا "يبدو متشابهًا". الأول هو تشابه n-gram Jaccard: يتم ترميز كل نص إلى كلمات، ثم يتم تقسيمه إلى مجموعات متداخلة من n كلمات متتالية (n-gram؛ الافتراضي هو n=3، ثلاثي الأبعاد، ويمكنك ضبطه من 1 إلى 5). إن مؤشر جاكارد لمجموعتي n-gram الناتجتين - حجم تقاطعهما مقسومًا على حجم اتحادهما - هو مقياس تشابه قياسي قائم على المجموعة يُستخدم عبر استرجاع المعلومات والكشف شبه المكرر. يلتقط الحرف n الأعلى الصياغة المشتركة الأطول ويكون أكثر صرامة فيما يتعلق بالصياغة الدقيقة؛ يكون الحرف n السفلي أكثر تسامحًا ويلتقط تداخلًا فضفاضًا للكلمات حتى بين الجمل ذات التنظيم المختلفة.

الخوارزمية الثانية هي أطول تسلسل مشترك حقيقي (LCS) على مستوى الكلمة، محسوبة بجدول برمجة ديناميكي O(n·m) حقيقي على تسلسل كلمتين - نفس خوارزمية الكتاب المدرسي المستخدمة بواسطة أدوات الفرق، وليس التقريب. على عكس درجة n-gram، لا يتطلب LCS أن تكون الكلمات المطابقة متجاورة، لذلك فهو يلتقط التداخل حتى عند إعادة ترتيب الجملة أو تحريرها بشكل طفيف بين العبارات المشتركة. يتم اشتقاق نسبة التداخل من طول LCS بالنسبة لمتوسط ​​طول كلا النصين. يتم بعد ذلك إرجاع جدول DP لتحديد الكلمات التي شاركت في أطول تسلسل مشترك بدقة، وهذه هي الميزة البارزة: يتم تعيين هذه الكلمات مرة أخرى على النص الأصلي - مع تباعدها الأصلي، وفواصل الأسطر، وعلامات الترقيم سليمة - ويتم عرضها على شكل امتدادات مميزة جنبًا إلى جنب، حتى تتمكن من رؤية المقاطع التي تتداخل بالضبط بدلاً من الثقة في رقم مجرد.

النطاق والصدق مهمان هنا: هذه أداة لمقارنة نصين، وليست كاشفًا للسرقة الأدبية. لا يوجد به اتصال بالإنترنت، ولا فهرس بحث، ولا قاعدة بيانات لمحتوى أشخاص آخرين للتحقق منها - يمكنه فقط إخبارك بمدى تشابه النصين اللذين تلصقهما مع بعضهما البعض. وهذا يجعله مناسبًا تمامًا لمقارنة مسودة المراجعات، أو التحقق من مقدار التغيير الفعلي في إعادة الصياغة أو إعادة الكتابة، أو اكتشاف محتوى شبه مكرر عبر صفحاتك الخاصة. مطابقة الكلمات غير حساسة لحالة الأحرف، ويتم تحديد جدول O(n·m) LCS ببضعة ملايين من خلايا زوج الكلمات - بالنسبة للنصوص الكبيرة جدًا (حوالي بضعة آلاف من الكلمات مجتمعة) يتم تخطي خطوة LCS الدقيقة وتمييزها مع ملاحظة بلغة عادية، في حين يتم دائمًا حساب درجة n-gram Jaccard، التي تكلف وقتًا خطيًا فقط، على النص الكامل. كل شيء يعمل محليًا في متصفحك؛ لا يترك أي نص جهازك أبدًا.