Trình kiểm tra độ tương tự của văn bản

Công cụ này so sánh hai văn bản bạn dán bằng cách sử dụng hai thuật toán độc lập, thực tế, được ghi chép đầy đủ — không phải là một thuật toán phỏng đoán "trông giống nhau" mơ hồ. Đầu tiên là sự tương đồng của n-gram Jaccard: mỗi văn bản được mã hóa thành các từ, sau đó được chia thành các chuỗi chồng chéo của n từ liên tiếp (n-gram; mặc định là n=3, một bát quái và bạn có thể điều chỉnh nó từ 1 đến 5). Chỉ số Jaccard của hai tập hợp n-gram thu được - kích thước giao điểm của chúng chia cho kích thước liên kết của chúng - là thước đo độ tương tự dựa trên tập hợp tiêu chuẩn được sử dụng trong quá trình truy xuất thông tin và phát hiện gần trùng lặp. N cao hơn sẽ nắm bắt được cụm từ được chia sẻ dài hơn và chặt chẽ hơn về cách diễn đạt chính xác; n thấp hơn sẽ dễ tha thứ hơn và tránh được sự chồng chéo từ ngay cả giữa các câu có cấu trúc khác nhau.

Thuật toán thứ hai là Chuỗi con chung dài nhất (LCS) cấp độ từ thực sự, được tính toán bằng bảng lập trình động O(n·m) thực trên hai chuỗi từ - cùng một thuật toán trong sách giáo khoa được sử dụng bởi các công cụ tìm khác biệt, không phải là phép tính gần đúng. Không giống như điểm n-gram, LCS không yêu cầu các từ trùng khớp phải liền kề nhau, do đó, nó ghi lại sự trùng lặp ngay cả khi một câu đã được sắp xếp lại hoặc chỉnh sửa nhẹ giữa các cụm từ được chia sẻ. Tỷ lệ phần trăm trùng lặp được lấy từ độ dài LCS so với độ dài trung bình của cả hai văn bản. Sau đó, bảng DP được quay lại để xác định chính xác những từ nào trong mỗi văn bản tham gia vào chuỗi chung dài nhất đó và đây là tính năng nổi bật: những từ đó được ánh xạ trở lại văn bản gốc của bạn — với khoảng cách ban đầu, dấu ngắt dòng và dấu câu vẫn giữ nguyên — và được hiển thị dưới dạng các khoảng được đánh dấu cạnh nhau, vì vậy bạn có thể thấy chính xác những đoạn nào chồng lên nhau thay vì tin vào một con số trống.

Phạm vi và tính trung thực rất quan trọng ở đây: đây là công cụ so sánh hai văn bản, không phải là công cụ phát hiện đạo văn. Nó không có kết nối internet, không có chỉ mục tìm kiếm và không có cơ sở dữ liệu về nội dung của người khác để kiểm tra - nó chỉ có thể cho bạn biết hai văn bản bạn dán vào giống nhau đến mức nào. Điều đó làm cho nó rất phù hợp để so sánh các bản sửa đổi dự thảo, kiểm tra xem một cách diễn giải hoặc viết lại thực sự đã thay đổi bao nhiêu hoặc phát hiện nội dung gần như trùng lặp trên các trang của chính bạn. So khớp từ không phân biệt chữ hoa chữ thường và bảng LCS O(n·m) được giới hạn ở vài triệu ô ghép từ — đối với các văn bản rất lớn (kết hợp khoảng vài nghìn từ), LCS chính xác và bước đánh dấu được bỏ qua bằng ghi chú bằng ngôn ngữ đơn giản, trong khi điểm Jaccard n-gram, chỉ tính thời gian tuyến tính, luôn được tính trên toàn văn. Mọi thứ chạy cục bộ trong trình duyệt của bạn; không có văn bản nào rời khỏi thiết bị của bạn.