Trình kiểm tra độ tương đồng văn bản

Công cụ này so sánh hai văn bản bạn dán vào bằng hai thuật toán độc lập, thực sự và được mô tả rõ ràng — không phải một phép suy đoán mơ hồ kiểu “trông có vẻ giống”. Thứ nhất là độ tương đồng Jaccard theo n-gram: mỗi văn bản được tách thành các từ, sau đó chia thành các chuỗi chồng lặp gồm n từ liên tiếp (gọi là một n-gram; mặc định n=3, tức trigram, và bạn có thể điều chỉnh từ 1 đến 5). Chỉ số Jaccard của hai tập n-gram thu được — tỷ lệ kích thước phần giao chia cho phần hợp — là một phép đo độ tương đồng dựa trên tập hợp tiêu chuẩn, được sử dụng rộng rãi trong truy hồi thông tin và phát hiện trùng lặp gần đúng. n cao hơn bắt được các cấu trúc câu chung dài hơn và khắt khe hơn về từ ngữ chính xác; n thấp hơn dễ tha thứ hơn và bắt được sự trùng lặp từ lỏng lẻo ngay cả giữa các câu có cấu trúc khác nhau.

Thuật toán thứ hai là Chuỗi con chung dài nhất (LCS) cấp từ nguyên bản, được tính bằng bảng quy hoạch động O(n·m) thực sự trên hai chuỗi từ — cùng một thuật toán kinh điển được các công cụ so sánh khác biệt sử dụng, không phải phép xấp xỉ. Không giống điểm n-gram, LCS không yêu cầu các từ khớp phải liền kề, vì vậy nó nắm bắt được sự trùng lặp ngay cả khi một câu đã được sắp xếp lại hoặc chỉnh sửa nhẹ giữa các cụm từ chung. Tỷ lệ trùng lặp phần trăm được suy ra từ độ dài LCS so với độ dài trung bình của cả hai văn bản. Sau đó, bảng quy hoạch động được truy vết ngược để xác định chính xác những từ nào trong mỗi văn bản tham gia vào chuỗi chung dài nhất đó, và đây là tính năng nổi bật: những từ đó được ánh xạ trở lại văn bản gốc của bạn — với khoảng trắng, ngắt dòng và dấu câu gốc được giữ nguyên — và hiển thị dưới dạng các đoạn tô sáng cạnh nhau, để bạn có thể thấy chính xác những phần nào trùng lặp thay vì chỉ tin vào một con số trần trụi.

Phạm vi và tính trung thực rất quan trọng ở đây: đây là công cụ so sánh hai văn bản, không phải trình phát hiện đạo văn. Nó không có kết nối internet, không có chỉ mục tìm kiếm và không có cơ sở dữ liệu về nội dung của người khác để đối chiếu — nó chỉ có thể cho bạn biết hai văn bản bạn dán vào giống nhau đến mức nào. Điều đó làm cho nó rất phù hợp để so sánh các bản thảo sửa đổi, kiểm tra xem một bản diễn giải hay viết lại đã thay đổi thực sự bao nhiêu, hoặc phát hiện nội dung gần trùng lặp trên các trang của chính bạn. So khớp từ không phân biệt chữ hoa chữ thường, và bảng LCS O(n·m) được giới hạn ở vài triệu ô cặp từ — đối với các văn bản rất lớn (khoảng vài nghìn từ kết hợp), bước LCS chính xác và tô sáng sẽ bị bỏ qua kèm ghi chú bằng ngôn ngữ thuần túy, trong khi điểm Jaccard n-gram, vốn chỉ tốn thời gian tuyến tính, luôn được tính trên toàn bộ văn bản. Mọi thứ chạy cục bộ trong trình duyệt của bạn; không văn bản nào rời khỏi thiết bị của bạn.