Độ tương tự chuỗi

Độ tương tự chuỗi đo mức độ giống nhau giữa hai chuỗi văn bản. Được sử dụng trong kiểm tra chính tả, phân tích DNA, phát hiện đạo văn và khử trùng lặp dữ liệu.

Khoảng cách Levenshtein (khoảng cách chỉnh sửa) đo số lần chỉnh sửa tối thiểu một ký tự — chèn, xóa hoặc thay thế — cần thiết để chuyển đổi một chuỗi thành chuỗi khác. Ví dụ, khoảng cách giữa "cat" và "bat" là 1.

Jaro-Winkler cho điểm cao hơn cho các chuỗi có chung tiền tố. Được sử dụng rộng rãi để khớp tên, địa chỉ và bản ghi trong cơ sở dữ liệu.

Độ tương tự Cosine chia chuỗi thành n-gram ký tự, chuyển đổi chúng thành vector và đo cosin của góc giữa chúng. Hoạt động tốt với văn bản dài.

Độ tương tự Cosine sử dụng vector tần số n-gram và đo góc giữa chúng, trong khi Jaccard so sánh tập hợp n-gram bằng tỷ lệ giao trên hợp. Jaccard bỏ qua trùng lặp; Cosine thì không.

Khoảng cách Hamming đếm số vị trí mà ký tự tương ứng khác nhau giữa hai chuỗi có cùng độ dài. Chỉ hoạt động trên các chuỗi có độ dài bằng nhau.

Hệ số Sørensen-Dice đo độ tương tự dựa trên số bigram được chia sẻ so với tổng số bigram trong cả hai chuỗi. Nó cho trọng số lớn hơn các phần tử chung so với Jaccard.

Đối với chuỗi ngắn có lỗi chính tả (tên, mã), sử dụng Levenshtein hoặc Jaro-Winkler. Đối với văn bản dài, độ tương tự Cosine là tốt nhất. Để so sánh tập hợp nhanh, sử dụng Jaccard.

N-gram là một chuỗi liên tục n ký tự từ một chuỗi. Ví dụ, bigram của "hello" là "he", "el", "ll", "lo". N-gram là khối xây dựng của nhiều thuật toán tương tự.

So sánh mờ tìm các chuỗi khớp xấp xỉ với một mẫu, không phải chính xác. Được sử dụng trong công cụ tìm kiếm, kiểm tra chính tả và làm sạch dữ liệu.

Không, tất cả tính toán được thực hiện cục bộ trong trình duyệt của bạn. Văn bản của bạn không bao giờ rời khỏi thiết bị. Không có xử lý hoặc lưu trữ phía máy chủ.

Có, các thuật toán hoạt động với bất kỳ ký tự Unicode nào. Tuy nhiên, kết quả có thể khác nhau vì các ngôn ngữ khác nhau có cấu trúc ký tự khác nhau.