文本指纹生成
SimHash文本指纹与相似度比对查疑似转载
先对文本归一化(去除空白与标点、英文小写),中文按二字滑窗、英文按单词分词,使用 64 位 FNV 哈希做加权 SimHash。海明距离 ≤3 判定为高度相似、疑似转载,4~10 为部分相似,大于 10 视为不同文本。
📖 使用说明
全程在浏览器本地处理,数据不会上传到服务器。
操作步骤:
- 粘贴两篇待比对文本;
- 查看指纹与海明距离;
- 参考相似度判定结论。
SimHash文本指纹与相似度比对查疑似转载
先对文本归一化(去除空白与标点、英文小写),中文按二字滑窗、英文按单词分词,使用 64 位 FNV 哈希做加权 SimHash。海明距离 ≤3 判定为高度相似、疑似转载,4~10 为部分相似,大于 10 视为不同文本。
全程在浏览器本地处理,数据不会上传到服务器。
操作步骤:
请添加微信联系我
💬 用户评论 (0)
还没有评论,快来抢沙发!