Python 数据挖掘中,SimHash算法的步骤是什么呢?
simhash算法分为5个步骤:
1. 分词:得到有效的特征向量,每一个特征向量设置1-5等5个级别的权重。
2. Hash:计算各个特征向量的hash值,hash值为二进制数01组成的n-bit签名。
3. 加权:给所有特征向量进行加权,即W= Hash * weight 。
4. 合并:将上述各个特征向量的加权结果累加,变成只有一个序列串。
5. 降维:上述累加结果,如果大于0则置1,否则置0,从而得到该语句的simhash值,最后我们便可以根据不同语句simhash的海明距离来判断它们的相似度。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。