文章详情页
django - python实现两篇文章相似度分析
浏览:70日期:2022-08-08 10:30:47
问题描述
如题,最近有需求要做文章相似度分析,需求很简单,具体就是对比两篇分别300字左右的文章的相似度情况,目前查到的方法,需要先中文分词(jieba),然后对比相似度,时间紧任务重,不知道有没有做过类似功能的大神可以指点一二的
问题解答
回答1:第一步你已经给出了,首先对文章进行中文分词,然后计算每个词在两篇文章中的tf-idf值。然后计算两个文章的余弦相似度,可以用Python中的gensim实现。
有疑问请继续提问。
回答2:补一下一楼的答案在食用余弦相似性或TF-IDF,应该首先去掉停止词。
停止词,是由英文单词:stopword翻译过来的,原来在英语里面会遇到很多a,the,or等使用频率很多的字或词,常为冠词、介词、副词或连词等。因为副词,连词这类词语并不会十分影响我们对语义的判断。
但是单纯的余弦相似性和TF-IDF某种情况下并不能十分的可靠。推一波自己的链接2333这里
建议使用textrank和以上算法进行结合
相关文章:
1. javascript - 使用 vuex-router-sync寄存路由信息,this.$router params 不能赋值?2. angular.js - angular2 有什么cool的loading组件么?3. javascript - js 多维数组的问题4. android - app 协议页面的设计5. javascript - 请指条明路,angular的$event,在select中却是undefined?6. node.js下载失败,求大神解释7. 从Spring MVC XML文件移至javaconfig我的数据库XML文件真的让我迷茫了8. 冒昧问一下,我这php代码哪里出错了???9. mysql 一个sql 返回多个总数10. javascript - vue组件中使用百度分享初次加载失败?
排行榜
