文章详情页
如何提高python查询速度？
问题描述
最近在爬股票的相关新闻，一开始设想的是，当有新的新闻动态发布，程序通过邮件发送最新内容到邮箱。
所以我想把新闻标题，内容存到数据库里，当内容更新时，把新的内容和数据库的标题列表对比，看是不是已存在的，如果已存在，那就不发送，如果没有，那发送到邮箱。
但数量大了以后，列表查询速度就会变慢，请问各位还有什么方法可以传授下吗？
问题解答
回答1：爬虫任务去重
抓过的链接存到一个set中，检查新链接是否在集合中即可。
回答2：去重有很多方法，比如楼上的set或者布隆过滤器都可以有效的使用内存，提升效率
相关文章：
1. android - 第三方App调用高德地图，总是直接进入到导航页面，有没有办法进入首页？2. javascript - 网页中如何插入这样一个音乐播放的界面呢？，用引用的src嘛？3. javascript - 关于正则表达式的一些问题4. javascript - js控制元素样式的疑惑5. python - Django找不到报错找不到模块，但是文件中有6. ueditor上传服务器提示后端配置项没有正常加载，求助！！！！！7. 网页爬虫 - Python爬虫返回状态码与实际情况不符？8. 微信端电子书翻页效果9. android - 微信这个效果是怎么实现的10. mysql5.7 json数据类型存储 导致数据顺序发生变化
排行榜
网公网安备