文章详情页
python 爬虫 解析效率如何提升?
问题描述
现在采用的是在windows 环境下 采用多线程的方式进行爬取,使用beautifulsoup+lxml进行解析.
N个爬取线程->解析队列->1个解析线程->存储队列->1个存储线程
整个执行程序的效率卡在计算密集的解析线程中，如果只是增加解析线程数量的话，反而增加线程切换开销速度变慢。
请问下 有什么办法可以较为明显的提升解析效率？
根据两位大腿的说明 准备采用异步爬取->解析队列->N个解析进程->存储队列->存储线程
准备开工
问题解答
回答1：其实我觉得, 你在前面N个爬取线程 可以换成协程/线程池实现, 因为你在频繁创建线程本省一种性能耗费, 用线程池虽然可以减少这部分的损耗, 但是上下文切换还是无法避免, 所以协程这方面, 应该是比较合适的.1个解析线程 换成 进程池,多开几个进程去计算密集处理, 其余应该可以不用改, 如果还想再搞, 将核心部分用c/c++ 重写咯, 希望可以帮到你
回答2：我的做法是多进程。多进程的好处是当单机性能不够的时候，可以随时切换为分布式爬虫。
回答3：可以网上找下tornade异步爬虫吧,我正在用这个
相关文章：
1. javascript - 百度地图自己的产品可以精确定位，为什么我调用他的公开API却必须经过用户同意才能获取精确定位，而且还慢？2. python - 一个域名可以绑定多台服务器吗？3. Windows环境开俩个CMD窗口操作MySQL测试加锁的疑问4. 怎么学好php5. 后台系统的左侧导航窗格如何修改6. javascript - echart+百度地图7. mybatis - Java关于Mysql的随机id生成8. mysql - 数据库建字段，默认值空和empty string有什么区别 1109. 网页爬虫 - Python爬虫入门知识10. python - import里的dot是以哪个路径作为根目录的？
排行榜
网公网安备