文章详情页
python - scrapy 爬取pages比实际进入items的多得多？
问题描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
为什么我使用scrapy爬取的时候访问pages要比实际进入items的的多的多?就是爬了半天items里没有几条数据入库的有什么办法解决么？
问题解答
回答1：重定向了，你看到了吧，重定向就得请求两个页面啊。还有就是看有不有页面解析发生了错误。
相关文章：
1. angular.js - 用angular2-cli打包项目之后，跳转路由刷新会报404的错误2. angular.js - angular2动态显示隐藏组件问题3. angular.js - 在用会话存储传递参数时，使用angularjs冲突4. angular.js - 请教angularjs里html和js通信的问题5. jquery - angularjs的数据为什么渲染不到页面上?数据获取到了,我的代码哪里出了错了?6. angular.js - 我想实现打印angular $scope数据，代码如何实现呢？求教（如下图）7. node.js - 怎么在初始化的时候使得一个子组件不加载？8. python - 如何在docker上部署pyspider9. python - Ubuntu16.04LTS登录后只显示屏保10. Python中的内列表问题，真的很困惑
排行榜
网公网安备