文章详情页
python - scrapy 爬取pages比实际进入items的多得多？
浏览：68日期：2022-07-23 10:55:26
问题描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
为什么我使用scrapy爬取的时候访问pages要比实际进入items的的多的多?就是爬了半天items里没有几条数据入库的有什么办法解决么？
问题解答
回答1：重定向了，你看到了吧，重定向就得请求两个页面啊。还有就是看有不有页面解析发生了错误。
相关文章：
1. mysql - 一个表和多个表是多对多的关系，该怎么设计2. python 如何实现PHP替换图片 链接3. html5 - iOS的webview加载出来的H5网页，怎么修改html标签select的样式字体？4. 一个mysql联表查询的问题5. python如何不改动文件的情况下修改文件的 修改日期6. javascript - git clone 下来的项目 想在本地运行 npm run install 报错7. mysql主从 - 请教下mysql 主动-被动模式的双主配置 和 主从配置在应用上有什么区别？8. angular.js - 三大框架react、vue、angular的分析9. python - django 里自定义的 login 方法，如何使用 login_required()10. 主从备份 - 跪求mysql 高可用主从方案
排行榜
网公网安备