文章详情页
python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示
浏览：75日期：2022-08-03 11:20:00
问题描述
爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据
这是redis服务端的显示
这样是什么问题，望有高手可以为我解惑，谢谢。
问题解答
回答1：使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？比如
redis-cli lpush myspider:start_urls http://google.com
相关文章：
1. css - .clearfix:after中为什么设置display: table2. java - JPA 中自定义对象和原生对象属性名不一致怎么解决？3. javascript - angular-cli使用ng build --prod 和ng build --prod --aot 打包文件大小相同？4. javascript - Vue和React哪个源码更适合阅读学习？不谈框架优劣，只从学习的角度出发，希望知其所以然。5. java - String s=new String()与String s = ""的区别6. node.js开发微信公众账号设备功能问题，求解答！！7. python - django 按日归档统计订单求解8. java - IDEA 修改方法注释模板9. node.js - Angular-webpack-Starter, 怎么把NodeJS添加进项目里？10. 网站上有个图标改不了了 求帮忙 是用svg写的
排行榜
网公网安备