文章详情页
python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示
浏览：72日期：2022-08-03 11:20:00
问题描述
爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据
这是redis服务端的显示
这样是什么问题，望有高手可以为我解惑，谢谢。
问题解答
回答1：使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？比如
redis-cli lpush myspider:start_urls http://google.com
相关文章：
1. python - 关于matplotlib的x轴显示的问题2. mysql优化 - mysql慢查询copying to tmp table3. android 文件File删除问题4. javascript - vue生成一维码?求助！！！！！急5. ueditor上传服务器提示后端配置项没有正常加载，求助！！！！！6. css - .clearfix:after中为什么设置display: table7. 请教： 关于 python 反斜杠转义的疑问8. css - transform: translateY(-50%)在360浏览器极速模式下使得文字变模糊了9. angular.js - 怎样在使用ng-repeat属性的标签里面监听单个事件，使其能够单个改变CSS。10. nginx英文文档的WebSocket proxying部分没看太明白，麻烦推荐一点中文文章
排行榜
网公网安备