您的位置：首页技术文章
文章详情页

python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

浏览：73日期：2022-08-03 11:20:00

问题描述

python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

这是redis服务端的显示

这样是什么问题，望有高手可以为我解惑，谢谢。

问题解答

回答1：

使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？比如

redis-cli lpush myspider:start_urls http://google.com

标签： Python 编程
上一条：python3.x - python中的虚拟环境怎样设置一直处于激活状态下一条：python - scrapy-redis爬虫运行是连接redis数据库连接错误
相关文章：
1. css - transform: translateY(-50%)在360浏览器极速模式下使得文字变模糊了2. mysql优化 - mysql慢查询copying to tmp table3. nginx英文文档的WebSocket proxying部分没看太明白，麻烦推荐一点中文文章4. python - 关于matplotlib的x轴显示的问题5. android 文件File删除问题6. css - .clearfix:after中为什么设置display: table7. angular.js - 怎样在使用ng-repeat属性的标签里面监听单个事件，使其能够单个改变CSS。8. angular.js - js 点击事件onclick=“”，引号内的函数名字 可以为 变量吗9. 请教： 关于 python 反斜杠转义的疑问10. angular.js - Ionic 集成crosswalk后生成的apk在android4.4.2上安装失败？？？
排行榜
css - .clearfix:after中为什么设置display: table
css - .clearfix:after中为什么设置display: table
1. angular.js - js 点击事件onclick=“”，引号内的函数名字 可以为 变量吗
2. nginx英文文档的WebSocket proxying部分没看太明白，麻烦推荐一点中文文章
3. css - transform: translateY(-50%)在360浏览器极速模式下使得文字变模糊了
4. 请教： 关于 python 反斜杠转义的疑问
5. mysql优化 - mysql慢查询copying to tmp table
6. mac连接阿里云docker集群，已经卡了2天了，求问？
7. android 文件File删除问题
8. angular.js - Ionic 集成crosswalk后生成的apk在android4.4.2上安装失败？？？
9. python - 关于matplotlib的x轴显示的问题
10. angular.js - 怎样在使用ng-repeat属性的标签里面监听单个事件，使其能够单个改变CSS。
热门标签