您的位置：首页技术文章
文章详情页

python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

更多 QQ空间 微信 QQ好友 腾讯朋友 复制链接
【字号：大 中 小】日期：2022-08-03 11:20:00浏览：23作者：猪猪

问题描述

python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

这是redis服务端的显示

这样是什么问题，望有高手可以为我解惑，谢谢。

问题解答

回答1：

使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？比如

redis-cli lpush myspider:start_urls http://google.com

标签： Python 编程
上一条：python3.x - python中的虚拟环境怎样设置一直处于激活状态下一条：python - scrapy-redis爬虫运行是连接redis数据库连接错误
相关文章：
1. debian - docker依赖的aufs-tools源码哪里可以找到啊？2. docker容器呢SSH为什么连不通呢？3. dockerfile - [docker build image失败- npm install]4. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？5. node.js - vue-cli构建报错。。。生成不了模板，求解~！！6. docker绑定了nginx端口 外部访问不到7. docker-compose 为何找不到配置文件？8. boot2docker无法启动9. macos - mac下docker如何设置代理10. 如何判断数组写入数据库有重复的值
排行榜
docker images显示的镜像过多，狗眼被亮瞎了，怎么办？
docker images显示的镜像过多，狗眼被亮瞎了，怎么办？
1. dockerfile - [docker build image失败- npm install]
2. docker容器呢SSH为什么连不通呢？
3. debian - docker依赖的aufs-tools源码哪里可以找到啊？
4. node.js - vue-cli构建报错。。。生成不了模板，求解~！！
5. docker绑定了nginx端口 外部访问不到
6. macos - mac下docker如何设置代理
7. docker-compose 为何找不到配置文件？
8. 如何判断数组写入数据库有重复的值
9. dockerfile - 为什么docker容器启动不了？
10. boot2docker无法启动
热门标签