文章详情页
python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示
问题描述
爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据
这是redis服务端的显示
这样是什么问题，望有高手可以为我解惑，谢谢。
问题解答
回答1：使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？比如
redis-cli lpush myspider:start_urls http://google.com
相关文章：
1. python - Pycharm调试代码进行列表遍历时，如何直接赋值指定元素2. android - 新建项目卡在Gradle:Resolvedependencies’:app:_debugCompile’3. atom编译器 如何格式化前端代码文件？4. javascript - webpack热加载配置不生效5. javascript - 关于在angularjs的select中遇到的问题！！6. css3 - 我的css用less写的，eclipse的jsp文件要修改css很麻烦，怎么解决？7. angular.js - ng-repeat的数据排序,我用了orderBy: d.supportNum为什么失效?8. android - 使用listview加载不同item，数据填充错误。9. javascript - 关于Js中 this的一道题10. Android Studio 中程序添加不上Xutils 3.0 jar包
排行榜
网公网安备