文章详情页
python - 使用scrapy框架爬百度图片被墙
问题描述
请求地址url是通过firefox查看得到的json的地址,用浏览器可以打开,但是用scrapy爬的时候就被ban了求解决办法。
https://image.baidu.com/searc...
问题解答
回答1:在 settings.py 将 ROBOTSTXT_OBEY = False 试试。
回答2:不要加hearders试试
回答3:赞成楼上,如果还会被墙。可采用scrapy+selenium+phantomjs的方式。
相关文章:
1. macos - mac下docker如何设置代理2. angular.js - angularjs的自定义过滤器如何给文字加颜色?3. docker - 如何修改运行中容器的配置4. angular.js使用$resource服务把数据存入mongodb的问题。5. golang - 用IDE看docker源码时的小问题6. 在windows下安装docker Toolbox 启动Docker Quickstart Terminal 失败!7. 在mac下出现了两个docker环境8. Docker for Mac 创建的dnsmasq容器连不上/不工作的问题9. 列宽好窄,跟老师显示的列宽不一样10. 请在微信客户端打开链接怎么在PC端打开
排行榜