文章详情页
python - 使用scrapy框架爬百度图片被墙
浏览：55日期：2022-06-30 14:19:37
问题描述
请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。
https://image.baidu.com/searc...
问题解答
回答1：在 settings.py 将 ROBOTSTXT_OBEY = False 试试。
回答2：不要加hearders试试
回答3：赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。
相关文章：
1. 为什么我ping不通我的docker容器呢？？？2. docker - 各位电脑上有多少个容器啊？容器一多，自己都搞混了，咋办呢？3. angular.js - angularjs中的$compile怎么理解？4. 使用C#如何导入导出Excel文件？5. docker api 开发的端口怎么获取？6. dockerfile - 为什么docker容器启动不了？7. javascript - js 多维数组的问题8. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？9. javascript eval10. Android中如何根据不同java文件的功能来分类，例如分成activity adapter bean等等
排行榜
网公网安备