您的位置：首页技术文章
文章详情页

python爬取页面时，一个URL无法访问导致报错，然后跳过这个报错继续抓取？

浏览：42日期：2022-09-13 09:16:56

问题描述

1.抓取到一个错误的URlpython爬取页面时，一个URL无法访问导致报错，然后跳过这个报错继续抓取？

python爬取页面时，一个URL无法访问导致报错，然后跳过这个报错继续抓取？

2.我的比蠢笨的办法：

python爬取页面时，一个URL无法访问导致报错，然后跳过这个报错继续抓取？python爬取页面时，一个URL无法访问导致报错，然后跳过这个报错继续抓取？

问题解答

回答1：

curl里面有个可以设置返回header的，如果取到的数据非200状态，直接跳过处理就好了。

标签： Python 编程
上一条：python - 用开源软件快速搭建数据分析平台，请指教下一条：网页爬虫 - Python+Selenium+PhantomJs爬虫,如何取得新打开页面的源码？
排行榜
docker-compose中volumes的问题
docker-compose中volumes的问题
1. vim - docker中新的ubuntu12.04镜像,运行vi提示,找不到命名.
2. python 多进程 或者 多线程下如何高效的同步数据?
3. java - Hibernate查询的数据是存放在session中吗？
4. angular.js - angular内容过长展开收起效果
5. docker-compose 为何找不到配置文件？
6. android - 添加multidex后在部分机型上产生anr的问题，该如何解决
7. angular.js - node.js中下载的angulae无法引入
8. php - 想要远程推送emjio ios端怎么搞 需要怎么配合
9. 一个走错路的23岁傻小子的提问
10. angular.js - Angular 刷新页面问题
热门标签