文章详情页

python爬取页面时，一个URL无法访问导致报错，然后跳过这个报错继续抓取？

更多 QQ空间微信 QQ好友腾讯朋友复制链接

【字号：大中小】日期：2022-09-13 09:16:56浏览：11作者：猪猪

问题描述

1.抓取到一个错误的URl python爬取页面时，一个URL无法访问导致报错，然后跳过这个报错继续抓取？

python爬取页面时，一个URL无法访问导致报错，然后跳过这个报错继续抓取？

2.我的比蠢笨的办法：

python爬取页面时，一个URL无法访问导致报错，然后跳过这个报错继续抓取？

问题解答

回答1：

curl里面有个可以设置返回header的，如果取到的数据非200状态，直接跳过处理就好了。

Python 编程

上一条：python - 用开源软件快速搭建数据分析平台，请指教下一条：网页爬虫 - Python+Selenium+PhantomJs爬虫,如何取得新打开页面的源码？