文章详情页
网页爬虫 - Python爬虫如何正确判断页面是否可以爬取？
浏览：67日期：2022-09-03 13:50:21
问题描述
用Python27些爬虫，想要爬取一些网站，我需要判断网页是否可以爬取，第一反应是通过状态码来判断，但是写完运行后发现有许多目标网站访问它不存在的页面时会返回一个404错误页面，可他的状态码却是200，结果爬回来好多根本就不存在的页面。这个本来是网站设置的问题，但是现在也不能用状态码来判断了，请问还有什么方法可以正确判断一个页面是不是404该不该爬？
问题解答
回答1：首先， 200 状态码，是网络连接状态， 所以你只判断200并不能满足所有网站。
其次， 写爬虫嘛， 你应该实际去看看这些网站的规则是什么，可以先人工判断下， 找找规律， 比如看看网页返回内容是不是有什么特点之类的。
回答2：做个网页内容的判断，如果他网页里面没有内容就直接返回。
回答3：就算是页面状态码200，返回的404页面，应该和正常能爬取的页面html有不同的html元素吧，根据有没有特定的html元素来判断是不是404页面也行的
相关文章：
1. index.php错误，求指点2. Docker for Windows10 配置共享文件夹失败该如何解决?3. 运行python程序时出现“应用程序发生异常”的内存错误？4. 语法错误，意外’：’5. mysql - 要取出数据库中按某字段排序后的前10，20，30条数据要怎么做？6. 关于mysql unique的问题，如图所示7. python局部变量的问题8. c++ - pycharm 4.5 的 python -> preferences 找不到9. android - Windows系统下运行react-native App时，报下面的错误？10. mysql - inner join和left join的效率问题
排行榜
网公网安备