python - 2亿++的网址，怎样快速确认网页状态码?

问题描述

用requests写了个多线程，感觉有点慢，还有其他方法么？

问题解答

使用 Tornado 的 curl 客户端支持，读到请求头就关闭连接。（我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话，可以像我这样使用 TCP 然后用 http-parser 来解析。）

好吧，其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……（记得装 pycurl 哦）

python本来就慢，想速度快就直接写tcp请求然后读回复，读到状态后就关掉socket。

使用grequests,对requests进行了并发封装

https://github.com/kennethrei...

这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio！

用Head请求能快一点吧？