python - 如何爬取跳转网站的数据

问题描述

目前在学习一些爬虫的知识，对于一些复杂的网站使用selenium进行爬取。碰到一个问题，我需要爬取的工单网站（不知道密码）需要先通过登录一个鉴权系统，然后鉴权系统页面点击其中的工单系统连接，就会自动免登录跳转到工单系统网站，这种系统的数据我该如何使用爬虫进行抓取？以下是鉴权系统selenium拿到关于工单系统的html

<a href='https://www.haobala.com/link-test001' target='_blank' rel='link-test001' data='1' datasrc='工单系统|||/files/link/test001.gif|||new|||/link-test001'> <img src='https://www.haobala.com/files/link/test001.gif' alt='工单系统' align='absmiddle'><span>工单系统</span></a>

问题解答

用firefox的扩展selenium ide录制一遍操作。然后导出为python文件。改改运行就可以了。

建议你去读读虫师写的书。

例如使用requests库作为爬虫的话，先创建session()，A登录，B是跳转的页面即可。

T=requests.session()A=T.post(url=url,data=data)B=T.get(url=url)

创建的T就代表存储的cookie，会一直保留