您的位置：首页技术文章
文章详情页

python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？

浏览：76日期：2022-08-10 17:31:34

问题描述

请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了

问题解答

回答1：

动态加载的数据你应该找ajax api请求，而不是在网页找，工欲善其事必先利其器，善用 F12。

回答2：

这种情况比抓取一个代理ip网页，使用cookie但是报错好解决多了＝＝，你完全可以判断当前页面内容然后进行模拟刷新～ 重要的是保持会话。

如果还不行的话，可以加referer再试一试

标签： Python 编程
上一条：flask - python 多维字典遍历下一条：python - 关于基于tornado的websocket服务在本机上调试的问题
相关文章：
1. python如何不改动文件的情况下修改文件的 修改日期2. node.js - node_moduls太多了3. angular.js - 不适用其他构建工具，怎么搭建angular1项目4. python - django 里自定义的 login 方法，如何使用 login_required()5. css3 - [CSS] 动画效果 3D翻转bug6. mysql优化 - mysql count(id)查询速度如何优化?7. angular.js - Angular路由和express路由的组合使用问题8. mysql主从 - 请教下mysql 主动-被动模式的双主配置 和 主从配置在应用上有什么区别？9. 主从备份 - 跪求mysql 高可用主从方案10. java8中，逻辑与 & 符号用在接口类上代表什么意思
排行榜
css3 - [CSS] 动画效果 3D翻转bug
css3 - [CSS] 动画效果 3D翻转bug
1. 主从备份 - 跪求mysql 高可用主从方案
2. java8中，逻辑与 & 符号用在接口类上代表什么意思
3. mysql优化 - mysql count(id)查询速度如何优化?
4. angular.js - 不适用其他构建工具，怎么搭建angular1项目
5. python - django 里自定义的 login 方法，如何使用 login_required()
6. node.js - node_moduls太多了
7. angular.js - Angular路由和express路由的组合使用问题
8. python如何不改动文件的情况下修改文件的 修改日期
9. mysql主从 - 请教下mysql 主动-被动模式的双主配置 和 主从配置在应用上有什么区别？
10. java - 计算机图像表示方法？
热门标签