文章详情页
python - 在编写scrapy爬虫的时候rules中allow的书写问题
浏览：81日期：2022-08-01 16:58:44
问题描述
在编写爬取58同城二手手机出售的信息的时候，rules里的allow应该怎么写？它里面给出的下一页或者第二页第三页等等的链接给出的都是缩减的链接，那么rules里的allow应该要怎么写呢？有哪位高手可以指点一二嘛？谢谢~
问题解答
回答1：缩减的链接可以用urljoin()组合啊
相关文章：
1. 主从备份 - 跪求mysql 高可用主从方案2. python - django 里自定义的 login 方法，如何使用 login_required()3. python如何不改动文件的情况下修改文件的 修改日期4. mysql主从 - 请教下mysql 主动-被动模式的双主配置 和 主从配置在应用上有什么区别？5. angular.js - 不适用其他构建工具，怎么搭建angular1项目6. android-studio - Android 动态壁纸LayoutParams问题7. mysql优化 - mysql count(id)查询速度如何优化?8. javascript - git clone 下来的项目 想在本地运行 npm run install 报错9. sql语句如何按or排序取出记录10. node.js - 使用 superagent 抓取 UTF-8网站乱码
排行榜
网公网安备