文章详情页
python - 用scrapy-splash爬取网站 为啥iframe下的内容没有被返回
问题描述
用scrapy-splash爬取网站 为啥iframe下的内容没有被返回?
import scrapyfrom scrapy import Selectorclass Music163Spider(scrapy.Spider): name = 'music163' allowed_domains = ['music.163.com/#/discover/toplist'] start_urls = [’http://music.163.com/#/discover/toplist/’] def parse(self, response):print('parse:',response.text) def start_requests(self):for url in self.start_urls: yield scrapy.Request(url, self.parse, meta={’splash’: { ’endpoint’: ’render.html’, ’args’: {’wait’: 0.5, }} })
问题解答
回答1:你需要在parse中获取iframe的url再次请求内容。
相关文章:
1. javascript - 引入 simditor,但是显示标签,这个怎么解决。2. android - 目前有哪些用Vue.js开发移动App的方案?3. docker api 开发的端口怎么获取?4. background属性顺序?5. docker gitlab 如何git clone?6. Android PopupWindow 问题。7. angular.js - angular route如何实现单页面切换时数据的传递8. angular.js - angular有没有可以本地构建静态代码的工具9. python - scrapy获取网页指定内容,后翻到下一页继续,固定循环次数。。问题10. 中文phpword文档
排行榜