python - scrapy 再次请求的问题

问题描述

如：item[’url’]=response.xpath(’a/@href’)分析出一个链接，然后想从这个链接里的网页再获取一些元素，放入item[’other’]。应该怎么写，谢谢。

问题解答

def parse_page1(self, response): for url in urls:item = MyItem()item[’url’] = urlrequest = scrapy.Request(url,callback=self.parse_page2)# request = scrapy.Request('http://www.example.com/some_page.html',dont_filter=True，callback=self.parse_page2)request.meta[’item’] = itemyield requestdef parse_page2(self, response): item = response.meta[’item’] item[’other’] = response.xpath(’/other’) yield item

最后附上官方文档https://doc.scrapy.org/en/lat...中文翻译版http://scrapy-chs.readthedocs...