文章详情页
python - Scrapy ItemLoader数据清洗疑问
浏览:57日期:2022-06-30 08:28:51
问题描述
在使用scrapy抓取数据时,利用itemloader这个类,使用selector取出的值为空时,进入scrapy.Field()里调用filter(),selector取值不为空的确返回'有值',如果selector取出[]或'',那么value进入filter()之后,并不会返回'无值'
def filter(value): if value:return '有值' else:return '无值' # 下面就简写了,熟悉的应该能看的懂 scrapy.Field(filter())
有什么办法将抓取为空的值,经过filyer()之后变成'无值'
问题解答
回答1:谢邀~不太了解Scrapy,所以题主这个我不太好说我用PHP自己写的爬虫大体思路是:1.先是根据正则和一些循环,把要收集的页面放到队列里,按类别分类,例如分页的列表页一个队列,列表里的数据内容页一个队列。2.然后利用xpath来爬取相关内容页的数据,爬取的过程中对一些爬取到的数据进行如题主所需的那样进行处理。3.组装数据,按照自己所需的标准保存数据。
大体就是这样,我绝对大部分爬虫框架也大概都是这种思路吧,无非是在此基础上增加了,反爬机制,多线程,多进程,增量爬取等等功能。所以,题主找到你这个框架的爬取数据那里进行处理或组装数据的地方进行处理都行。
相关文章:
1. nginx英文文档的WebSocket proxying部分没看太明白,麻烦推荐一点中文文章2. javascript - vue生成一维码?求助!!!!!急3. python - 关于matplotlib的x轴显示的问题4. angular.js - items.query is not a function这是怎么回事5. angular.js - js 点击事件onclick=“”,引号内的函数名字 可以为 变量吗6. angular.js - angularjs 怎么封装 upload 上传7. ueditor上传服务器提示后端配置项没有正常加载,求助!!!!!8. android 文件File删除问题9. 绝对定位和fied定位,键盘弹起对布局的影响10. angular.js - 怎样在使用ng-repeat属性的标签里面监听单个事件,使其能够单个改变CSS。
排行榜
