python lxml解析中文的问题
问题描述
使用lxml来抓取中文字符,抓到的结果很蛋疼,不知道怎么处理...
comUrl='http://m.51job.com/search/codetail.php?coid=4108723'res=requests.get(comUrl)html=etree.HTML(res.text)p=html.xpath('//aside')[1].xpath('./p') #结果为[<Element p at 0x7bf01c8>, <Element p at 0x78f4408>, <Element p at 0x69db388>]p[0].xpath('./span/text()') #这个是想要抓取的字符
结果抓到的是这样的 [u’xe6x80xa7xe8xb4xa8’]unicode但是内容是str的编码,请问怎么把这个东西转成中文?正常应该是’xe6x80xa7xe8xb4xa8’或者u’u6027u8d28’
问题解答
回答1:’’.join(map(lambda x:chr(x), map(lambda x:ord(x), u’xe6x80xa7xe8xb4xa8’))).decode(’utf-8’)回答2:
出现这种情况,一般是requests猜错了网页的编码了因此指定requests的编码就可以了.res.encoding =’utf-8’
In [33]: comUrl='http://m.51job.com/search/codetail.php?coid=4108723' ...: res=requests.get(comUrl) ...: res.encoding =’utf-8’ ...: html=etree.HTML(res.text) ...: p=html.xpath('//aside')[1].xpath('./p') #结果为[<Element p at 0x7b ...: f01c8>, <Element p at 0x78f4408>, <Element p at 0x69db388>] ...: p[0].xpath('./span/text()') #这个是想要抓取的字符 ...: Out[33]: [u’u6027u8d28’]In [34]: print _[0]性质
相关文章:
1. mac里的docker如何命令行开启呢?2. angular.js - AngularJS中的$scope的作用相当于android中的适配器一样,这种描述准确吗?3. node.js - 微信第三方平台网页授权scope没有权限4. angular.js - angularjs怎么实现跳转的,是要写路由吗5. Angular.js 无法设置Authorization头,该怎么解决?6. javascript - 前端怎么展示这种类型的数据?7. css - 移动端 oppo 手机之 Border-radius8. javascript - 关于圣杯布局的一点疑惑9. PHP单例模式10. PHP中的$this代表当前的类还是方法?