字符串 - Python编码问题?
问题描述
我用Python3的requests库从一个api请求一个json数据,然后试图去print出来:
res = requests.get('http://aaa.com/bbb.php') res.encoding=’utf-8’ name = res.json(encoding = 'utf8')['name'] print(name)
也试了一下方法:
name.encode(’utf8’).decode('utf8')print(name)
我这个name字符串有可能有中文,数字,英文,也有可能有阿拉伯文。或者只有他们之中的一个。我每次print的时候有时候能输出成功,有时候有以下错误:
File 'demo.py', line 53, in play_one print(json.loads(result_str)['name'])UnicodeEncodeError: ’gbk’ codec can’t encode character ’u062f’ in position 0: illegal multibyte sequence
我该怎么处理这个字符串,有可能同一个字符串混有不同的编码?还是我获取到的字符串每次都是不同编码的,我应该怎么正确输去这个不确定的字符串?
问题解答
回答1:标准 JSON 是不需要指定编码的。
你使用的是 Windows 简体中文版,系统控制台需要输出以 GBK 编码来输出字符,但是你的字符「U+062F د ARABIC LETTER DAL」在 GBK 编码中没有对应,因此无法输出。
你可以选择写到文件,或者安装阿拉伯文版的 Windows。或者使用其它对 Unicode 支持更好的操作系统 / 终端。
回答2:首先你要弄明白requests为什么会出现这个问题
requests会从服务器返回的响应头的 Content-Type 去获取字符集编码,如果content-type有charset字段那么requests才能正确识别编码,否则就使用默认的 ISO-8859-1. 详情请看这篇博客代码分析Python requests库中文编码问题
文中提到了几个办法,不过似乎3.x已经修复了这个问题。
我的建议首先手动去页面看这个页面header部分的charset到底是什么编码,假设是GBK
resp = requests.get(item_info_url)resp.encoding = ’GBK’html = resp.textname = json.loads(html)[’name’]# or# 我不太用res.json这个方法==res = requests.get('http://aaa.com/bbb.php')res.encoding=’GBK’name = res.json()['name']print(name)
相关文章:
1. Android "1"=="1" 到底是true还是false2. android-studio - Android Studio 运行项目的时候一堆警告,跑步起来!?3. 热切期待朱老师的回复,网页视频在线播放器插件配置错误4. python - django orm 过滤日期为当天日期的数据5. angular.js - 指令下的指令 面对上级指令ng-repeat的时候 ng-controller会出现多次的问题?6. javascript - jQuery中live事件在移动微信端下没有效果;代码如下7. python - django 按日归档统计订单求解8. python 如何实现PHP替换图片 链接9. javascript - 一个JS的算法,求大神解答10. css - 如何使用 vue transition 实现 ios 按钮一样的平滑切换效果
