python - 爬虫内容保存成文本文件 编码问题
问题描述
测试一个非常简单的爬虫,把一个非常简约风格的网页的文本内容保存到本地的电脑上。最后出现错误:
UnicodeEncodeErrorTraceback (most recent call last)<ipython-input-35-ead5570b2e15> in <module>() 7 filename=str(i)+’.txt’ 8 with open(filename,’w’)as f:----> 9 f.write(content) 10 print(’当前小说第{}章已经下载完成’.format(i)) 11 f.close()UnicodeEncodeError: ’gbk’ codec can’t encode character ’xa0’ in position 7: illegal multibyte sequence
代码如下:
In [1]: import requestsIn [2]: from bs4 import BeautifulSoupIn [3]: re=requests.get(’http://www.qu.la/book/168/’)In [4]: html=re.textIn [5]: soup=BeautifulSoup(html,’html.parser’)In [6]: list=soup.find(id='list')In [9]: link_list=list.find_all(’a’)In [14]: mylist=[] ...: for link in link_list: ...: mylist.append(’http://www.qu.la’+link.get(’href’)) ...: ...:#遍历每个链接,下载文本内容到 本地文本文件i=0 ...: for url in mylist1: ...: re1=requests.get(url) ...: html2=re1.text ...: soup=BeautifulSoup(html2,'html.parser') ...: content=soup.find(id='content').text.replace(’chaptererror();’, ’’) ...: filename=str(i)+’.txt’ ...: with open(filename,’w’)as f: ...: f.write(content) ...: print(’当前小说第{}章已经下载完成’.format(i)) ...: f.close() ...: i=i+1
问题解答
回答1:f.write(content.encode(’utf-8’))
或者
import codecswith codecs.open(filename, ’w’, ’utf-8’) as f: f.write(content)
相关文章:
1. docker镜像push报错2. MySQL中无法修改字段名的疑问3. angular.js - angularjs的自定义过滤器如何给文字加颜色?4. javascript - 如何让移动端网页的输入框固定在底部?5. angular.js - angular内容过长展开收起效果6. 网页爬虫 - 用Python3的requests库模拟登陆Bilibili总是提示验证码错误怎么办?7. android - QQ物联,视频通话8. 大家好,请问在python脚本中怎么用virtualenv激活指定的环境?9. 请教各位大佬,浏览器点 提交实例为什么没有反应10. javascript - 微信小程序限制加载个数
