node.js - 使用 superagent 抓取 UTF-8网站乱码
问题描述
我使用 superagent + cheerio 去抓取*东的商品 但是返回的中文乱码 响应头如下 是经过 gzip压缩的 但是按道理 superagent好像会默认解压
*东商品地址https://item.jd.com/5025518.html
我取了商品标题 结果如下
核心代码如下:
var url = ’https://list.jd.com/list.html?cat=670,671,672’ //京东电脑var totalData = [] // 存储总数据superagent.get(url).end(function (err, res) { if (err) {return console.error(err) } var topicUrls = []; // 页面里面的所有url var $ = cheerio.load(res.text) // 拿到页面 $(’#plist .gl-item’).each(function (i, e) {$e = $(e)var href = ’https:’ + $e.find(’.p-img >a’).attr(’href’) // 拿到所有urltopicUrls.push(href) }) var ep = new eventproxy();// //异步调用结束后,执行某些操作 ep.after(’topic_html’, topicUrls.length, function (topics) { //接收res.texttopics = topics.map(function (topicHtml) { var $ = cheerio.load(topicHtml, {decodeEntities: false}); return ({title: $(’.sku-name’).text().trim() });});totalData.push(topics)console.log(totalData); }) topicUrls.forEach(function (e) {superagent.get(e).end(function (err, res) { ep.emit(’topic_html’, res.text);}) })})
问题解答
回答1:这并不是乱码啊,如果是乱码,所有的都乱了,应该是你编码的问题。
回答2:我直接用postman去请求了你那个地址,并没有出现你这种情况,所以我判断是你IDE或者文本编辑器的问题,将格式设为 utf-8 。
相关文章:
1. 移动端页面文字垂直居中兼容性问题2. angular.js - angular js配置路由 编写控制器的时候说跳转页内的数据模型不存在3. android - 新建项目卡在Gradle:Resolvedependencies’:app:_debugCompile’4. javascript - 求一套有关于IP地址的JS正则!5. angular.js - 有没有不需要先git clone xxxx的angular2的教程?6. atom编译器 如何格式化前端代码文件?7. angular.js - 获取数据后总是要有一段$scope.$apply();这段代码是什么意思呀?8. css3 - 我的css用less写的,eclipse的jsp文件要修改css很麻烦,怎么解决?9. javascript - 关于Js中 this的一道题10. mysql根据某个字段已存在的值排序