javascript - node爬取微博
问题描述
刚接触node,想写个爬虫,爬取新浪微博评论,但是发现页面是由JS动态生成的,用http模块爬取不到,然后用phantomjs爬取,(听说会比较慢,运行了近15分钟,这也太慢了,不知是否写错),还是不行,问一下有什么办法能够爬取类似于新浪微博的网页吗?
let page=require('webpage').create();let url='http://weibo.com/1713926427/Etq2WnSiR?filter=hot&root_comment_id=0&type=comment';/*page.settings = { javascriptEnabled: true, loadImages: false, webSecurityEnabled: false, userAgent: ’Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER’};*/page.open(url,(status)=>{ console.log('Status:'+status); if(status=='success'){let val = page.evaluate(()=>{ var list_box=document.querySelector('.list_box'); console.log(list_box); return list_box});console.log(val) }else{console.log('failed') } phantom.exit();});
问题解答
回答1:自己写过微博的爬取,有两种思路
仔细看一下应该是有接口去获取相应数据的然后用正则去匹配
微博提供了开发者API接口的,虽然用着比较麻烦
相关文章:
1. javascript - 引入 simditor,但是显示标签,这个怎么解决。2. android - 目前有哪些用Vue.js开发移动App的方案?3. 为什么要通过常量的方式拐弯抹角的写呢,直接写DSN之类的不好吗4. python - scrapy获取网页指定内容,后翻到下一页继续,固定循环次数。。问题5. linux - 为公司配置服务器,要求在上面装win7的虚拟机,那我还需要装桌面环境吗?6. defined这个实验代码我这里不对哇7. python 发邮件8. javascript - 网易云信整合到项目的流程9. python删除目录名两端/10. python - 一个关于爬虫的问题