网页爬虫 - python爬虫，需要爬取的数据没在网页源代码中，怎么处理？

问题描述

我想抓取直播吧赛事的比分：直播吧链接，可是我用Scrapy只能抓取到日期，主客队等。我的问题是：比分是不是通过Script加载出来的？是不是在这个脚本中bf4.js中？这种Request Method:GET的情况如何准确获取出比分如下图？通过开发者工具查看出的网页源代码如下：<li label='足球,中甲,武汉卓尔' data-time='2017-06-24 15:00'>15:00 <b>中甲第15轮</b> 云南丽江 <img src='https://duihui.qiumibao.com/zuqiu/yunnanlijiang.png' > <span> - </span> <img src='https://duihui.qiumibao.com/zuqiu/wuhanzhuoer.png' > 武汉卓尔 <a href='https://www.haobala.com/zhibo/zuqiu/2017/0624yunnanlijiangvswuhanzhuoer.htm' target='_blank'>武汉文体 广州竞赛 PPTV</a> <a href='http://wenzi.zhibo8.cc/zhibo/zuqiu/2017/0624yunnanlijiangvswuhanzhuoer.htm' target='_blank'>文字</a> <a href='https://www.zhibo8.cc/shouji.htm' target='_blank'>手机看直播</a> <a href='http://www.188bifen.com/' target='_blank'>比分</a> <a href='http://ogzq2.wanjiashe.com/game.php?sid=51&zhibo' target='_blank'>欧冠足球新服</a> </li>

即<span> - </span>中比分没显示，如何才能抓取渲染完成出来的比分网页呢？

问题解答

数据在https://bifen4pc.qiumibao.com/json/list.htm?74520

那就使用Selenium 来获取吧，

链接描述