python获取整个网页源码的方法
1、Python中获取整个页面的代码:
import requestsres = requests.get(’https://blog.csdn.net/yirexiao/article/details/79092355’)res.encoding = ’utf-8’print(res.text)
2、运行结果
实例扩展:
from bs4 import BeautifulSoupimport time,re,urllib2t=time.time()websiteurls={}def scanpage(url): websiteurl=url t=time.time() n=0 html=urllib2.urlopen(websiteurl).read() soup=BeautifulSoup(html) pageurls=[] Upageurls={} pageurls=soup.find_all('a',href=True) for links in pageurls: if websiteurl in links.get('href') and links.get('href') not in Upageurls and links.get('href') not in websiteurls: Upageurls[links.get('href')]=0 for links in Upageurls.keys(): try: urllib2.urlopen(links).getcode() except: print 'connect failed' else: t2=time.time() Upageurls[links]=urllib2.urlopen(links).getcode() print n, print links, print Upageurls[links] t1=time.time() print t1-t2 n+=1 print ('total is '+repr(n)+' links') print time.time()-tscanpage(http://news.163.com/)
到此这篇关于python获取整个网页源码的方法的文章就介绍到这了,更多相关python如何获取整个页面内容请搜索好吧啦网以前的文章或继续浏览下面的相关文章希望大家以后多多支持好吧啦网!
相关文章:
1. AspectJ领导人Adrian Colyer跳槽到Spring2. Django中的DateTimeField和DateField实现3. 如何理解Python中包的引入4. Django后端按照日期查询的方法教程5. SpringBoot 开发提速神器 Lombok+MybatisPlus+SwaggerUI6. 浅谈Django 页面缓存的cache_key是如何生成的7. Java实现三子棋小游戏8. ASP中RecordSet Open和Connection.Execute一些区别与细节分享9. JavaScript实时更新当前的时间的示例代码10. Python 使用 PyQt5 开发的关机小工具分享