Python爬取网页信息的示例

Python爬取网页信息的步骤

以爬取英文名字网站（https://nameberry.com/）中每个名字的评论内容，包括英文名，用户名，评论的时间和评论的内容为例。

1、确认网址

在浏览器中输入初始网址，逐层查找链接，直到找到需要获取的内容。

在打开的界面中，点击鼠标右键，在弹出的对话框中，选择“检查”，则在界面会显示该网页的源代码，在具体内容处点击查找，可以定位到需要查找的内容的源码。

注意：代码显示的方式与浏览器有关，有些浏览器不支持显示源代码功能（360浏览器，谷歌浏览器，火狐浏览器等是支持显示源代码功能）

步骤图：

1)首页，获取A~Z的页面链接

2)名字链接页，获取每个字母中的名字链接（存在翻页情况）

3)名字内容页，获取每个名字的评论信息

2、编写测试代码

1)获取A~Z链接，在爬取网页信息时，为了减少网页的响应时间，可以根据已知的信息，自动生成对应的链接，这里采取自动生成A~Z之间的连接，以pandas的二维数组形式存储

def get_url1(): urls=[] # A,’B’,’C’,’D’,’E’,’F’,’G’,’H’,’I’,’J’,’K’,’L’,’M’,’N’,’O’,’P’,’Q’,’R’,’S’,’T’,’U’,’V’,’W’,’X’,’Y’,’Z’ a=[’A’,’B’,’C’,’D’,’E’,’F’,’G’,’H’,’I’,’J’,’K’,’L’,’M’,’N’,’O’,’P’,’Q’,’R’,’S’,’T’,’U’,’V’,’W’,’X’,’Y’,’Z’]#自动生成A~Z的链接 for i in a: urls.append('https://nameberry.com/search/baby_names_starting_with/%s' %i) dp=pd.DataFrame(urls) dp.to_csv('A~Z_Link1.csv',mode='a',encoding=’utf_8_sig’)#循环用于在每个字母链接下，调用爬取名字链接的页面的函数，即函数嵌套 for j in urls: get_pages_Html(j) return urls

2)获取名字链接，根据网页源码分析出包含名字链接的标签，编写代码，名字链接用直接存储的方式存储，方便读取名字链接进行对名字的评论内容的获取

#获取页数def get_pages_Html(url1): req = requests.get(url1) soup=BeautifulSoup(req.text)#异常处理，为解决页面不存在多页的问题，使用re正则表达式获取页面数 try: lastpage = soup.find(class_='last').find('a')[’href’] str1=’{}’.format(lastpage) b=re.findall(’d+’, str1 ) for page in b: num=page except: num=1 get_pages(num,url1) return numdef get_pages(n,url): pages=[] for k in range(1,int(n)+1): pages.append('{}?page={}'.format(url,k)) dp=pd.DataFrame(pages) dp.to_csv('NUM_pages_1.csv',mode='a',encoding=’utf_8_sig’) #函数调用 for l in pages: parse_HTML2(l) return pages# 名字的链接，根据网页源码的标签，确定名字链接的位置def parse_HTML2(url2): try: req = requests.get(url2) req.encoding = req.apparent_encoding soup = BeautifulSoup(req.text) except: dp=pd.DataFrame(url2) dp.to_csv('Error_pages_1.csv',mode='a',encoding=’utf_8_sig’) name_data_l=[] error=[] li_list = soup.find_all(’li’,class_='Listing-name pt-15 pb-15 bdb-gray-light w-100pct flex border-highlight') try: for li in li_list: nameList=li.find(’a’,class_=’flex-1’)[’href’] name_data_l.append(’https://nameberry.com/’+nameList) time.sleep(1) cun(name_data_l,’Name_List_1’) except: dp=pd.DataFrame(name_data_l) dp.to_csv('Error_Name_List_1.csv',mode='a',encoding=’utf_8_sig’) # cun(url2,’Error_link_Q’) # dp=pd.DataFrame(name_data_l) # dp.to_csv('Name_List.csv',mode='a',encoding=’utf_8_sig’) # for i in name_data_l: # parse_HTML3(i) return name_data_l

3)获取名字评论的内容，采用字典形式写入文件

# 名字里的内容def parse_HTML3(url3): count=0 req = requests.get(url3) req.encoding = req.apparent_encoding soup = BeautifulSoup(req.text) error=[] try: Name=soup.find(’h1’,class_=’first-header’).find('a').get_text().replace(',','').replace('n','') except: error.append(url3) cun(error,'Error_Link_Comment') li_list = soup.find_all(’div’,class_='comment') for li in li_list: Title=li.find('h4').get_text().replace(',','').replace('n','') Time=li.find('p',class_=’meta’).get_text().replace(',','').replace('n','') Comments=li.find('div',class_=’comment-text’).get_text().replace(',','').replace('n','') dic2={ 'Name':Name, 'Title':Title, 'Time':Time, 'Comments':Comments } time.sleep(1) count=count+1 save_to_csv(dic2,'Name_data_comment') print(count) return 1

3、测试代码

1)代码编写完成后，具体的函数调用逻辑，获取链接时，为直接的函数嵌套，获取内容时，为从文件中读取出名字链接，在获取名字的评论内容。避免因为逐层访问，造成访问网页超时，出现异常。

如图：

2)测试结果

4、小结

在爬取网页内容时，要先分析网页源码，再进行编码和调试，遵从爬虫协议（严重者会被封号），在爬取的数据量非常大时，可以设置顺序部分请求（一部分的进行爬取网页内容）。

总之，爬虫有风险，测试需谨慎！！！

以上就是Python爬取网页信息的示例的详细内容，更多关于Python爬取网页信息的资料请关注好吧啦网其它相关文章！