python把第x列数据写入第x个文件
问题描述
Python爬虫一共需要爬取65页数据,每页数据的列数不确定。现在我能把每一列的数据抓下来,但是因为列数不确定,写入的文件名就不能确定。问题在于怎么才能把第x列数据写入第x个文件。也就是如何才能动态选择file=的文件名。代码如下:
f_1 = open(’fitment/1.txt’, ’a’)f_2 = open(’fitment/2.txt’, ’a’)f_3 = open(’fitment/3.txt’, ’a’)for i in range(66): pr = random.choice(proxy) url = ’https://*****’ + str(i) + ’****’ page_url = requests.get(url, headers=head, proxies=pr) page_get = page_url.text page_text = BeautifulSoup(page_get, ’lxml’) fitment_1 = page_text.find_all(’tr’, {’class’: ’fitment listRowEven’}) for each_tag_1 in fitment_1:td_text_1 = each_tag_1.find_all(’td’)for x in range(len(td_text_1)+1): print(td_text_1[x].string, file=)
网页的结构类如下,每个tr标签即为一列,具体要抓取的数据位于每个td标签内
<tr> <td>...</td> <td>...</td> <td>...</td> <td>...</td></tr><tr> <td>...</td> <td>...</td> <td>...</td> <td>...</td></tr>
问题解答
回答1:先不要定义好open文件对象,可以根据列数打开相应的文件操作
with open(’列数.txt’, ’a’) as f: f.write(’内容’)
相关文章:
1. 移动端页面文字垂直居中兼容性问题2. angular.js - angular js配置路由 编写控制器的时候说跳转页内的数据模型不存在3. android - 新建项目卡在Gradle:Resolvedependencies’:app:_debugCompile’4. javascript - 求一套有关于IP地址的JS正则!5. angular.js - 有没有不需要先git clone xxxx的angular2的教程?6. atom编译器 如何格式化前端代码文件?7. angular.js - 获取数据后总是要有一段$scope.$apply();这段代码是什么意思呀?8. css3 - 我的css用less写的,eclipse的jsp文件要修改css很麻烦,怎么解决?9. javascript - 关于Js中 this的一道题10. mysql根据某个字段已存在的值排序