文章详情页
想写一个python分析统计apache 日志文件的脚本
问题描述
想写一个python分析统计apache 网站日志文件并将统计后的数据存入mysql中的的脚本,有没有参考的,没有思路主要是统计 哪些url被爬取了 及 被爬取次数,以及IP这两个
问题解答
回答1:先把原始数据 规整化,然后 key 值自己定,然后用 collections 的 Counter 统计,然后再遍历写入 db, 大概代码如下:
data = [’/a 1.2.1.2’, ’/b 2.2.2.2’, ’/c 1.1.1.1’, ’/d 2.2.2.2’, ’/d 2.2.2.2’]from collections import Counterc = Counter(data)print c
Counter({’/d 2.2.2.2’: 2, ’/b 2.2.2.2’: 1, ’/a 1.2.1.2’: 1, ’/c 1.1.1.1’: 1})
你也可以自己维护字典,键为:/PATH:IP 或者什么,自己定,然后一边遍历,一边添加就好了
相关文章:
1. javascript - 百度地图自己的产品可以精确定位,为什么我调用他的公开API却必须经过用户同意才能获取精确定位,而且还慢?2. python - 一个域名可以绑定多台服务器吗?3. Windows环境开俩个CMD窗口操作MySQL测试加锁的疑问4. 怎么学好php5. 后台系统的左侧导航窗格如何修改6. javascript - echart+百度地图7. mybatis - Java关于Mysql的随机id生成8. mysql - 数据库建字段,默认值空和empty string有什么区别 1109. 网页爬虫 - Python爬虫入门知识10. python - import里的dot是以哪个路径作为根目录的?
排行榜