通过Python扫描代码关键字并进行预警的实现方法

近期线上出现一个bug，研发的小伙伴把测试环境的地址写死到代码中，在上线前忘记修改，导致线上发布的代码中使用了测试环境地址。

开发过程中虽然有各种规范制度，但是难免有粗心，与其责备不如通过技术手段将问题进行避免。

为了达到上述需求，初步想通过以下步骤来实现代码关键字自动扫描告警。

Python安装 Git安装 GitPython安装 定时任务配置（方案一：crontab 方案二：APScheduler） git代码获取 关键词扫描 邮件告警

#安装python的依赖包yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel gcc#下载Python安装包，版本号：Python-3.7.1.tgz（在/opt下创建目录Python3）wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz#解压安装包tar -zxvf Python-3.8.1.tgz#指定python3安装目录./configure --prefix=/usr/local/python3#编译&安装make && make install#创建软连接，将自定目录管理到指定目录ln -s /usr/local/python3/bin/python3 /usr/bin/python3ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3#添加环境变量vi /etc/profileexport PATH=/usr/local/python3/bin:$PATH source /etc/profile#至此Python3安装完毕，通过命令验证

Git安装#下载git安装包，版本号：2.21.0wget https://github.com/git/git/archive/v2.21.0.tar.gz#解压tar -zxvf v2.21.0.tar.gz#安装make prefix=/usr/local/git install#添加环境变量vi /etc/profileexport PATH=/usr/local/git/bin:$PATHsource /etc/profile #至此Python3安装完毕，通过命令验证

GitPython3安装#可以采用在线安装pip3 install GitPython#但是我这里由于网络限制无法在线安装，只能采用手动安装#下载依赖包，下载地址https://pypi.org/，可以根据关键字smmap、gitdb进行检索下载smmap-3.0.4.tar.gzgitdb-4.0.5.tar.gz#安装tar -zxvf smmap-3.0.4.tar.gzcd smmap-3.0.4python3 setup.py installtar -zxvf gitdb-4.0.5.tar.gzcd gitdb-4.0.5python3 setup.py installtar -zxvf GitPython-3.1.2cd GitPython-3.1.2python3 setup.py install#安装完毕后，可以写一个demo.py进行验证复制代码from git.repo import Repoimport osdemo_git_path = ’/opt/workspace/demo’#定义本地目录Repo.clone_from(’http://git.***.com/demo/demo_git.git’,to_path=demo_git_path, branch=’master’)复制代码 #最终代码库将克隆到本地目录(执行前将demo.py赋权） python3 demo.py

linux下配置定时任务#定时任务采用linux的crontab来实现#编辑定时任务crontab -e* * * * * python3 /opt/python3-workspace/demo.py >> /opt/python3-workspace/logs/demo.log#前五个是时间指令，分钟（0-59）小时（0-28）日期（1-31）月份（1-12）星期几（0-6，其中0代表星期日）#python3 是具体执行的指令 后面跟的是执行的脚本 在后面跟的是日志#编辑保存后会立即执行#查看当前正在运行的任务,本案例中已临时注释#crontab -l

原计划使用linux的crontab进行任务调度，但是在执行GitPython命令时遇到两个问题，即

问题一：在crontab中无法调用GitPython命令，解决方案，在crontab中增加GitPython的路径

主要内容是在crontab中增加如下代码，至此第问题一可以解决

SHELL=/bin/bashPATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/git/bin:/root/binMAILTO=rootHOME=/

问题二：在crontab中执行GitPython命令时，无法读取linux记录的账号密码，导致自动任务始终无法检出代码，由于该问题一直未解决，因此决定采用python的定时任务调度解决该问题，具体见下文

APScheduler安装#这里由于网络限制无法在线安装，只能采用手动安装#下载依赖包，下载地址https://pypi.org/，可以根据关键字pytz、six、tzlocal进行检索下载pytz-2020.1.tar.gzsix-1.14.0.tar.gztzlocal-2.1.tar.gzAPScheduler-3.6.3.tar.gz#安装tzlocaltar -zxvf tzlocal-2.1.tar.gzcd tzlocal-2.1python3 setup.py install#安装sixtar -zxvf six-1.14.0.tar.gzcd six-1.14.0python3 setup.py install#安装pytztar -zxvf pytz-2020.1.tar.gzcd pytz-2020.1python3 setup.py install#安装APSchedulertar -zxvf APScheduler-3.6.3.tar.gzcd APScheduler-3.6.3python3 setup.py install至次APScheduler安装完毕，写个demo验证下：

git代码获取通过Repo.clone_from获取远程代码仓库，指定master分支，将远程代码库clone到本地/opt/workspace/demo目录下，如果当前目录不为空，则通过shutil.rmtree()进行级联删除

关键词扫描利用os组件，实现对指定目录进行递归扫描，将符合要求的文件扩展名.css .js .ftl .properties等文件进行逐行扫描关键词扫描其实就是利用正则表达式，对要扫描的关键词进行匹配，如果匹配成功则将目标文件名称放入到异常文件列表详细代码如下：import osimport reproject_git_path = ’/opt/workspace/demo’cssnum = 0jsnum = 0ftlnum = 0fileList = []pattern = re.compile(r’.test.com’)def analysiFile(pathFilename): #print(’文件名：’, filename) fo = open(pathFilename, ’r’, encoding=’UTF-8’) for line in fo.readlines(): match = pattern.search(line) if match: if(fileList.count(filename) == 0): fileList.append(filename);#循环打印目录下的所有文件for parentdir, dirname, filenames in os.walk(project_git_path): for filename in filenames: if os.path.splitext(filename)[1] == ’.css’: #分析具体文件 analysiFile(parentdir + ’’ + filename) if os.path.splitext(filename)[1] == ’.js’: #分析具体文件 analysiFile(parentdir + ’’ + filename) if os.path.splitext(filename)[1] == ’.ftl’: #分析具体文件 analysiFile(parentdir + ’’ + filename) if os.path.splitext(filename)[1] == ’.properties’: #分析具体文件 analysiFile(parentdir + ’’ + filename)for item in fileList: print(’命中文件：’, item)print(’共计：’, len(fileList))

邮件告警邮件告警即通过smtp服务将上述匹配出来的异常文件列表，发送给对应系统负责人详细代码如下：import smtplibfrom email.mime.text import MIMETextfrom email.header import Header# 第三方 SMTP 服务mail_host = 'smtp.****.com' # 设置服务器mail_user = '*****@****.com' # 用户名mail_pass = '*****' # 口令sender = ’*****@****.com’receivers = [’***@***.com’] # 接收邮件，可设置为你的QQ邮箱或者其他邮箱message = MIMEText(’Python 邮件发送测试...’, ’plain’, ’utf-8’)message[’From’] = Header('Python自动化检查', ’utf-8’)message[’To’] = Header('系统负责人', ’utf-8’)subject = ’某系统近2个月版本内网域名检查结果’message[’Subject’] = Header(subject, ’utf-8’)try: smtpObj = smtplib.SMTP() smtpObj.connect(mail_host, 25) # 25 为 SMTP 端口号 smtpObj.login(mail_user, mail_pass) smtpObj.sendmail(sender, receivers, message.as_string()) print '邮件发送成功'except smtplib.SMTPException: print 'Error: 无法发送邮件'

至此，该项目所需要的所有模块均已开发完毕，最后只需要根据自己的实际需求将上述各个模块组合在一起运行即可

由于本人是python初学者，代码基本是按照顺序执行的方式进行设计的，以能实现最终目的为主，为对代码结构、性能等合理性做出特别考虑

最后利用nohup命令，实现最终脚本的后台运行

总结

到此这篇关于通过Python扫描代码关键字并进行预警的文章就介绍到这了,更多相关Python扫描代码关键字预警内容请搜索好吧啦网以前的文章或继续浏览下面的相关文章希望大家以后多多支持好吧啦网！