[技术干货] Python脚本优化-----Zabbix多行日志监控

[复制链接]
乐维 发表于 2020-8-13 14:27:57 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
通过使用zabbix 日志监控 我发现一个问题 例如oracle的日志有报错的情况 ,通常不会去手动清理 这样的话当第二次有日志写进来的时候 zabbix的机制是回去检查全部日志,这样的话之前已经告警过的错误日志,又会被检查到,这样就会出现重复告警,而且zabbix的日志监控只能读到匹配当前行关键字的数据,感觉不太灵活, 比如我想要匹配到的关键字之后再当前关键字的下N行再去匹配另一个关键字这个时候就比较麻烦,在这里给大家推荐一个有效,便捷解决的方式。
python3 npar.py  /u03/z.txt  '(ORA-|REEOR),(04030|02011)'  2
第一个参数是日志路径  第二个参数是关键字 第三个参数为 匹配到第一个表达式这种的关键字后再去地 N(2)行去匹配第二个关键词(04030|02011)具体脚本实现如下
import os
import sys
logtxt="logtxt.txt"
def read_txt(files,start_line):
    data =[]
    data.append("")
    with open(str(files)+"", "r", encoding='UTF-8') as f:
        for line in f.readlines():
           line = line.strip('\n')  #去掉列表中每一个元素的换行符
           data.append(line)
        #记录本次的行数
        wirte_log(len(data)-1)
    if len(data)>start_line:
       return data[start_line-1:]
    else:
        print("开始行数大于文本文件总行数!")
def wirte_log(lines):
    global logtxt
    with open(logtxt,"w") as file:   #”w"代表着每次运行都覆盖内容
            file.write(str(lines))
def read_log():
    global logtxt
    if not os.path.exists(logtxt):
         with open(logtxt,"w") as file:   #”w"代表着每次运行都覆盖内容
            file.write(str(1))
    with open(logtxt+"", "r", encoding='UTF-8') as f:
         s_lines = f.readlines()
    print("从第"+str(s_lines[0])+"行开始")
    return s_lines[0]
def deal_read_log(files, keyword, interval_line):
    keywords = keyword.replace("(","").replace(")","").replace("'","").replace('"','"').split(',')
    start_keywords=keywords[0].split("|")
    end_keywords = keywords[1].split("|")
   
   
   
    start_line=read_log()
    lines_data = read_txt(files,int(start_line))
   
    for_line=1
    while(for_line<len(lines_data)):
        
        #print(for_line)
        #print(lines_data[for_line])
        #if end_keywords in lines_data[for_line]:
        #      print(lines_data[for_line])
        #      print("-------------------")
        #      for_line = for_line+1
              
        #else:
            isexist = 0
            for sk in start_keywords:
                if sk in lines_data[for_line]:
                    isexist=1
                    break;
               
            if isexist==1:
            #if start_keywords[0] in lines_data[for_line] or start_keywords[1] in lines_data[for_line]:
                #当前行有end_keywords
                isexist2 = 0
                for sk in end_keywords:
                    if sk in lines_data[for_line]:
                        isexist2=1
                        break;
                if isexist2==1:
                        #print("行数="+str(start_line-1+for_line)+"-"+str(start_line-1+for_line))
                        print(lines_data[for_line])
                else:
                    #当前行没有end_keywords。往下interval_line行去寻找
                    #标记当前行数
                    flag_line = for_line
                    count=1
                    for_line = for_line+1
                    while(for_line<len(lines_data)):
                        isexist3 = 0
                        for sk in end_keywords:
                            if sk in lines_data[for_line]:
                                isexist3=1
                                break;
                        if isexist3==1:
                             #print("行数="+str(start_line-1+flag_line)+"-"+str(start_line-1+for_line))
                             for prin in range(flag_line,for_line+1):
                                  print(lines_data[prin])
                             break;
                        
                        for_line = for_line+1
                        
                        if count==int(interval_line):
                            break;
                        count = count+1
                    for_line = for_line-1  
            
            for_line = for_line+1
if __name__ == '__main__':
    files = sys.argv[1]
    if  '.log' in files:
      logtxt=files.replace(".log","_log.txt")
    else:
         logtxt=files.replace(".txt","_log.txt")
    #files="ora.txt"
    keywords = sys.argv[2]
    #keywords="'((04030|04000),ORA-)'"
    # 上下关联行数
    interval_line = int(sys.argv[3])
    #interval_line=10
    deal_read_log(files, keywords, interval_line)
接下来就是添加监控了
agentconf 文件里面添加UserParameter
1.png
2.png
到这里监控就完成了

技术交流欢迎加入Q群:177428068





上一篇:Zabbix日志监控项介绍
下一篇:Zabbix“专家坐诊”第73期问答汇总
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注0

粉丝0

帖子237

发布主题

乐维社区

微信公众号

版权所有 © 2016-2019 九一乐维丨粤ICP备17007026号