使用python写个小监控

1.入门

首先你得用过c/c++、java、javascript等的一种,编程小白估计比较艰难,有一定编程经验的python小白相对简单些。

1.1 hello world!

python安装比较简单,到官网上下载安装包,一路下一步就可以了。因为我的服务器上安装的是2.6.6,所以我也下了这个版本。话说2.x的差别不是很大,如果想用3.x,可能下面的代码直接运行不过,不过也差不多,稍微改改即可。
新建一个文件,命名为hello.py。使用python的idle打开hello.py,写入以下代码:

print “hello world!”

按f5,就可以看见输出结果了。

1.2 基本语法

每一行是一条语句。c语言是通过分号”;“;
通过缩进来组织代码块。c语言是通过大括号”{}“;
注释使用井号”#“。

1.3 数据类型、运算符、数据结构

运算符和c语言差不多,c语言有的基本上直接用就可以。
数据类型有数值型,字符串。数据结构有 list, tuple, dict, set。介绍一下tuple, 不能修改,通过索引进行查找。dict类似于map,存放键值对。来看例子,看看tuple使用:

>>> t=(1,2,[1,2])
>>> t[2]
[1, 2]

1.4 流程控制

python中可以使用if elif else、for和 while 来实现流程控制。同样有 break 和 continue。有一点和c不同,如果有一个分支什么都不做,要使用 pass。例如

list=[0, 1, 2, 3, 4, 5]
for item in list:
if item == 1:
print item
elif item in (2, 3, 4, 5):
print “aha ” + str(item)
else:
pass

运行结果是:
1
aha 2
aha 3
aha 4
aha 5

1.5 模块组织

有方法和类。

方法这样定义

def func(var):
some code here

类和c++等有些不同

class myclass(object):
common = 1
def __init__(self):
self.myvariable = 5
def myfunction(self, arg1, arg2):
return self.myvariable

common变量相当于c++中用 static 修饰的变量,所有类通用;继承也非常简单,可以看看开始推荐的那篇文章。

1.6 异常处理

异常处理非常简单,直接贴代码了:

def some_function():
try:
# pision by zero raises an exception
10 / 0
except zeropisionerror:
print “oops, invalid.”
else:
# exception didn’t occur, we’re good.
pass
finally:
# this is executed after the code block is run
# and all exceptions have been handled, even
# if a new exception is raised while handling.
print “we’re done with that.”

1.7 工程组织

直接引用库,或者从库中引入某一个方法或变量。

import random
from time import clock

2. 数据库查询

既然是监控,免不了和数据库打交道。我使用的是postgresql,所以就介绍一下python怎么调用postgres。

连接postgres首先要安装一个库psycopg2,windows下直接下载安装即可,注意选对版本。我的服务器是centos,安装直接运行

yum install python-psycopg2

就ok了。

2.1 首先创建数据库连接

#get database connect
def get_con():
host = ‘127.0.0.1’
port = “5432”
database = ‘platform’
user = ‘postgres’
password = ‘postgres’
conn = psycopg2.connect(database=database, user=user, password=password, host=host, port=port)
return conn

2.2 执行sql语句

#执行sql查询
def query(conn, sql):
cursor = conn.cursor()
cursor.execute(sql)
results = cursor.fetchall()
#close cursor
cursor.close()
return results

2.3 然后就可以写具体业务了

def getusers():
conn = get_con()#open connect
sql = “””select *
from t_user
order by intime desc
limit 5″””
items = query(conn , sql)
print str(items)
conn.close() #close connect

注意3个引号”””,就是普通字符串,不过可以换行。

3. 发送邮件

查询到数据之后不能及时通知管理员的话监控就没有意义了。所以我们通过邮件来通知,直接使用python的标准库 smtplib 就可以了。写个发送邮件的函数:

#发送邮件
def send_email(subject, content):
sender = “yourmail@***.com”
password = “******” #密码是看不见的哦
receivers = [tq8117179#163.com] #本人真实邮箱,欢迎发邮件讨论技术问题
host = “smtp.exmail.qq.com”
port = 465
msg = mimetext(content,’html’,’utf-8′)
msg[‘from’] = sender
msg[‘to’] = “,”.join(receivers)
msg[‘subject’] = header(subject, ‘utf-8’)
try:
smtp = smtplib.smtp_ssl(host, port)
smtp.login(sender, password)
smtp.sendmail(sender, receivers, msg.as_string())
except exception, e:
logger.error(e)
logger.info(content)

4.日志

发送邮件时我们使用了logger,这个logger是怎么来的呢?新建一个log.py,代码如下

# coding=utf-8
import logging
import logging.handlers
logger = logging.getlogger(‘monitor’)
logger.setlevel(logging.debug)
filehandler = logging.handlers.timedrotatingfilehandler(
“/mnt/log/monitor/monitor_log”, ‘midnight’, 1, 7)
# 设置文件后缀名称
filehandler.suffix = “%y%m%d.log”
formatter = logging.formatter(‘%(asctime)s-%(name)s-%(levelname)s: %(message)s’)
filehandler.setformatter(formatter)
logger.addhandler(filehandler)
通过logging.getlogger(‘monitor’)生成一个logger,然后配置一个文件处理器。
然后在我们监控程序中引用即可:
from log import logger

5. 把可配置信息放到配置文件中

如果我们添加一个管理员怎么办?如果我们的邮箱密码变了怎么办?直接修改python文件啊,哈哈。python不用编译直接改代码就好了,可是我们的程序以后要打包呢,所以最好写个配置文件,python的配置文件读取非常简单,使用python库 configparser 即可:

config = none
#get config
def getconfig():
global config
if config is none:
config = configparser.configparser()
config.read(“monitor.ini”)
return config

然后这样使用:

#get database connect
def get_con():
host = getconfig().get(‘db’, ‘host’)
port = getconfig().get(‘db’, ‘port’)
database = getconfig().get(‘db’, ‘database’)
user = getconfig().get(‘db’, ‘user’)
password = getconfig().get(‘db’, ‘password’)
conn = psycopg2.connect(database=database, user=user, password=password, host=host, port=port)
return conn
#发送邮件
def send_email(subject, content):
sender = getconfig().get(‘mail’, ‘sender’)
password = getconfig().get(‘mail’, ‘password’)
receivers = getconfig().get(‘mail’, ‘receivers’).split(“,”)
host = getconfig().get(‘mail’, ‘host’)
port = getconfig().getint(‘mail’, ‘port’)
msg = mimetext(content,’html’,’utf-8′)
msg[‘from’] = sender
msg[‘to’] = “,”.join(receivers)
msg[‘subject’] = header(subject, ‘utf-8’)
try:
smtp = smtplib.smtp_ssl(host, port)
smtp.login(sender, password)
smtp.sendmail(sender, receivers, msg.as_string())
except:
logger.exception(“exception: “)
logger.info(content)

配置文件是monitor.ini,内容如下:

#数据库配置
[db]
host = 127.0.0.1
port = 5432
database = platform
user = postgres
password = postgres
#邮件配置
[mail]
sender = yourmail@xxx.com
password = ******
#多个联系人用英文逗号隔开
receivers = tq8117179#163.com
host = smtp.exmail.qq.com
port = 465

6. 加点控制

我们每5分钟查一下数据,可是业务sql只能查询最近的几条,所以要加个时间段限制,弄个开始、结束时间。

start_time = “2015-10-1 16:24:24”
end_time = none
#update end_time, invoke before get new data
def update_end_time():
global end_time
now = time.mktime(datetime.now().timetuple())
end_time = time.strftime(‘%y-%m-%d %h:%m:%s’, time.localtime(now))
return end_time
#update end_time, invoke after get new data
def update_start_time():
global start_time
global end_time
start_time = end_time
return start_time
getusers可以改写成:
def getusers (conn):
global start_time
global end_time
sql = “””select *
from t_user
where intime>=””” +”‘”+start_time+”‘ and intime