python正则表达式抓取成语网站

1、首先找到一个在线成语网站

2、查看网页结构,定义正则式看一下要抓的成语的标签有什么特点,查看源码,可以发现要抓的成语都在标签中,如:安如磐石,成语事实上就是一个瞄文本,不同成语指向的链接不同,其实也就”/cy0/93.html”中的数字不同,所以正则式里匹配两次数字就行了,定义正则式 reg = “(.*?)”。3、上代码吧

代码如下:

#anthor jiqunpeng#time 20121124import urllibimport re

def gethtml(url): #从url中读取html内容 page = urllib.urlopen(url) html = page.read() page.close() return html

def getdictionary(html): #匹配成语 reg = “(.*?)” diclist = re.compile(reg).findall(html) return diclist

def getitemsite():#手工把每个字母开头的页面数统计下来 itemsite = {}#申明为空字典 itemsite[“a”] = 3 itemsite[“b”] = 21 itemsite[“c”] = 19 itemsite[“d”] = 18 itemsite[“e”] = 2 itemsite[“f”] = 14 itemsite[“g”] = 13 itemsite[“h”] = 15 itemsite[“j”] = 23 itemsite[“k”] = 6 itemsite[“l”] = 15 itemsite[“m”] = 12 itemsite[“n”] = 5 itemsite[“o”] = 1 itemsite[“p”] = 6 itemsite[“q”] = 16 itemsite[“r”] = 8 itemsite[“s”] = 26 itemsite[“t”] = 12 itemsite[“w”] = 13 itemsite[“x”] = 16 itemsite[“y”] = 35 itemsite[“a”] = 21 return itemsite

if __name__== “__main__”: dicfile = open(“dic.txt”,”w+”)#保存成语的文件 domainsite = “http://chengyu.itlearner.com/list/” itemsite = getitemsite() for key,values in itemsite.items(): for index in range(1,values+1): site = key +”_”+str(index)+”.html” dictionary = getdictionary(gethtml(domainsite+site)) for dic in dictionary: dicfile.write(dic[2]+”@@cy\n”)#标记为成语,分词时使用 print key+’字母成语抓取完毕’ dicfile.close() print ‘全部成语抓取完毕’

把成语保存在了txt文本中,还添加了一个后缀标签。最后注意,设计正则表达式时可能会出现明明认为是正确的,就是匹配不了,对空白字符要留意,比如说要解析:

代码如下:

kkun

你看不出第一行与第二行的空白字符是什么,可以index = html.find(‘avatar_name’),html[4677:4677+100]看到非空白字符。