python多线程抓取天涯帖子内容示例

使用re, urllib, threading 多线程抓取天涯帖子内容,设置url为需抓取的天涯帖子的第一页,设置file_name为下载后的文件名

代码如下:

#coding:utf-8

import urllibimport reimport threadingimport os, time

class down_tianya(threading.thread): “””多线程下载””” def __init__(self, url, num, dt): threading.thread.__init__(self) self.url = url self.num = num self.txt_dict = dt

def run(self): print ‘downling from %s’ % self.url self.down_text()

def down_text(self): “””根据传入的url抓出各页内容,按页数做键存入字典””” html_content =urllib.urlopen(self.url).read() text_pattern = re.compile(‘时间:(.*?).*?.*?

Posted in 未分类