详解python3中yield生成器的用法

任何使用yield的函数都称之为生成器,如:

def count(n):
while n > 0:
yield n #生成值:n
n -= 1

另外一种说法:生成器就是一个返回迭代器的函数,与普通函数的区别是生成器包含yield语句,更简单点理解生成器就是一个迭代器。

使用yield,可以让函数生成一个序列,该函数返回的对象类型是”generator”,通过该对象连续调用next()方法返回序列值。

c = count(5)
c.__next__() #python 3.4.3要使用c.__next__()不能使用c.next()
>>> 5
c.__next__()
>>>4

生成器函数只有在调用__next()__方法的时候才开始执行函数里面的语句,比如:

def count(n):
print ( “cunting” )
while n > 0:
yield n #生成值:n
n -= 1

在调用count函数时:c=count(5),并不会打印”counting”只有等到调用c.__next__()时才真正执行里面的语句。每次调用__next__()方法时,count函数会运行到语句yield n处为止,__next__()的返回值就是生成值n,再次调用__next__()方法时,函数继续执行yield之后的语句(熟悉java的朋友肯定知道thread.yield()方法,作用是暂停当前线程的运行,让其他线程执行),如:

def count(n):
print (“cunting” )
while n > 0:
print (‘before yield’)
yield n #生成值:n
n -= 1
print (‘after yield’ )

上述代码在第一次调用__next__方法时,并不会打印”after yield”。如果一直调用__next__方法,当执行到没有可迭代的值后,程序就会报错:

traceback (most recent call last): file “”, line 1, in stopiteration
所以一般不会手动的调用__next__方法,而使用for循环:

for i in count(5):
print (i),

实例: 用yield生成器模拟linux中命令:tail -f file | grep python 用于查找监控日志文件中出现有python字样的行。

import time
def tail(f):
f.seek(0,2)#移动到文件eof
while true:
line = f.readline() #读取文件中新的文本行
if not line:
time.sleep(0.1)
continue
yield line
def grep(lines,searchtext):
for line in lines:
if searchtext in line:
yield line
flog = tail(open(‘warn.log’))
pylines = grep(flog,’python’)
for line in pylines:
print ( line, )
#当此程序运行时,若warn.log文件中末尾有新增一行,且该一行包含python,该行就会被打印出来
#若打开warn.log时,末尾已经有了一行包含python,该行不会被打印,因为上面是f.seek(0,2)移动到了文件eof处
#故,上面程序实现了tail -f warn.log | grep ‘python’的功能,动态实时检测warn.log中是否新增现了
#新的行,且该行包含python

用yield实现斐波那契数列:

def fibonacci():
a=b=1
yield a
yield b
while true:
a,b = b,a+b
yield b

调用:

for num in fibonacci():
if num > 100:
break
print (num),

yield中return的作用:
作为生成器,因为每次迭代就会返回一个值,所以不能显示的在生成器函数中return 某个值,包括none值也不行,否则会抛出“syntaxerror”的异常,但是在函数中可以出现单独的return,表示结束该语句。
通过固定长度的缓冲区不断读文件,防止一次性读取出现内存溢出的例子:

def read_file(path):
size = 1024
with open(path,’r’) as f:
while true:
block = f.read(size)
if block:
yield block
else:
return

如果是在函数中return 具体某个值,就直接抛异常了

>>> def test_return():
… yield 4
… return 0

file “”, line 3
syntaxerror: ‘return’ with argument inside generator

例子

下面来看几段代码示例:

例1:

>>> def mygenerator():
… print ‘start…’
… yield 5

>>> mygenerator() //在此处调用,并没有打印出start…说明存在yield的函数没有被运行,即暂停

>>> mygenerator().next() //调用next()即可让函数运行.
start…
5
>>>

如一个函数中出现多个yield则next()会停止在下一个yield前,见例2:

例2:

>>> def fun2():
… print ‘first’
… yield 5
… print ‘second’
… yield 23
… print ‘end…’

>>> g1 = fun2()
>>> g1.next() //第一次运行,暂停在yield 5
first
5
>>> g1.next() //第二次运行,暂停在yield 23
second
23
>>> g1.next() //第三次运行,由于之后没有yield,再次next()就会抛出错误
end…
traceback (most recent call last):
file “”, line 1, in
stopiteration
>>>

为什么yield 5会输出5,yield 23会输出23?
我们猜测可能是因为yield是表达式,存在返回值.
那么这是否可以认为yield 5的返回值一定是5吗?实际上并不是这样,这个与send函数存在一定的关系,这个函数实质上与next()是相似的,区别是send是传递yield表达式的值进去,而next不能传递特定的值,只能传递none进去,因此可以认为g.next()和g.send(none)是相同的。见例3:

例3:

>>> def fun():
… print ‘start…’
… m = yield 5
… print m
… print ‘middle…’
… d = yield 12
… print d
… print ‘end…’

>>> m = fun() //创建一个对象
>>> m.next() //会使函数执行到下一个yield前
start…
5
>>> m.send(‘message’) //利用send()传递值
message //send()传递进来的
middle…
12
>>> m.next()
none //可见next()返回值为空
end…
traceback (most recent call last):
file “”, line 1, in
stopiteration