python爬虫[一]批量下载妹子图

煎蛋网上的妹子图专题有着质量很高的美女#css/css-rwd-images.html” target=”_blank”>图片,今天分享一下用 python 批量下载这些妹子图的方法。

需要了解的知识和工具:

#1 需要了解 python 的基本语法,对这篇文章来说,你只要知道如何操作 list ,for……in……,如何定义函数就够了。网页抓取、分析和保存文件的函数边用边了解。

#2 需要安装第三方库 beautifulsoup4。使用 pip 安装是很便利的方法。最新版本的 python 自带了pip工具,windows下按 windows+x快捷键,打开命令提示符(管理员),输入

pip install beautifulsoup4

回车运行

出现 successfully installed 之类的提示信息就说明安装已完成。

#3 不需要具备html等知识。但查看源代码和查看元素的浏览器还是需要的,如 chrome 和 firefox。

(如果没有 pip ,请自行搜索如何安装 pip.)

一.下载网页

想要下载两千多个网页上的所有图片,首先你要学会下载一个网页 :)。练习下载的网址 url 是:jandan.net/ooxx/page-2397#comments. 使用 chrome 或 firefox浏览器打开后,鼠标右键——查看网页源代码。我们看到的网页,都是浏览器解析这些 使用 html,js,css 等编写的源代码后呈现给我们的。而图片的地址就包含在这些源代码中,那么第一步就是下载这些html代码。

截取了部分代码

使用 python 自带库 urllib.request 来下载网页 。urllib.request 是一个使用多种协议的、用于访问打开 url 的可扩展库。

import urllib.request

url = ‘http://jandan.net/ooxx/page-2397#comments’

res = urllib.request.urlopen(url)

urllib.request.urlopen()这个函数是干嘛的呢? 如它的名字一样,它可以用来打开一个 url 。它既可以接受一个str(我们传的就是),也可以接受一个 request对象。这个函数的返回值总是一个可以像 context manager 样工作的对象,并且自带 geturl()、info()、getcode()等方法。

其实我们不用管那么多,只需要记住这个函数可以接受一个网址,然后返回给我们一个包含这个网址所有信息的对象就行了,我们对这个对象进行操作。

现在把 res 对象中的 html代码读出来赋给变量html。使用res.read()方法。

html = res.read()

这时,html中存储的就是 html源代码了!

试着 print(html)

截取了部分代码。

这时你发现结果和鼠标右键——查看网页源代码出现的内容不太一样。原来read()方法的返回值是 n bytes……这是什么鬼? 好吧,其实我们是可以解析这个返回值并得到图片地址的。但如果你想得到和浏览器中看到的一样的 html 代码,可以将上一行代码改为

html = res.read().decode(‘utf-8’)

然后print(html)

截取了部分代码。

ok!一样了,这是因为 read()的decode(‘utf-8’)可以把read()的返回值以utf-8编码。但我们仍使用 html = res.read(),因为其中同样包含我们需要的信息。

到目前为止我们只用了4行 python 代码,就把网页 http://jandan.net/ooxx/page-2397#comments 的html代码下载并存储到了变量html中。如下:

import urllib.request

#下载网页

url = ‘http://jandan.net/ooxx/page-2397#comments’

res = urllib.request.urlopen(url)

html = res.read()

二.解析出地址

下面,使用 beautifulsoup4 对html进行解析。

如何确定某张图片对应的html代码在哪里呢?在该网页上鼠标右键——检查。这时左半屏是原网页,右半屏是html代码和一堆功能按钮。

elements 左边有个选择箭头,单击一下变为蓝色,再单击左边网页中的图片,就可以看到右边html代码中自动高亮了一部分代码。这部分代码就是这张图片对应的html代码!这个箭头就是用来定位网页中某元素对应的代码的。

仔细看这段代码:

可以看到 src=”//wx2.sinaimg.cn/mw600/66b3de17gy1fdrf0wcuscj20p60zktad.jpg”部分 就是这张图片的地址,src 就是 source。src后面的 style则是它的样式,不用管它。这时你可以试验一下,在src前添加http:,访问http://wx2.sinaimg.cn/mw600/66b3de17gy1fdrf0wcuscj20p60zktad.jpg应该就能看到原来的图片了。

所以,src对应的内容就是我们需要的图片链接地址。注意看图片中,src和图片地址链接、style和max-width等是类似于 key-value的对应关系。这与后面提取图片的地址所用的方法有关系。

查看其他图片对应的代码,可以看到它们的格式都是一样的,即都被包含在 中。

使用beautifulsoup()将html解析。除了传入html,我们还传了一个’html.parser’参数,这表明我们希望 beautifulsoup()函数按html的解析方式对变量html进行解析。parser是句法分析的意思。

soup = beautifulsoup(html,’html.parser’)

这行代码将html解析成一个soup对象。我们可以很方便地对这个对象进行操作。比如只提取包含’img’的文本内容:

result = soup.find_all(‘img’)

用find_all()方法。

print(result)可以看到result是一个列表,每个元素都是src-图片地址键值对,只不过包含 等我们不需要的内容。

截取了部分代码。

使用get方法把双引号中的地址提取出来,并在开头加上 http:。

links=[]

for content in result:

links.append(‘http:’+content.get(‘src’))

content.get(‘src’)就是在content中获取键src所对应的值,即双引号中的地址。

links.append()是常见的向列表中添加元素的方法。

print(links)可以看到这个列表里每个元素都是原来双引号中的的图片地址。如下图:

截取了部分代码

使用浏览器打开任何一个地址都能看到相应的图片!yo!这说明我们就差最后一步了,下载它们!

提取地址部分就完成了。代码也是相当的简洁,如下:

#解析网页

from bs4 import beautifulsoup

soup = beautifulsoup(html,’html.parser’)

result = soup.find_all(‘img’)

links=[]

for content in result:

links.append(‘http:’+content.get(‘src’))

三.下载图片

最后就是依次访问links中的地址,把图片下载下来!

在开头

import os

先创建photo文件夹存放下载的图片,以下代码会将photo文件夹创建在这个程序.py文件所在的位置。

if not os.path.exists(‘photo’):

os.makedirs(‘photo’)

我们知道links是个列表,所以最好使用循环来一个一个下载、命名、存放。

i=0

for link in links:

i+=1

filename =’photo\\’+’photo’+str(i)+’.png’

with open(filename,’w’) as file:

urllib.request.urlretrieve(link,filename)

i是循环变量,i+=1是控制循环的语句。

filename为图片命名,但其实是先创建一个具有此名称的文件,然后把图片写进去。从filename的赋值语句可以看出,’photo\\’说明它位于photo文件夹,后面的 ‘photo’+str(i)则是为了有序,全下载完后会是 photo1,photo2,photo3这样的感觉~ ‘.png’是后缀。用 + 号连接字符串在python中也是常用的做法。

with这两行语句,将 link中的地址指向的图片获取到本地,然后存入 filename 。

open(filename,’w’),打开filename这个文件夹,’w’表示打开方式是 write 写入。也就是说在这里open()接受了两个参数,一个是文件名(文件路径),一个是打开方式。

urllib.request.urlretrieve(link,filename) 的功能是访问 link 这个链接,然后取回一份拷贝放入 filename中。

3部分都写完后,点击运行!就能在.py文件所在路径发现 photo文件夹,里面全是我们下载的图片啦~

完整代码如下:

import urllib.request

from bs4 import beautifulsoup

import os

#下载网页

url = ‘http://jandan.net/ooxx/page-2397#comments’

res = urllib.request.urlopen(url)

html = res.read()

#解析网页

soup = beautifulsoup(html,’html.parser’)

result = soup.find_all(‘img’)

links=[]

for content in result:

links.append(‘http:’+content.get(‘src’))

#下载并存储图片

if not os.path.exists(‘photo’):

os.makedirs(‘photo’)

i=0

for link in links:

i+=1

filename =’photo\\’+’photo’+str(i)+’.png’

with open(filename,’w’) as file:

urllib.request.urlretrieve(link,filename)

这个小程序算是面向过程的写法吧,从上到下,也没有定义函数。这样可能对刚入门的新手更易懂一些。

妹子图的链接

http://jandan.net/ooxx/page-2397#comments 只有中间的数字会在1-2xxx间变化。

url = ‘http://jandan.net/ooxx/page-‘+str(i)+’#comments’

改变 i 的值就能批量下载了。可是有评论说频繁的访问该网站可能会被封 ip,这点我也不懂,请自行尝试!

以上就是python爬虫[一] 批量下载妹子图的详细内容,更多请关注 第一php社区 其它相关文章!

Posted in 未分类