《零基础入门学习Python》第056讲：论一只爬虫的自我修养4：网络爬图

今天我们结合前面学习的知识，进行一个实例，从网络上下载图片，话说我们平时闲来无事会上煎蛋网看看新鲜事，那么，熟悉煎蛋网的朋友一定知道，这里有一个 随手拍 的栏目，我们今天就来写一个爬虫，自动抓取每天更新的 随手拍。

要写爬虫，首先要做的第一件事就是踩点，主动发现网页之间的规律，还有图片链接之间有什么规律，例如说，该网站的链接形式为：http://jandan.net/ooxx/page-‘页码数’#comments，（页码数应该小于等于当天的页码数（即目前最大页码数）），

1.那我们怎样获取目前最大的页码数呢（最新页码），我们在页码[77]这个位置点击右键，审查元素，看到了：<span class="current-comment-page">[77]</span>

我们完全可以通过搜索 current-comment-page 在后面偏移 3 位就可以得到 77 这个最新的页面，因为你不能去输入一个具体的数字，因为这里的数字每天都会改变。

2.我们在图片的位置点击右键，审查元素，发现了图片的地址，都是来自于新浪，然后都在 img 标签里，我们就可以使用 img src 作为关键词来进行查找，搜索到了图片的地址就可以参照我们之前下载一只猫的例子了。把下面图片的地址用 urlopen() 打开，然后将其 save 到一个文件里去（二进制），就可以了。

<img src="http://ww3.sinaimg.cn/mw600/006XNEY7gy1fy62ba9d6cj30u00u0x6p.jpg" style="max-width: 480px; max-height: 750px;">

我们弄清楚了以上几点，就可以开始写我们的爬虫程序啦.....

（我们抓取前10页的图片，保存到指定的本地文件夹中）

下面是老师讲的代码：

1. #从煎蛋网的随手拍栏目下载图片

2. import urllib.request

3. import os

4. import random

6. def url_open(url):

7. req = urllib.request.Request(url)

8. req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36')

10. #使用代理（就加入下面五行）

11. #proxies = ['119.6.144.70:81', '111.1.36.9:80', '203.144.144.162:8080']

12. #proxy = random.choice(proxies)

14. #proxy_support = urllib.request.ProxyHandler({'http':proxy})

15. #opener = urllib.request.build_opener(proxy_support)

16. #urllib.request.install_opener(opener)

18. response = urllib.request.urlopen(url)

19. html = response.read()

20. return html

22. def get_page(url): #得到最新页面的页码数

23. html = url_open(url)

24. html = html.decode('utf-8') #因为要以字符串的形式查找，所以要 decode

26. #然后就是查找 html 中的 'current-comment-page'

27. a = html.find( 'current-comment-page') + 23 #加上 23 位偏移就刚到到页码数的第一位数字

28. b = html.find(']', a) #找到 a 位置之后的第一个方括号所在位置的索引坐标

30. return html[a : b] #这就是最新的页码数啦

32. def find_imgs(url): #给一个页面的链接，返回所有图片地址组成的列表

33. html = url_open(url).decode('utf-8')

34. img_addrs = [] #声明一个保存图片地址的列表

36. #查找图片地址

37. a = html.find('img src=')

38. while a != -1:

39. b = html.find('.jpg', a, a+255) #在 a 到 a+255 区间找 '.jpg'，防止有不是 '.jpg' 格式的图片

40. #如果 b 找不到，b 就返回 -1

41. if b != -1:

42. img_addrs.append(html[a+9: b+4])

43. else:

44. b = a + 9

46. a = html.find('img src=', b)

48. return img_addrs

50. def save_imgs(folder, img_addrs):

51. for each in img_addrs:

52. filename = each.split('/')[-1]

53. with open(filename, 'wb') as f:

54. img = url_open(each)

55. f.write(img)

58. def download_figures(folder = 'figures', page = 10):

59. os.mkdir(folder) #创建文件夹

60. os.chdir(folder)

62. url = "http://jandan.net/ooxx/" #随手拍栏目的链接，也是最新页面的链接

63. page_num = int(get_page(url)) #得到最新页面的页码数

65. for i in range(page):

66. page_url = url + 'page-' + str(page_num) + '#comments' #得到要爬取的页面的链接

67. print(page_url)

68. img_addrs = find_imgs(page_url) #得到页面所有图片的地址，保存为列表

69. save_imgs(folder, img_addrs) #保存图片到本地文件夹

70. page_num -= 1 #逐步找到前几个页面

72. if __name__ == '__main__':

73. download_figures()

但是现在，煎蛋网用这段代码是无法实现的了，主要问题在于 没有办法爬取到 .jpg，这是因为这个网站已经被加密了。

怎样判断一个网站被加密了，就是

使用urllib.urlopen导出html文本和审查元素中相应字段对不上。

以后你会发现对不上是常态，一般是JS加密的  可以说大一点的网站这些信息都会对不上。

那怎么解决呢？

目前我只用的一种方法就是：使用selenium爬取js加密的网页

需要详细讲解的可以查看：python使用selenium爬取js加密的网页

所以呢，我的代码就是下面这样子了：

1. #从加密的煎蛋网的随手拍栏目下载图片

2. import os

3. from selenium import webdriver

4. import urllib.request

6. def url_open(url): #返回普通不加密网页的源码(速度快)

7. req = urllib.request.Request(url)

8. req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36')

9. response = urllib.request.urlopen(url)

10. html = response.read()

11. return html

13. def url_open_jm(url): #返回加密网页的源码(速度慢）

14. chrome = webdriver.Chrome()

15. chrome.get(url)

16. html = chrome.page_source

17. return html #返回的就是字符串

19. '''

20. def get_page(url): #得到最新页面的页码数(可以使用不加密读码得到，为了加快速度)

21. html = url_open(url)

23. #然后就是查找 html 中的 'current-comment-page'

24. a = html.find( 'current-comment-page') + 23 #加上 23 位偏移就刚到到页码数的第一位数字

25. b = html.find(']', a) #找到 a 位置之后的第一个方括号所在位置的索引坐标

27. return html[a : b] #这就是最新的页码数啦

28. '''

29. def get_page(url): #得到最新页面的页码数

30. html = url_open(url)

31. html = html.decode('utf-8') #因为要以字符串的形式查找，所以要 decode

33. #然后就是查找 html 中的 'current-comment-page'

34. a = html.find( 'current-comment-page') + 23 #加上 23 位偏移就刚到到页码数的第一位数字

35. b = html.find(']', a) #找到 a 位置之后的第一个方括号所在位置的索引坐标

37. return html[a : b] #这就是最新的页码数啦

39. def find_imgs(url): #给一个页面的链接，返回所有图片地址组成的列表

40. html = url_open_jm(url) #这个必须使用加密打开的方式

42. img_addrs = [] #声明一个保存图片地址的列表

44. #查找图片地址

45. #加密的网页破解后得到的图像在这里：

46. #<img src="http://ww3.sinaimg.cn/mw600/006XNEY7gy1fy66dacugfj30qh0zkdhu.jpg"

47. #所以要先找jpg，然后找img src=

49. a = html.find('.jpg')

50. while a != -1:

51. b = html.rfind('img src=', a-100, a) #在 a-100 到 a区间找 'img src='，必须反向查找

53. #如果 b 找不到，b 就返回 -1

54. if b != -1:

55. img_addrs.append(html[b+9: a+4])

57. a = html.find('.jpg', a+4)

58. for each in img_addrs:

59. print(each)

61. return img_addrs

63. def save_imgs(folder, img_addrs):

64. for each in img_addrs:

65. filename = each.split('/')[-1]

66. with open(filename, 'wb') as f:

67. img = url_open(each)

68. f.write(img)

70. def download_figures(folder = 'figures', page = 2):

71. os.mkdir(folder) #创建文件夹

72. os.chdir(folder)

74. url = "http://jandan.net/ooxx/" #随手拍栏目的链接，也是最新页面的链接

75. page_num = int(get_page(url)) #得到最新页面的页码数

77. for i in range(page):

79. page_url = url + 'page-' + str(page_num) + '#comments' #得到要爬取的页面的链接

80. print(page_url)

81. img_addrs = find_imgs(page_url) #得到页面所有图片的地址，保存为列表

82. save_imgs(folder, img_addrs) #保存图片到本地文件夹

83. page_num -= 1 #逐步找到前几个页面

85. if __name__ == '__main__':

86. download_figures()

完美实现目标，只不过selenium 的速度是真的慢，以后如果有更好的办法，会继续改进的，也希望大家多多批评指导。