day4 selenium爬取数据总结

day4 selenium爬取数据

一、selenium基本操作

导入相关模块：
from selenium.webdriver import Chrome

(一)、创建浏览器对象

b = Chrome()

(二)、打开网页（需要爬取哪个页面的数据就打开该页面对应的网页地址）

案例：爬取豆瓣电影250排行榜
b.get('https://movie.douban.com/top250?start=0&filter=')

(三)、获取网页源代码（注意：不管以什么方式更新了界面内容，page_source也会自动更新）

print(b.page_sourse)   # 获取豆瓣top250的页面源代码

二、selenium的翻页

导入相关模块
import time   # 控制停顿时间的模块from selenium.webdriver import Chrome

（一）、翻页方法1

1. 找到不同页面地址的变化规律，利用循环实现多页数据的请求

b = Chrome()  # 这个是打开浏览器，一定要放在循环的外面for x in range(0, 256, 25):  # 找出的页数变化b.get('https://movie.douban.com/top250?start={x}&filter=')print(b.page_source)

（二）、翻页方法2

1. 点击翻页按钮，刷新页面内容，在刷新后再次获取网页源代码

导入模块：
from selenium.webdriver.common.by import By

b = Chrome()
b.get('https://movie.douban.com/top250?start=0&filter=')for _ in range(5):print(b.page_source)# 获取下一页按钮# next = b.find_element(By.CLASS_NAME, 'next')# 点击下一页按钮# next.click()b.find_element(By.CSS_SELECTOR, '.next')

2. 翻页方法2涉及的知识点

• selenium获取标签

浏览器对象.b.find_element(获取方式,数据)    —— 返回符合条件的第一个标签，结果是标签对象
浏览器对象.b.find_elements(获取方式,数据)    —— 返回符合条件的所有标签，结果是列表，列表中的元素是标签对象获取方式：
By.ID   ——  通过ID属性值获取标签
By.CLASS_NAME   ——  通过class属性值获取标签
By.CSS_SELECTOR   —— 通过css选择器获取标签
By.LINK_TEXT     —— 通过a标签的标签内容获取标签
By.PARTIAL_LINK_TEXT   —— 通过标签内容所包含的部分内容来获取完整标签

• 操作标签

1）输入框输入内容：输入框对应的标签.send_kyes(需要输入的内容)  ——  括号里输入需要输入的内容
2）点击标签：标签对象.click()

三、用代码控制浏览器滚动

js中页面滚动的代码：window.scrollBy(x方向的偏移量，y方向的偏移量)

滚动1次

b.execute_script('window.scrollBy(0,500)')   # 顺着Y轴滚动500

滚动多次

for x in range(10):   # 滚动10次b.execute_script('window.scrollBy(0,500)')time.sleep(1)   # 每滚动一次就停顿1秒

input(‘结束’)    # 如果不想关闭浏览器就加个input，入股要关闭则不加