Python爬虫02

xml 和html 区别

jsonpath模块

• 场景

  多层嵌套的复杂字典直接提取数据

• 安装

pip install jsonpath

• 使用

from jsonpath import jsonpathret = jsonpath(dict, 'jaonpath语法规则字符串')

• 语法规则

eg:

lxml模块&xpath语法

• 谷歌浏览器 xpath helper 插件

作用对当前页面测试xpath语法规则

• xpath 语法

1.基础语法

/html/head/title 绝对路径
/html//title.    相对路径
//title          相对于整个html文档
//title/.        当前节点
//title/./../..  父节点           

2.选取特定节点的语法

可以根据标签的属性值，下标等来获取特定的节点

节点修饰语法1.通过索引修饰节点/html/body/div[3]/div/div[1]/div/html/body/div[3]/div/div[1]/div[3]/html/body/div[3]/div/div[1]/div[last()].     选中最后一个/html/body/div[3]/div/div[1]/div[last()-1].   选中倒数第二个/html/body/div[3]/div/div[1]/div[position() >=10].   范围选择2.通过属性值修饰节点//div[@id='content-left']/div/@id出现在[]中的@是使用标签属性名和属性值修饰节点3.通过子节点的值修饰节点//span[i>2000]//div[span[2]>=9.4]4.通过包含修饰//div[contains(@id, "qiushi_tag_")]//span[contains(text(), "一页")]（xpath中，第一个元素的位置是1）

3.选取未知节点的语法

lxml使用

• 安装

pip install lxml

• 使用

1.导入lxml的etree库
from lxml import etree
2.利用etree.HTML，将html字符串（bytes|str）转化为Element对象，Element对象具有xpath的方法，返回结果的列表
html = etree.HTML(text)
ret_list = html.xpath("xpath语法规则字符串")
3.xpath方法返回列表的三种情况
返回空列表
返回有字符串构成的列表
返回由Element对象构成的列表