爬虫学习第一天

爬虫学习第一天

1、什么是爬虫

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

通俗来讲，假如你需要互联网上的信息，如商品价格，图片视频资源等，但你又不想或者不能自己一个一个自己去打开网页收集，这时候你便写了一个程序，让程序按照你指定好的规则去互联网上收集信息，这便是爬虫，我们熟知的百度，谷歌等搜索引擎背后其实也是一个巨大的爬虫。

2、爬虫的工作原理

爬虫的基本工作流程通常包括以下几个步骤：

1. 发起请求：爬虫首先向目标网站发送HTTP请求，请求特定的网页内容1。
2. 获取响应：服务器处理这些请求后，会返回相应的网页内容，爬虫接收这些内容1。
3. 解析内容：爬虫对获取的网页内容进行解析，提取有用信息。这通常涉及到HTML、CSS和JavaScript的解析。
4. 提取数据：解析后的内容中，爬虫会根据预设的规则提取所需的数据，如文本、图片、链接等。
5. 存储数据：提取的数据会被存储到数据库或文件中，以便后续的分析和使用。
6. 发现新链接：在解析内容的过程中，爬虫会发现新的链接地址，这些链接将被加入到待爬取的队列中，循环执行上述步骤。

3、爬虫核心

• **爬取网页:**爬取整个页面，包含了网页中所有的内容

• **解析数据:**将网页中你得到的数据，进行解析，获取需要的数据

• **存储数据:**将解析后的数据保存到数据库、文件系统或其他存储介质中，以便后续的访问和使用。

• **分析数据:**对存储的数据进行统计、挖掘和分析，提取有价值的信息或洞察，为决策提供支持。

• **可视化数据:**将分析结果通过图表、图形等形式直观展现出来，帮助用户更好地理解和利用数据。

4、爬虫的合法性

爬虫技术本身是中立的，其合法性取决于使用爬虫的目的和方式。一般来说，只要爬虫的行为不影响网站的正常运行，并且不是出于商业目的，大多数网站只会采取技术手段限制爬虫，如封禁IP或账号，而不涉及法律风险1。此外，许多网站通过robots.txt文件声明了哪些内容可以被抓取，哪些不可以，这是一种行业约定，虽然没有法律约束力，但遵守这些规则是一种良好的网络道德行为1。

5、爬虫框架

随着爬虫技术的发展，出现了一些成熟的爬虫框架，如Scrapy。这些框架提供了一套完整的解决方案，包括请求管理、数据解析、数据存储等，使得开发者能够更专注于爬虫逻辑的实现。

6、爬虫的挑战

爬虫在实际应用中可能会遇到一些挑战，如网站的反爬策略、动态加载的内容、登录认证等。这些挑战需要爬虫开发者具备一定的技术能力，包括但不限于JavaScript逆向、模拟登录、使用代理IP等。

7、难点

• 爬虫和反爬虫之间的博弈
• 爬虫会加大系统负载！并发(每秒访问的人数100)爬虫1000
• 什么是反爬虫
  • 阻止非正常用户来访问我的系统
  • 登录站点=》输入验证码(图片，手机)
    • 刷新太快

8、反爬手段

8.1、Robots协议

8.2、检查 User-Agent

8.3、ip限制

• 通过对访问频率进行限制，如果某个IP地址在单位时间内请求次数过多，则可能暂时或永久封禁该IP地址。

8.4、SESSION访问限制

8.5、验证码

8.6、数据动态加载

8.7、数据加密-使用加密算法

9、用python学习爬虫，需要用到 request模块

通常先用dir或者help来查看怎么使用

Requests is an HTTP library, written in Python, for human beings.
Requests是一个HTTP库，用Python编写，供人类使用。

这段文本是Python中`requests`库的一个函数文档字符串，描述了`get`函数的用途和参数。`requests`是一个非常流行的HTTP库，用于发送HTTP请求并处理返回的响应。下面是对这段文档的详细解释：### 函数名称
`get` - 这是`requests`库中的一个函数，用于发送HTTP GET请求。### 参数
- `url`: 这是必须提供的参数，表示要发送GET请求的目标URL。这个URL可以是完整的，也可以是相对路径，如果是相对路径，它会基于当前的URL上下文进行解析。
- `params`: 这是一个可选参数，用于传递查询字符串。它可以是一个字典、列表或元组，也可以是字节串。这个参数中的数据会被添加到URL的查询字符串中。例如，当你想要传递查询参数如`page=1`和`limit=10`时，你可以这样做：`params={'page': 1, 'limit': 10}`。
- `**kwargs`: 这是Python中的参数字典，它允许你传递任意数量的其他参数给函数。在`get`函数中，这可以用来传递`requests`库中`Request`对象支持的其他参数，比如`headers`、`cookies`、`auth`等。### 返回值
- `Response`对象 - 当GET请求发送并接收到服务器响应后，`get`函数会返回一个`Response`对象。这个对象包含了服务器返回的所有信息，包括状态码、响应头、以及响应体（通常是HTML、JSON或其他格式的数据）。### 示例代码
```python
import requests# 发送GET请求
response = requests.get('https://api.example.com/data', params={'page': 1, 'limit': 10})# 打印响应状态码
print(response.status_code)# 打印响应内容
print(response.text)
```在这个示例中，我们使用`requests.get`函数向`https://api.example.com/data`发送了一个GET请求，并且传递了查询参数`page=1`和`limit=10`。然后，我们打印出响应的状态码和响应的内容。总的来说，`requests.get`函数是一个非常方便的工具，用于发送HTTP GET请求并处理响应。通过这个函数，你可以轻松地与Web服务进行交互，获取或提交数据。

10、函数

 get(url，params=None,**kwargs)

括号中的变量叫函数的参数

• url=>位置参数(有顺序，按位置依次给数据)

• params=None =>默认参数(如果你没有传递会给一个默认值)

• *args => 可变长位置参数

• **kwargs => 可变长关键字参数

位置参数的使用:

# 定义一个函数，实现摄氏度转华氏度
# 32°F + 摄氏度 × 1.8def Celsius_To_Fahrenheit(a):b=(a*1.8)+32print(f"{a}°C 转换成 华氏度 为：{b:.2f}°F")Celsius_To_Fahrenheit(44.5)

更好的写法：

# get(url, params=None, **kwargs)
# 括号中的变量叫函数的参数
# url         => 必选位置参数（有顺序，按位置依次给数据）
#             => 注意按顺序传递参数
# params=None => 默认参数（如果你没有传递会给一个默认值）
# *args       => 可变长位置参数
# **kwargs    => 可变长关键字参数# 调用：requests.get("test", "http://www.baidu.com")             X  位置参数调用
#      requests.get(params="test", url="http://www.baidu.com")  J  关键字参数调用# def 函数名(参数列表<0-n>)：
#     函数体
#     return value =>返回值
def mysum(a, b):return a+b
# a = 1
# b = 2
# 位置参数的调用
print(mysum(1,2))
# 关键字参数的调用
print(mysum(a=1, b=2))
print(mysum(b=2, a=1))
# TypeError: mysum() missing 1 required positional argument: 'b'
# mysum(1)# 定义一个函数，实现摄氏度转华氏度
# 32°F+ 摄氏度 × 1.8
# 传递一个摄氏温度 -> 返回一个华氏度温度# 参数名:数据类型 => 告诉调用者，该函数需要是什么类型的！
#               =>类型声明是可写可不写的
# -> 数据类型    => 函数的返回值
# return 接返回值 => 函数如果没有return语句，表示返回None
# 文档注释（document string）和类型注解(type hint)都是可选的def ctof(celsius:int) -> float:""" document string 文档注释 => 直接用作帮助文档:param celsius: 传递一个int类型的摄氏温度:return:  返回一个float类型的华氏度温度"""result = 32+celsius*1.8return result
# pass => 占位符 => 什么也不做 => 保持语法完整print(ctof(10))# 定义一个函数，实现摄氏度转华氏度
# 如果没有传温度过来，当作计算 0摄氏度对应的华氏度
# 默认参数
def ctof(celsius:int=0) -> float:""" document string 文档注释 => 直接用作帮助文档:param celsius: 传递一个int类型的摄氏温度:return:  返回一个float类型的华氏度温度"""result = 32+celsius*1.8return result
print(ctof())# 默认参数的推荐写法：先给它一个默认值为None,在函数体中处理默认
def ctof(celsius=None) -> float:""" document string 文档注释 => 直接用作帮助文档:param celsius: 传递一个int类型的摄氏温度:return:  返回一个float类型的华氏度温度"""if celsius is None:celsius = 0result = 32+celsius*1.8return result

import requests
# print(dir(requests))
help(requests.get)# get(url, params=None, **kwargs)
# 括号中的变量叫函数的参数
# url         => 必选位置参数（有顺序，按位置依次给数据）
#             => 注意按顺序传递参数
# params=None => 默认参数（如果你没有传递会给一个默认值）
# *args       => 可变长位置参数
# **kwargs    => 可变长关键字参数# 调用：requests.get("test", "http://www.baidu.com")             X  位置参数调用
#      requests.get(params="test", url="http://www.baidu.com")  J  关键字参数调用# def 函数名(参数列表<0-n>)：
#     函数体
#     return value =>返回值
def mysum(a, b):return a+b
# a = 1
# b = 2
# 位置参数的调用
print(mysum(1,2))
# 关键字参数的调用
print(mysum(a=1, b=2))
print(mysum(b=2, a=1))
# TypeError: mysum() missing 1 required positional argument: 'b'
# mysum(1)# 定义一个函数，实现摄氏度转华氏度
# 32°F+ 摄氏度 × 1.8
# 传递一个摄氏温度 -> 返回一个华氏度温度# 参数名:数据类型 => 告诉调用者，该函数需要是什么类型的！
#               =>类型声明是可写可不写的
# -> 数据类型    => 函数的返回值
# return 接返回值 => 函数如果没有return语句，表示返回None
# 文档注释（document string）和类型注解(type hint)都是可选的def ctof(celsius:int) -> float:""" document string 文档注释 => 直接用作帮助文档:param celsius: 传递一个int类型的摄氏温度:return:  返回一个float类型的华氏度温度"""result = 32+celsius*1.8return result
# pass => 占位符 => 什么也不做 => 保持语法完整print(ctof(10))# 定义一个函数，实现摄氏度转华氏度
# 如果没有传温度过来，当作计算 0摄氏度对应的华氏度
# 默认参数
def ctof(celsius:int=0) -> float:""" document string 文档注释 => 直接用作帮助文档:param celsius: 传递一个int类型的摄氏温度:return:  返回一个float类型的华氏度温度"""result = 32+celsius*1.8return result
print(ctof())# 默认参数的推荐写法：先给它一个默认值为None,在函数体中处理默认
def ctof(celsius=None) -> float:""" document string 文档注释 => 直接用作帮助文档:param celsius: 传递一个int类型的摄氏温度:return:  返回一个float类型的华氏度温度"""if celsius is None:celsius = 0result = 32+celsius*1.8return result# *args    => 可变长位置参数   => 接受多个（位置）参数
# **kwargs => 可变长关键字参数  => 接受多个（关键字）参数# 实现一个mysum函数，可以接收多个数据，计算这个数据的和
# args => arguments
# kw =>keyword
def mysum2(*args, **kwargs) ->int :"""计算出所有传进来的数据之和:param args::param kwargs::return:"""print("args:", args, type(args))print("kwargs:", kwargs, type(kwargs))mysum2(1,2,3,4, a=1, b=2, c=3)
# 注意 : SyntaxError: positional argument follows keyword argument
# 位置参数必须写在关键字参数的前面
mysum2(1, 2, a=1, b=2)

#!/usr/bin/env python
# @FileName :1.python函数.py
# @Time :2024/3/10 14:59
# @Author :wenyao# 4月底 => 爬虫+数据分析+数据可视化
# requests => dir哪些功能, help函数具体怎么用
# requests.get函数# get(url, params=None, **kwargs)
"""
# 注意参数类型的顺序
def 函数名(位置参数，默认参数，可变长位置参数，可变长关键字参数) -> 返回值类型:passreturn 返回值
def function(a:int, b:int=0, *args, **kwargs) -> int:return a
如果函数没有返回值，相当于return None
"""def sum(*args, **kwargs)->int:# args => 保存调用时传的所有的位置参数# kwargs => 保存调用时传的所有的关键字参数（如:a=1）print(args)     # tupleprint(kwargs)   # dicts = 0for i in args:s+=ifor key in kwargs:s+=kwargs[key]return s# 什么情况下需要return => 如果算出来的结果还有其他用途print(sum(1,2,3,a=4,b=5,c=6))"""
1. 函数定义参数的类型4类（注意顺序）
2. 函数调用参数类型2类（注意顺序）
3. 注释：文档注释（写的一些帮助信息->help时可以看到）,类型注解（给参数和返回值做类型声明） 类型注解在高版本中是否有强制类型限制
4. 返回值: return =>如果结果还需要用（一般情况建议返回）
"""import requests
help(requests.get)

11、requests模块

11.3、玩一下

#获取百度首页信息
import requestsurl = "https://www.baidu.com"
response = requests.get(url)
print(response,type(response))

# requests模块功能
# 相当于一个模块浏览器，发送网络请求，获取数据import requests
# 获取百度首页的数据
url="http://www.baidu.com"
response = requests.get(url)
print(response, type(response))
# status_code => 200 OK
#             => 用代码的方式告诉你，你的请求是否正确
#             =>2XX 成功
#             =>4XX 客户端错误
#             =>5XX 服务端错误
#             => $? => 0 成功，其他错误
# 取出当前响应的状态码
print(response.status_code)
# 获取当前的网页数据
# text => string
print(response.text[:100])
# content  => bytes
print(response.content[:100])
# 获取请求的url
print(response.url)
# 获取响应头信息
print(response.headers)
print(dir(response))
# 获取编码方式   UTF8(全球),GBK(中文)
print(response.encoding)
# 推荐！
print(response.apparent_encoding)

12、玩一玩豆瓣读书

import requestsdef download(url:str) -> str:"""这个函数用来获取url的数据，返回网页的string:param url: 这应该提供一个网址:return: 返回网页的string类型的数据"""response = requests.get(url)if response.status_code == 200:return response.textelse:return Noneprint(download("http://www.baidu.com"))

def download(url: str) -> str | None:"""这个函数用来获取url的数据，返回网页的string:param url: 这应该提供一个网址:return: 返回网页的string类型的数据"""headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/58.0.3029.110 Safari/537.3'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textelse:return Noneprint(download("https://book.douban.com/"))

大佬写的：

import requests
import time# def download(url:str) -> str:
#     """
#     这个函数数用来获取url的数据，返回网页的string
#     :param url: 应该提供一个网址
#     :return: 返回网页的string类型的数据
#     """
#     response = requests.get(url)
#     if response.status_code == 200:
#         # 指定正确的网页编码
#         response.encoding = response.apparent_encoding
#         return response.text
#     else:
#         return ""# try...except
def download(url:str) -> str:"""这个函数数用来获取url的数据，返回网页的string:param url: 应该提供一个网址:return: 返回网页的string类型的数据"""# 反爬虫1：添加user-agentheaders = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"}response = requests.get(url, headers=headers)# 如果没有获取到网页或者获取到网页了，但状态码不对，那么请报异常# 4xx , 5xx 都会抛出异常response.raise_for_status()# 指定正确的网页编码response.encoding = response.apparent_encoding# 反爬虫2：增加sleeptime.sleep(1)return response.text# print(download("http://www.baidu3sdf.com"))
# print(download("https://gitee.com/asdfasdf"))# 1. 获取数据
data = download("https://book.douban.com/top250")
# 2. 提取数据
# re模块：正则表达式，速度最快，使用难度最高
# lxml(xpath): 速度较快，使用难度一般
# BeautifulSoup: 慢，最简单

PS E:\downloads\san_chuang\pycharm\allProjects\pa_chong> pip install beautifulsoup4
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting beautifulsoup4Downloading https://pypi.tuna.tsinghua.edu.cn/packages/b1/fe/e8c672695b37eecc5cbf43e1d0638d88d66ba3a44c4d321c796f4e59167f/beautifulsoup4-4.12.3-py3-none-any.whl (147 kB)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 147.9/147.9 kB 1.1 MB/s eta 0:00:00
Collecting soupsieve>1.2 (from beautifulsoup4)Downloading https://pypi.tuna.tsinghua.edu.cn/packages/4c/f3/038b302fdfbe3be7da016777069f26ceefe11a681055ea1f7817546508e3/soupsieve-2.5-py3-none-any.whl (36 kB)
Installing collected packages: soupsieve, beautifulsoup4
Successfully installed beautifulsoup4-4.12.3 soupsieve-2.5
PS E:\downloads\san_chuang\pycharm\allProjects\pa_chong>