python康复日记-request库的使用，爬虫自动化测试

一，request的简单应用

#1请求地址
URL='https://example.com/login'
#2参数表单
form_data = {'username': 'admin','password': 'secret'
}
#3返回的响应对象response
response = requests.post(URL,data=form_data,timeout=5
)
#4处理返回结果，这里直接打印返回网页的正文。通常需要json转化，和encode编码下
print(reponse.content)

1，请求头需要设置，有些网站会限制访问

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36','Referer': 'https://www.99csw.com/','Accept-Language': 'zh-CN,zh;q=0.9'}try:# 发送HTTP请求response = requests.get(url, headers=headers, timeout=15)

2，response的属性

发送request请求后，返回的reponse对象里有我们要的信息，需要处理。常用的3个标粗了。

属性/方法	类型/返回类型	说明
status_code	int	HTTP 状态码（如 200、404、500）
headers	CaseInsensitiveDict	响应头字典（不区分大小写）
text	str	解码后的文本内容（自动根据 encoding 解码）
content	bytes	原始字节内容（未解码的二进制数据）
json()	dict/list	解析 JSON 响应内容（非 JSON 内容会抛异常）
url	str	最终请求的 URL（含重定向后的地址）
encoding	str	响应内容的编码格式（可手动修改）
apparent_encoding	str	通过内容分析出的编码格式（自动检测）
raw	HTTPResponse	原始响应流对象（需配合 stream=True 使用）
cookies	RequestsCookieJar	服务器返回的 Cookies
elapsed	datetime.timedelta	请求耗时（从发送到响应完成的时间）
history	list[Response]	重定向历史记录列表
reason	str	状态码的文本描述（如 200 → "OK"，404 → "Not Found"）
request	PreparedRequest	关联的请求对象（含请求头、方法、URL 等信息）

rep = reponse.content.decode('utf8')，content获取的正文是二进制，注意编码。

正文处理通常需要 json格式化 和 re正则模块 的匹配。

#对返回content正文中，span标签的获取，标题内容获取
pattern1 = re.compile(r'<span class="title">([^&]*?)</span>')
titles = pattern1.findall(resp.text)

3，session会话保持，处理cookie，保持会话。

Session 对象存储特定用户会话所需的属性及配置信息。可以带上cookie含帐号密码。

成功登陆之后，直接获取返回响应的cookie

def login():login_url = 'http://www.xxx.com/login'headers = {"Accept": "application/json, text/javascript, */*; q=0.01"}body = {"usercode": "liuzz05@****.com","password": "123456"}try:res = requests.post(url=login_url, headers=headers, data=body)cookies = res.cookiescookie = requests.utils.dict_from_cookiejar(cookies)return cookieexcept Exception as err:print('获取cookie失败：\n{0}'.format(err))

如果没有，先登录，从浏览器工具栏取cookie，找信息。

F12检查请求。cookie里有大串字母，password，token等字样说明这个可能是带密码账号的cookie，要具体情况定。

直接使用cookie，或者把cookie放在header参数中，依据具体网站请求头格式而定

把cookie转化为字典格式，手动扣cookie的键值对。本地文件写入分析，拼接

def get_data():cookie = login()res = requests.get(url=get_data_url, cookies=cookie)print(res.text)

def get_data():cookie = login()headers = {"cookie": cookie}res = requests.get(url=get_data_url, headers=headers)print(res.text)

一个完整的登录案例。

def auto_login():s = requests.Session()r = s.get(login_url)bs = BeautifulSoup(r.text,'html.parser')image = bs.find("img", {"id": "vcJpeg"})['src']lt_data = bs.find("input", {"name": "lt"})['value']csr_data = bs.find("input", {"name": "csrftoken"})['value']sec_data = bs.find("input", {"name": "sec"})['value']#print(lt_data,",",csr_data,",",sec_data)rootdir="http://172.16.5.12:10086"ir = s.get(rootdir+image)if ir.status_code == 200:with open('valid.jpg', 'wb') as f:f.write(ir.content);f.close();validateCode = get_code(Image.open('valid.jpg'))  # 通过本地图片解析验证码print(validateCode)postdata={'csrftoken': csr_data,'username': uosp_username,'password': base64.b64encode(uosp_passwd.encode('utf-8')),'institute': '00010000','validateCode': validateCode,'lt': lt_data,'sec': sec_data,'dn': '','ip': '144.4.44.44','_eventId':'submit',}print(postdata)form_data={"action":"GetINCInfoByID","id":"INC000287932",}s.post(login_url,data = postdata)s.post(incident_url,data = form_data)s.post(servicelogin_url)cookies_dict = requests.utils.dict_from_cookiejar(s.cookies)  # 登录后页面的cookie转化为dict#print("cookies is that ",cookies_dict)if ('.ASPXUSERDEMO' in  cookies_dict):  # 如果登录成功，cookie中会有.ASPXUSERDEMO字段值cookies = open('login_cookies', 'w')cookies.write(str(cookies_dict))  # 将cookie信息写入本地文件，其他模块直接访问文件可以绕过登录cookies.close()return selse:return None