爬虫练习：获取某招聘网站Python岗位信息

一、相关网站

二、相关代码

import requests
from lxml import etree
import csv
with open('拉钩Python岗位数据.csv', 'w', newline='', encoding='utf-8') as csvfile:fieldnames = ['公司', '规模','岗位','地区','薪资','经验要求']writer = csv.DictWriter(csvfile, fieldnames=fieldnames)writer.writeheader()for page in range(1,31):# url = 'https://www.lagou.com/wn/zhaopin?fromSearch=true&kd=python&city=%E5%85%A8%E5%9B%BD'url = f'https://www.lagou.com/wn/zhaopin?fromSearch=true&kd=python&pn={page}'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'}data = {'fromSearch':'true','kd':'python','city':'全国'}response = requests.post(url=url,data=data,headers=headers)# print(response.text)result = etree.HTML(response.text)company = result.xpath('//div[@class="company-name__2-SjF"]/a/text()')scale = result.xpath('//div[@class="industry__1HBkr"]/text()')post = result.xpath('//div[@class="p-top__1F7CL"]/a/text()[1]')location = result.xpath('//div[@class="p-top__1F7CL"]/a/text()[2]')salt = result.xpath('//div[@class="p-bom__JlNur"]/span/text()')suffer = result.xpath('//div[@class="p-bom__JlNur"]/text()[1]')# print(company,scale,post,location,salt,suffer)for com, sca, pos, loc, sal,suf in zip(company, scale, post, location, salt,suffer):print(f'{com} ====== {sca} ====== {pos} ====== {loc} ===== {sal} ===== {suf}')writer.writerow({'公司': com, '规模': sca, '岗位': pos, '地区': loc, '薪资': sal,'经验要求':suf})

三、获取的结果

版权声明和免责声明 本博客提供的所有爬虫代码和相关内容（以下简称“内容”）仅供参考和学习之用。任何使用或依赖这些内容的风险均由使用者自行承担。我（博客所有者）不对因使用这些内容而产生的任何直接或间接损失承担责任。 严禁将本博客提供的爬虫代码用于任何违法、不道德或侵犯第三方权益的活动。使用者应当遵守所有适用的法律法规，包括但不限于数据保护法、隐私权法和知识产权法。 如果您选择使用本博客的爬虫代码，您应当确保您的使用行为符合所有相关法律法规，并且不会损害任何人的合法权益。在任何情况下，我（博客所有者）均不对您的行为负责。 如果您对本声明有任何疑问，或者需要进一步的澄清，请通过我的联系方式与我联系。