爬取Q房二手房房源信息

1. 实战概述

• 本次实战项目旨在通过编写Python爬虫程序，抓取深圳Q房网上的二手房房源信息。我们将分析网页结构，确定房源信息的XPath路径，并实现数据的提取与CSV文件存储。通过本项目，学习如何运用requests库发送HTTP请求，使用lxml.etree解析HTML，以及如何高效地处理和存储爬取的数据。

2. 网站页面分析

• 第1页房源 - https://shenzhen.qfang.com/sale/f1
  
• 第2页房源 - https://shenzhen.qfang.com/sale/f2
  
• 发现URL构造规律：https://shenzhen.qfang.com/sale/f + 页码
• 查看房源列表源码
  
• 针对第一个li，拷贝其XPath：//*[@id="cycleListings"]/ul/li[1]，去掉[1]，根据//*[@id="cycleListings"]/ul/li获取房源列表
• 针对每一个房源，要爬取的信息用红框标注
  

3. 编写代码爬取Q房二手房房源信息

3.1 创建项目与程序

• 创建Q房网爬虫实例项目，在里面创建QHouseCrawler.py程序
  

from lxml import etree  # 导入lxml解析库
import requests  # 导入HTTP请求库，用于发送网络请求
import csv  # 导入CSV库，用于读写CSV文件
import time  # 导入时间库，用于在请求间添加延迟# 定义爬虫主函数
def spider():# 定义爬虫头部信息，模拟浏览器访问headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36'}url_prefix = "https://shenzhen.qfang.com/sale/f"  # 定义基础URL前缀for page in range(1, 11):  # 遍历所有页面，从第1页到第10页url = url_prefix + str(page)  # 构建完整URLhtml = requests.get(url, headers=headers)  # 发送HTTP GET请求time.sleep(2)  # 等待2秒，避免请求过于频繁selector = etree.HTML(html.text)  # 解析HTML内容house_list = selector.xpath('//*[@id="cycleListings"]/ul/li')  # 使用XPath定位所有房屋信息for house in house_list:  # 遍历每个房屋信息apartment = house.xpath('div[2]/div[1]/a/text()')[0]  # 提取公寓名称house_layout = house.xpath('div[2]/div[2]/p[1]/text()')[0]  # 提取房屋布局area = house.xpath('div[2]/div[2]/p[2]/text()')[0]  # 提取面积region = house.xpath('div[2]/div[4]/text()')[0]  # 提取地区item = [apartment, house_layout, area, region]  # 构建数据项列表cleaned_item = [i.replace('\r', '').replace('\n', '').replace(' ', '') for i in item]  # 清理数据中的换行符和多余空格data_writer(cleaned_item)  # 写入CSV文件print('正在抓取……', cleaned_item)  # 打印当前抓取的数据项# 将数据写入CSV文件的函数
def data_writer(item):with open('Q房-二手房.csv', 'a',  # 打开CSV文件，'a'模式表示追加写入encoding='utf-8', newline='') as csvfile:  # 设置文件编码为utf-8，避免中文乱码writer = csv.writer(csvfile)  # 创建CSV写入器writer.writerow(item)  # 写入一行数据if __name__ == '__main__':  # 如果直接运行此脚本spider()  # 调用爬虫函数

3.2 运行程序，查看结果

• 查看控制台输出
  
• 查看生成的结果文件
  
  

4. 实战小结

• 在本次实战中，我们成功地分析了深圳Q房网二手房页面的结构，掌握了房源信息的XPath定位方法。通过编写Python爬虫脚本，我们实现了从网页动态加载的房源列表中提取关键信息，并将数据存储至CSV文件。在实践过程中，我们遇到了XPath表达式的优化和数据清洗的问题，但通过不断调试和改进，最终达到了预期效果。此项目不仅提升了我们的爬虫编写技能，也加深了对网页结构和数据提取流程的理解，为今后处理更复杂的数据抓取任务打下了坚实基础。