百度百科数据爬取 python 词条数据获取

最近需要补充一些电力名词的解释，尤其是文字相关内容。百度百科上的词条质量有差异，因此我们需要先手工选择一些高质量词条。

假设我们选择了互感器页面中的仪用变压器词条，首先：

import requests  
from bs4 import BeautifulSoup  
import time
import re
import random

接下来，解析获取到的response：

# 百度百科会增加一些字段，例如para_df21d,para_fr44h,需要识别
def has_para_content_mark(child_class):i=0for t in child_class:if t[0:5]=="para_": i+=1if t[0:5]=="MARK_":i+=1if t[0:8]=="content_":i+=1return  i==3# 百度百科会增加一些字段，例如text_sd55g4,text_fw92g,需要识别    
def has_text(child_class):i=0for t in child_class:if t[0:5]=="text_": i+=1return  i==1# 爬取内容，并解析出开头的简介和正文内容   
def get_response(url):random_sleep_time = random.randint(100, 2000) / 1000.0  # 将毫秒转换为秒# 随机睡眠time.sleep(random_sleep_time)   print(url)# 发送HTTP请求并获取响应  response = requests.get(url)  contents=[]# 检查响应状态码，确保请求成功  if response.status_code == 200:  # 解析HTML内容  soup = BeautifulSoup(response.text, "html.parser")  # 找到class属性为"lemmaSummary_M04mg", "J-summary"的div元素  div_with_class_summary  = soup.find_all("div", class_=re.compile(r"\bJ-summary\b"))# 找到class属性为"J-lemma-content"的div元素  div_with_class = soup.find("div", class_="J-lemma-content")  # 使用find_all查找所有class属性中包含"J-summary"的divj_summary_divs = soup.find_all("div", class_=re.compile(r"\bJ-summary\b"))# 打印结果for div in j_summary_divs:# 找到所有在div_container中的span元素span_elements = div.find_all("span")tmp=""# 遍历所有span元素并输出内容for span in span_elements:if span.get("class") and has_text(span.get("class")):tmp+=span.textcontents.append(tmp)contents.append("\n")if div_with_class:  # 遍历div中的所有子元素  for child in div_with_class.descendants: tmp_1=""# 检查子元素是否是span标签且class属性为"text_wRvkv"  if child.name == "div"  and child.get("class") and has_para_content_mark(child.get("class")):# 打印span元素的文本内容  for new_child in child.descendants: if new_child.name == "span" and new_child.get("class") and has_text(new_child.get("class")):tmp_1+=new_child.textcontents.append(tmp_1)contents.append("\n")    #  检查子元素是否是h2标签  elif child.name == "h2":  # 打印h2标签的内容  contents.append("####\n"+child.text+"\n")elif child.name == "h3":  # 打印h2标签的内容  contents.append("##"+child.text+"\n")return "".join(contents)else:  return "Failed to retrieve the{}.".format(url)

最后打印结果，发现可以复制词条中的主要内容，例如二级标题、三级标题和正文，以及每个百科最开始的概念介绍：

# 发送HTTP请求并获取响应  
url=r"https://baike.baidu.com/item/%E5%A4%AA%E9%98%B3%E8%83%BD%E5%85%89%E4%BC%8F%E5%8F%91%E7%94%B5/1158149?fromModule=lemma_inlink"
response = get_response(url) 
for content in contents:print(content)

解析效果如下(全文过长，这里只有部分)：

光伏发电是根据光生伏特效应原理，利用太阳电池将太阳光能直接转化为电能。不论是独立使用还是并网发电，光伏发电系统主要由太阳电池板（组件）、控制器和逆变器三大部分组成，它们主要由电子元器件构成，但不涉及机械部件。所以，光伏发电设备极为精炼，可靠稳定寿命长、安装维护简便。理论上讲，光伏发电技术可以用于任何需要电源的场合，上至航天器，下至家用电源，大到兆瓦级电站，小到玩具，光伏电源可以无处不在。2022年12月15日，入选中国工程院院刊《Engineering》发布“2022全球十大工程成就”。
####
分类
##发电模式
太阳能发电分光热发电和光伏发电。不论产销量、发展速度和发展前景、光热发电都赶不上光伏发电。可能因光伏发电普及较广而接触光热发电较少，通常民间所说的太阳能发电往往指的就是太阳能光伏发电，简称光电。
##输送方式
太阳能光伏发电分为独立光伏发电、并网光伏发电、分布式光伏发电

你也可以使用其他手段来避开反爬措施，但是我们的工作中，需要人工核验词条，因此采取了“把地址复制到excel中，爬虫批量爬取”的方法。你可以新建一个xlsx，然后新增两个列名“address”和“content”，然后运行：

import csv  
import pandas as pd  # 读取CSV文件  
df = pd.read_excel(r'D:\data\百科词条2.xlsx')  # 对第一列应用f1函数  
df["content"]= df.iloc[:, 0].apply(get_response)  # 将结果写回到原文件中  
df.to_excel('D:\data\百科词条2.xlsx', index=False)

为避免爬虫，也可以采用“手工保存网页，然后解析html”的方式