当前位置：首页 > article >正文

Python爬取数据（二）

article 2026/1/31 17:35:01

一.example2包下的

1.re模块的compile函数使用

import repattern=re.compile(r'\d+')
print(pattern)

2.match的方法使用

import re
pattern=re.compile(r'\d+')
# m1=pattern.match('one123twothree345four')
#参数2：指定起始位置(包含),参数3：终止位置(包含),注意匹配一次成功后结束
m1=pattern.match('one123twothree345four',3,7)
print(m1.group())

3.search方法的使用

import re
pattern=re.compile(r'\d+')
m1=pattern.search('one123twothree345four')
print(m1.group())

4.findall方法的使用

import re
pattern=re.compile(r'\d+')result=pattern.findall('hello 123 world 456')
print(result)

5.split方法的使用

import restr1='a,b,c'
print(str1.split(','))str2='a,b;;c,d'
pattern=re.compile(r"[\s\,\;]+")
print(pattern.split(str2))

6.sub方法的使用

import re
string='<h1 class="test1">HelloWorld</h1>'pattern=re.compile(r'\d')
print(pattern.sub('2',string))
print(pattern.sub('2',string,1))pattern=re.compile('<(.\\d)\\sclass="(?P<classname>.*?)">.*?</(\\1)>')
print(pattern.search(string).group(3))def fun(m):return 'after sub'+m.group('classname')
print(pattern.sub(fun, string))

7.贪婪匹配

import re
string='<h1 class="test1">HelloWorld</h1>'
#贪婪匹配
pattern=re.compile(r'<.\d\sclass=.*>')
print(pattern.search(string).group())
#关闭贪婪匹配
pattern=re.compile(r'<.\d\sclass=.*?>')
print(pattern.search(string).group())

8.综合案例

import requests
import re
def handle_detail_re(content):#re.S表示全文匹配# item_search=re.compile('ts_solgcont_title">.*?</div>\r\n\t</div>',re.S)item_search = re.compile('ts_solgcont_title">.*?<div class="ts_solgcont_bot">.*?</div>', re.S)#获取每一条图书的数据all_item=item_search.findall(content)#匹配书名title_search=re.compile('target="_blank">(.*?)</a>')#匹配作者author_search=re.compile('<p>作者(.*?)</p>')for item in all_item:print({"title":title_search.search(item).group(1),"author":author_search.search(item).group(1),})def main():header={"User-Agent":"Mozilla/5.0 (X11; Linux aarch64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36 CrKey/1.54.250320 Edg/135.0.0.0"}booktype=['java','python','c']for key in booktype:url='http://www.cmpedu.com/so.htm?&KEY={}'.format(key)response=requests.get(url,headers=header)handle_detail_re(response.text)if __name__ == '__main__':main()

三.example3下的

安装beautifulsoup4的指令:pip3 install beautifulsoup4
beautifulsoup4:Beautiful Soup（bs4）是一个用于从HTML或XML文件中提取数据的Python库。

1.获取节点

from bs4 import BeautifulSoup
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p >
<p class="story">Once upon a time there were three little sisters; and their names were
<!-- Elsie -->,and
;
and they lived at the bottom of a well.</p >
<p class="story">...</p >
"""
#参数1:html代码片段
# 参数2：解析器
soup=BeautifulSoup(html,'lxml')
#获得标题
print(soup.title)
#获得头标记
print(soup.head)
#获得体标记
print(soup.body)
#获得标题元素内容
print(soup.title.string)
#获得标记名称
print(soup.title.name)
#默认的模式下只能匹配第一个节点，其他节点会被忽略
print(soup.p)

Python爬取数据（二）

一.example2包下的 1.re模块的compile函数使用 import repatternre.compile(r\d) print(pattern) 2.match的方法使用 import re patternre.compile(r\d) # m1pattern.match(one123twothree345four) #参数2：指定起始位置(包含),参数3：终止位置(包含),…...

编程日记 2025/11/26 0:52:59

前端用用jsonp的方式解决跨域问题

前端用用jsonp的方式解决跨域问题前端用用jsonp的方式解决跨域问题前端用用jsonp的方式解决跨域问题限制与缺点：前端后端测试使用示例限制与缺点： 不安全、只能使用get方式、后台需要相应jsonp方式的传参前端 function jsonp(obj) {// 动态生成唯…...

编程日记 2025/11/17 5:51:40

计算机网络 3-2 数据链路层(流量控制与可靠传输机制)

3.4 流量控制与可靠传输机制流量控制：指由接收方控制发送方的发送速率，使接收方有足够的缓冲空间来接收每个帧滑动窗口流量控制:一种更高效的流量控制方法。在任意时刻，发送方都维持一组连续的允许发送帧的序号，称为发送窗口…...

编程日记 2026/1/30 16:23:37

科普：原始数据是特征向量么?

一、输入向量 x \mathbf{x} x是特征向量机器学习算法公式中的输入向量 x \mathbf{x} x通常要求是特征向量。原因如下： 从算法原理角度：机器学习算法旨在通过对输入数据的学习来建立模型，以实现对未知数据的预测或分类等任务。特征向量是对…...

编程日记 2025/11/16 22:19:41

Jenkins配置的JDK，Maven和Git

1. 前置在配置前，我们需要先把JDK，Maven和Git安装到Jenkins的服务器上。 （1）需要进入容器内部，执行命令：docker exec -u root -it 容器号/容器名称（2选1） bash -- 容器名称 dock…...

编程日记 2026/1/25 8:18:09

有效压缩 Hyper-v linux Centos 的虚拟磁盘 VHDX

参考： http://www.360doc.com/content/22/0505/16/67252277_1029878535.shtml VHDX 有个不好的问题就是，如果在里面存放过文件再删除，那么已经使用过的空间不会压缩，导致空间一直被占用。那么就需要想办法压缩空间。还有一点&a…...

编程日记 2026/1/30 18:18:36

网络空间安全（53）XSS

一、定义与原理 XSS（Cross Site Scripting），全称为跨站脚本攻击，是一种网站应用中的安全漏洞攻击。其原理是攻击者利用网站对用户输入内容校验不严格等漏洞，将恶意脚本（通常是JavaScript，也可以…...

编程日记 2026/1/26 1:59:44

【LeetCode 热题100】45：跳跃游戏 II（详细解析）（Go语言版）

🚀 力扣 45：跳跃游戏 II（全解法详解） 📌 题目描述给你一个非负整数数组 nums，表示你最初位于数组的第一个位置。数组中的每个元素表示你在该位置可以跳跃的最大长度。你的目标是使用最少的跳跃次数到…...

编程日记 2025/11/7 3:15:18

Spring MVC 框架的核心概念、组件关系及流程的详细说明，并附表格总结

以下是 Spring MVC 框架的核心概念、组件关系及流程的详细说明，并附表格总结： 1. 核心理念 Spring MVC 是基于 MVC（Model-View-Controller）设计模式的 Web 框架，其核心思想是解耦： Model：数…...

编程日记 2026/1/27 16:15:45

使用 redis 实现消息队列

方案1: 使用list做消息队列问题1: 如何保证消息不丢失问题 2: 重复消费/幂等方案 2: zset实现消息队列方案 3: 发布/订阅(pub/sub)问题1: 如何保证消息不丢失问题 2: 重复消费/幂等方案 4: Stream 实现消息队列问题1: 如何保证消息不丢失问题 2: 重复消费/幂等方案1: 使用li…...

编程日记 2025/11/14 19:32:08

金融数据分析（Python）个人学习笔记（6）：安装相关软件

python环境的安装请查看Python个人学习笔记（1）：Python软件的介绍与安装一、pip 在windows系统中检查是否安装了pip 打开命令提示符的快捷键：winR，然后输入cmd 在命令提示符中执行如下命令 python -m pip --version…...

编程日记 2026/1/30 22:28:56

Android Material Design 3 主题配色终极指南：XML 与 Compose 全解析

最小必要颜色配置  <style name"Theme.MyApp" parent"Theme.Material3.DayNight"><item name"colorPrimary">color/purple_500</item><item name"col…...

编程日记 2025/8/26 21:16:50

PyTorch参数管理详解：从访问到初始化与共享

本文通过实例代码讲解如何在PyTorch中管理神经网络参数，包括参数访问、多种初始化方法、自定义初始化以及参数绑定技术。所有代码可直接运行，适合深度学习初学者进阶学习。 1. 定义网络与参数访问 1.1 定义单隐藏层多层感知机 import torch from torch…...

编程日记 2025/6/21 1:12:51

页面简单传参

#简单的情景：你需要在帖子主页传递参数给帖子详情页面，携带在主页获得的帖子ID。你有以下几种传递方法# #使用Vue3 TS# 1. 通过 URL 参数传递（Query 参数） 这是最简单、最常用的方法，ID 会显示在 URL 中的 ? 后面…...

编程日记 2025/6/15 14:17:31

nginx路径匹配的优先级

在 Nginx 配置中，当请求 /portal/agent/sse 时，会匹配 location ~* /sse$ 规则，而不是 location /portal。原因如下： 匹配规则解析 location ~* /sse$ ~* 表示不区分大小写的正则匹配/sse$ 表示以 /sse 结尾的路径匹配结果&#…...

编程日记 2025/7/13 11:42:19

一周学会Pandas2 Python数据处理与分析-Pandas2一维数据结构-Series

锋哥原创的Pandas2 Python数据处理与分析视频教程： 2025版 Pandas2 Python数据处理与分析视频教程(无废话版) 玩命更新中~_哔哩哔哩_bilibili Pandas提供Series和DataFrame作为数组数据的存储框架。 Series（系列、数列、序列）是一个带有…...

编程日记 2026/1/27 15:10:44

DApp实战篇：前端技术栈一览

前言在前面一系列内容中，我们由浅入深地了解了DApp的组成，从本小节开始我将带领大家如何完成一个完整的DApp。本小节则先从前端开始。前端技术栈在前端开发者速入：DApp中的前端要干些什么？文中我说过，即便是在…...

编程日记 2026/1/25 14:43:07

leetcode6.Z字形变换

题目说是z字形变化，但其实模拟更像n字形变化，找到字符下标规律就逐个拼接就能得到答案 class Solution {public String convert(String s, int numRows) {if(numRows1)return s;StringBuilder stringBuilder new StringBuilder();for (int i 0; i <…...

编程日记 2026/1/25 6:19:53

HarmonyOS应用开发者高级-编程题-001

题目一：跨设备分布式数据同步需求描述开发一个分布式待办事项应用，要求：手机与平板登录同一华为账号时，自动同步任务列表任一设备修改任务状态（完成/删除），另一设备实时更新任务数据在设备离线时能本地存储，联网后自动同步实现方案 // 1. 定义分布式数据模型 imp…...

编程日记 2025/11/15 17:30:16

鸿蒙开发者高级认证编程题库

编程日记 2025/11/21 1:20:40

Ubuntu（CentOS、Rockylinux等）快速进入深度学习pytorch环境

这里写自定义目录标题安装进入系统（如Ubuntu22.04）安装anacondapip、conda换源pip换源conda换源安装nvidia安装pytorch环境针对于wsl的优化安装进入系统（如Ubuntu22.04） docker 、 wsl 、双系统、服务器系统推荐 Ubuntu 20…...

编程日记 2025/11/22 14:18:40

[实战] 天线阵列波束成形原理详解与仿真实战（完整代码）

天线阵列波束成形原理详解与仿真实战 1. 引言在无线通信、雷达和声学系统中，波束成形（Beamforming）是一种通过调整天线阵列中各个阵元的信号相位和幅度，将电磁波能量集中在特定方向的技术。其核心目标是通过空间滤波增强目标方…...

编程日记 2026/1/30 6:44:35

Android开发okhttp添加头部参数

Android开发okhttp添加头部参数或者是头文件 private static class RequestHeaderInterceptor implements Interceptor {Overridepublic Response intercept(Chain chain) throws IOException {Request original chain.request();//添加头部信息Request request original.new…...

编程日记 2025/11/15 0:03:53

Halcon图像采集

Halcon是一款强大的机器视觉软件，结合C#可以开发出功能完善的视觉应用程序。基本设置确保已经安装了Halcon和Halcon的.NET库（HalconDotNet）。 1. 添加引用在C#项目中，需要添加对HalconDotNet.dll的引用： 右键点…...

编程日记 2026/1/31 3:30:22

自动提取pdf公式 ➕ 输出 LaTeX

# 创建打包脚本的主内容 script_content """ from doc2x.extract_formula import extract_formula_imgs from pix2text import Pix2Text from PIL import Image import osdef main():pdf_path "your_file.pdf" # 将你的PDF命名为 your_file.pdf 并…...

编程日记 2025/11/9 19:38:29

（十）安卓开发中的Activity之间的通信使用详解

在 Android 开发中，Activity 之间的通信是非常常见且核心的功能之一，常见的方式包括： 使用显式 Intent 传递数据使用隐式 Intent 实现跨组件调用使用 startActivityForResult（或新版 Activity Result API）回传数据传递…...

编程日记 2025/11/2 14:14:53

python 浅拷贝copy与深拷贝deepcopy 理解

一浅拷贝与深拷贝 1. 浅拷贝浅拷贝只复制了对象本身（即c中的引用）。 2. 深拷贝深拷贝创建一个新的对象，同时也会创建所有子对象的副本，因此新对象与原对象之间完全独立。二代码理解 1. 案例一 a 10 b a b 20 print…...

编程日记 2025/11/2 14:14:21

基于neo4j存储知识树-mac

1、安装jdk21 for mac(jdk-21_macos-aarch64_bin.dmg) 2、安装neo4j for mac(neo4j-community-5.26.0-unix.tar.gz) 3、使用默认neo4j/neo4j登录http://localhost:7474 修改登录密码，可以使用生成按钮生成密码，连接数据库，默认设置为neo4j…...

编程日记 2026/1/28 17:55:21

Tiktok 关键字视频及评论信息爬虫(1) [2025.04.07]

🙋‍♀️Tiktok APP的基于关键字检索的视频及评论信息爬虫共分为两期，希望对大家有所帮助。第一期见下文。第二期：基于视频URL的评论信息爬取 1. Node.js环境配置首先配置 JavaScript 运行环境（如 Node.js）&#x…...

编程日记 2026/1/4 17:54:31

基于人工智能的高中教育评价体系重构研究

基于人工智能的高中教育评价体系重构研究一、引言 1.1 研究背景在科技飞速发展的当下，人工智能技术已广泛渗透至各个领域，教育领域亦不例外。人工智能凭借其强大的数据处理能力、智能分析能力和个性化服务能力，为教育评价体系的创新与发…...

编程日记 2025/6/9 22:52:42

一.example2包下的

三.example3下的

相关文章：