当前位置： 首页 > news >正文

【爬虫】web自动化和接口自动化

news 2026/2/9 20:01:02

 专栏文章索引：爬虫

目录

一、介绍

二、推荐

1.接口自动化

2.Web自动化

一、介绍

爬虫技术一般可以分为两种类型：接口自动化和web自动化。下面是它们的简要介绍：

1.接口自动化

接口自动化技术的主要目的是通过模拟HTTP请求来实现自动化，通常用于测试web API和抓取数据。接口自动化爬虫可以直接访问数据接口获取数据，它可以通过发送规范的HTTP请求来实现数据的抓取和操作。接口自动化技术适用于需要大量抓取数据的需求，以及在抓取时对页面交互没有要求的场景。

综上所述，根据不同的需求和场景，可以选择适合自己的爬虫类型，分别应用Web自动化或接口自动化技术来进行网页数据的抓取和处理。

2.Web自动化

Web自动化技术旨在模拟人类操作浏览器来实现自动化，通常用于对网页进行操作和抓取数据。Web自动化爬虫可以通过自动化浏览器驱动，模拟人类的行为来实现数据的抓取和操作。Web自动化技术可以模拟页面操作、登陆、填表、拖拽等操作，非常适合于需要登录并模拟用户操作的网站、复杂的网页交互以及需要抓取动态网页数据的需求。

二、推荐

1.接口自动化

  • requests库

python的第三方库，目前使用比较多

2.Web自动化

  • Selenium

初学者可以先学习这个工具

  • DrissionPage

语法跟Selenium类似，由于出现的比较晚，检测还不是很严格

  • SaossionPage

DrissionPage的plus版

相关文章：

【爬虫】web自动化和接口自动化

专栏文章索引：爬虫 目录 一、介绍 二、推荐 1.接口自动化 2.Web自动化 一、介绍 爬虫技术一般可以分为两种类型：接口自动化和web自动化。下面是它们的简要介绍： 1.接口自动化 接口自动化技术的主要目的是通过模拟HTTP请求来实现自动化…...

编程日记 2024/3/21 14:29:23

哔哩哔哩后端Java一面

前言 作者：晓宜 个人简介：互联网大厂Java准入职，阿里云专家博主，csdn后端优质创作者，算法爱好者 最近各大公司的春招和实习招聘都开始了，这里分享下去年面试B站的的一些问题，希望对大家有所帮助…...

编程日记 2024/3/21 14:28:21

Vue.js前端开发零基础教学（二）

目录 前言 2.1 单文件组件 2.2 数据绑定 2.2.2 响应式数据绑定 2.3 指令 2.3.1 内容渲染指令 2.3.2 属性绑定指令 ​编辑 2.3.3 事件绑定指令 2.3.4 双向数据绑定指令 2.3.5 条件渲染指令 2.3.6 列表渲染指令 2.4 事件对象 2.5 事件修饰符 学习目标&am…...

编程日记 2024/3/21 14:27:20

Bert模型输出：last_hidden_state转换为pooler_output

1. BERT模型的输出 在BERT模型中，last_hidden_state和pooler_output是两个不同的输出。 (1) last_hidden_state: last_hidden_state是指BERT模型中最后一个隐藏层的隐藏状态。它是一个三维张量，其形状为[batch_size, sequence_length, hidden_size]。其…...

编程日记 2024/3/21 14:24:16

Docker Compose 基本语法

services 是顶级节点，也就是你要启动的服务全部放在这里。 MySOL就是我们预期中的一个服务。 mysql8:指的是我们这个服务叫 mysql8. image:我们这个服务里运行的是什么镜像，或者说跑的是什么。这里指定了使用 mysql:8.0.29 这个版本。 command:启动命令&…...

编程日记 2024/3/21 14:21:13

【算法集训】基础算法：贪心

1913. 两个数对之间的最大乘积差 void insertSort(int * a, int n) {for(int i 1; i < n; i) {int temp a[i];int j i - 1;while(j > 0 && temp < a[j]) {a[j 1] a[j];j--;}a[j 1] temp;} }int maxProductDifference(int* nums, int numsSize){insert…...

编程日记 2024/3/21 14:20:12

Centos7部署单节点MongoDB（V4.2.25）

&#x1f388; 作者&#xff1a;互联网-小啊宇 &#x1f388; 简介&#xff1a; CSDN 运维领域创作者、阿里云专家博主。目前从事 Kubernetes运维相关工作&#xff0c;擅长Linux系统运维、开源监控软件维护、Kubernetes容器技术、CI/CD持续集成、自动化运维、开源软件部署维护…...

编程日记 2024/3/21 14:19:11

隐私计算笔记（1）

一、可信流通体系 建立数据来源可确认、使用范围可界定、流通过程可追溯、安全风险可防范的数据可流通体系。 二、产生信任的基石 身份可确认利益可依赖能力有预期行为有后果 三、数据流通不可信风险 内循环&#xff1a;在内部循环中&#xff0c;数据持有方在其自身的运维…...

编程日记 2024/3/21 14:16:08

查询方法需要使用事务吗？

当数据库隔离级别是默认的可重复读&#xff08;Repeatable Read&#xff09;时&#xff0c;如果查询语句只有一条则不需要事务. 当有多条查询sql语句且需要确保多条sql语句处于同一时间维度时则需要使用事务来确保多条SQL语句处于同一时间节点. 相关知识点 mysql查询当前事务隔…...

编程日记 2024/3/21 14:15:07

剑指offer面试题40 数组中只出现一次的数字

考察点 异或运算&#xff0c;与运算知识点 题目 分析 本题目要求数组中只出现一次的俩个数字&#xff0c;并且要求O(1)时间复杂度和空间复杂度。试想一下如果只有一个数字出现一次&#xff0c;那么针对全部元素做异或运算就可以了&#xff0c;因为相同元素异或为0。现在有俩…...

编程日记 2024/3/21 14:13:03

gitLab server version 13.12.1 is not supported

拉代码的时候&#xff0c;报的这个错&#xff0c;实际上就是因为gitLab 版本太低了&#xff0c;这里不准备升级版本&#xff0c;打算继续使用账号密码来拉取代码 在idea已经安装的插件中&#xff0c;去掉gitlab插件&#xff0c;如下&#xff1a; 之后再拉取代码&#xff0c;就…...

编程日记 2024/3/21 14:12:02

如何在 iPhone 上使用蓝牙鼠标

iPhone 不支持使用传统的鼠标指针。 然而&#xff0c;有一个名为“AssistiveTouch”的功能可以在屏幕上模拟类似光标的指针。 启用它的方法如下&#xff1a; 打开 iPhone 上的“设置”应用程序。转到“辅助功能”。向下滚动并选择“触摸”。点击“辅助触控”。切换开关以打开 …...

编程日记 2024/3/21 14:10:00

matlab simulink 电力系统同步发电机励磁系统的建模与仿真

1、内容简介 略 77-可以交流、咨询、答疑 电力系统同步发电机励磁系统的建模与仿真 建立MATLAB的同步发电机励磁调节系统仿真模型&#xff0c;最后建立了以PID和PSS为励磁控制方式的同步发电机励磁调节系统数学模型&#xff0c;在Simulink环境下进行了仿真&#xff0c;收到…...

编程日记 2024/3/21 14:05:55

AI新工具(20240320) AI创作一首属于自己的音乐； 轻松制作具有透明背景的高质量图像

✨ 1: Suno AI创作一首属于自己的音乐 Suno是一个革命性的人工智能平台&#xff0c;专注于音乐创作。在通俗的语言中&#xff0c;Suno允许用户仅通过提供歌词&#xff0c;自动为其创作旋律和演唱&#xff0c;产生完整的音乐作品。使用Suno的过程简单直观&#xff0c;不需要用…...

编程日记 2024/3/21 14:03:52

IT服务ITIL4 认证：助力企业数字化转型的必杀技！

随着科技的不断展和企业竞争的加剧&#xff0c;如何实现数字化转型成为了当今企业面临的重要课题。而学习ITIL4认证&#xff0c;尤其是ITIL4中级&#xff0c;将为企业的数字化转型提供有力的支持和帮助。 ITIL4认证 ITIL&#xff08;Information Technology Infrastructure Li…...

编程日记 2024/3/21 14:01:50

微软聘请了谷歌DeepMind的联合创始人

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…...

编程日记 2024/3/21 13:58:47

JavaMySQL高级一(下)

目录 1.常用函数 1.字符串函数 2.时间日期函数 3.聚合函数 4.数学函数 2.分布查询 3.子查询基础 1.简单子查询 1.常用函数 在程序开发过程中&#xff0c;除了简单的数据查询&#xff0c;还有基于已数据进行数据的统计分析计算等需求。因此&#xff0c;在SQL中将一…...

编程日记 2024/3/21 13:57:45

HCIA复习

上面的文件里有思维导图哦~ 一、情景再现&#xff1a;ISP网络为学校提供了DNS服务&#xff0c;所以&#xff0c;DNS服务器驻留在ISP网络内&#xff0c;而不再学校网络内。DHCP服务器运行在学校网络的路由器上。 小明拿了一台电脑&#xff0c;通过网线&#xff0c;接入到校园网…...

编程日记 2024/3/21 13:55:42

5G里面NR，gNB，en-gNB，ng-eNB是什么意思

不得不提一个国际组织&#xff0c;叫国际电信联盟(ITU, International Telecommunication Union)&#xff0c;简称国际电联。我们先看看国际电联的自我介绍&#xff1a; 国际电信联盟 『国际电联 (国际电信联盟) 是主管信息通信技术事务&#xff08;ICT&#xff09;的联合国机…...

编程日记 2024/3/21 13:53:40

android 网络检测简单方法

如果连接的WiFi没有网络&#xff0c;无法通过简单的网络状态检查来判断其可用性。在这种情况下&#xff0c;你可以尝试使用以下方法来检测当前连接的WiFi是否可用&#xff1a; Ping测试&#xff1a;尝试通过向一个已知的可靠服务器发送Ping请求来检测连接的WiFi是否可用。如果…...

编程日记 2024/3/21 13:52:39

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别，但在其他电脑上正常工作时，问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤，帮助你快速找到故障原因： 背景： 一个M-pard（铭豹）扩展坞的网卡突然无法识别了，扩展出来的三个USB接口正常。…...

编程新知 2026/2/9 16:05:07

DockerHub与私有镜像仓库在容器化中的应用与管理

哈喽&#xff0c;大家好&#xff0c;我是左手python&#xff01; Docker Hub的应用与管理 Docker Hub的基本概念与使用方法 Docker Hub是Docker官方提供的一个公共镜像仓库&#xff0c;用户可以在其中找到各种操作系统、软件和应用的镜像。开发者可以通过Docker Hub轻松获取所…...

编程新知 2025/10/8 10:56:25

Mybatis逆向工程，动态创建实体类、条件扩展类、Mapper接口、Mapper.xml映射文件

今天呢&#xff0c;博主的学习进度也是步入了Java Mybatis 框架&#xff0c;目前正在逐步杨帆旗航。 那么接下来就给大家出一期有关 Mybatis 逆向工程的教学&#xff0c;希望能对大家有所帮助&#xff0c;也特别欢迎大家指点不足之处&#xff0c;小生很乐意接受正确的建议&…...

编程新知 2026/1/31 15:00:15

GitHub 趋势日报 (2025年06月08日)

&#x1f4ca; 由 TrendForge 系统生成 | &#x1f310; https://trendforge.devlive.org/ &#x1f310; 本日报中的项目描述已自动翻译为中文 &#x1f4c8; 今日获星趋势图 今日获星趋势图 884 cognee 566 dify 414 HumanSystemOptimization 414 omni-tools 321 note-gen …...

编程新知 2025/12/13 1:32:15

服务器--宝塔命令

一、宝塔面板安装命令 ⚠️ 必须使用 root 用户 或 sudo 权限执行&#xff01; sudo su - 1. CentOS 系统&#xff1a; yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh2. Ubuntu / Debian 系统…...

编程新知 2025/10/3 10:56:48

【电力电子】基于STM32F103C8T6单片机双极性SPWM逆变（硬件篇）

本项目是基于 STM32F103C8T6 微控制器的 SPWM（正弦脉宽调制）电源模块，能够生成可调频率和幅值的正弦波交流电源输出。该项目适用于逆变器、UPS电源、变频器等应用场景。 供电电源 输入电压采集 上图为本设计的电源电路，图中 D1 为二极管， 其目的是防止正负极电源反接， …...

编程新知 2026/1/25 3:29:22

代码规范和架构【立芯理论一】（2025.06.08）

1、代码规范的目标 代码简洁精炼、美观&#xff0c;可持续性好高效率高复用&#xff0c;可移植性好高内聚&#xff0c;低耦合没有冗余规范性&#xff0c;代码有规可循&#xff0c;可以看出自己当时的思考过程特殊排版&#xff0c;特殊语法&#xff0c;特殊指令&#xff0c;必须…...

编程新知 2026/1/28 11:47:09

Unity UGUI Button事件流程

场景结构 测试代码 public class TestBtn : MonoBehaviour {void Start(){var btn GetComponent<Button>();btn.onClick.AddListener(OnClick);}private void OnClick(){Debug.Log("666");}}当添加事件时 // 实例化一个ButtonClickedEvent的事件 [Formerl…...

编程新知 2026/2/9 18:50:34

Python网页自动化Selenium中文文档

1. 安装 1.1. 安装 Selenium Python bindings 提供了一个简单的API&#xff0c;让你使用Selenium WebDriver来编写功能/校验测试。 通过Selenium Python的API&#xff0c;你可以非常直观的使用Selenium WebDriver的所有功能。 Selenium Python bindings 使用非常简洁方便的A…...

编程新知 2026/1/23 18:15:21

【安全篇】金刚不坏之身：整合 Spring Security + JWT 实现无状态认证与授权

摘要 本文是《Spring Boot 实战派》系列的第四篇。我们将直面所有 Web 应用都无法回避的核心问题&#xff1a;安全。文章将详细阐述认证&#xff08;Authentication) 与授权&#xff08;Authorization的核心概念&#xff0c;对比传统 Session-Cookie 与现代 JWT&#xff08;JS…...

编程新知 2025/12/7 16:12:52