当前位置： 首页 > news >正文

【爬虫】web自动化和接口自动化

news 2025/9/4 23:52:19

 专栏文章索引：爬虫

目录

一、介绍

二、推荐

1.接口自动化

2.Web自动化

一、介绍

爬虫技术一般可以分为两种类型：接口自动化和web自动化。下面是它们的简要介绍：

1.接口自动化

接口自动化技术的主要目的是通过模拟HTTP请求来实现自动化，通常用于测试web API和抓取数据。接口自动化爬虫可以直接访问数据接口获取数据，它可以通过发送规范的HTTP请求来实现数据的抓取和操作。接口自动化技术适用于需要大量抓取数据的需求，以及在抓取时对页面交互没有要求的场景。

综上所述，根据不同的需求和场景，可以选择适合自己的爬虫类型，分别应用Web自动化或接口自动化技术来进行网页数据的抓取和处理。

2.Web自动化

Web自动化技术旨在模拟人类操作浏览器来实现自动化，通常用于对网页进行操作和抓取数据。Web自动化爬虫可以通过自动化浏览器驱动，模拟人类的行为来实现数据的抓取和操作。Web自动化技术可以模拟页面操作、登陆、填表、拖拽等操作，非常适合于需要登录并模拟用户操作的网站、复杂的网页交互以及需要抓取动态网页数据的需求。

二、推荐

1.接口自动化

  • requests库

python的第三方库，目前使用比较多

2.Web自动化

  • Selenium

初学者可以先学习这个工具

  • DrissionPage

语法跟Selenium类似，由于出现的比较晚，检测还不是很严格

  • SaossionPage

DrissionPage的plus版

相关文章：

【爬虫】web自动化和接口自动化

专栏文章索引：爬虫 目录 一、介绍 二、推荐 1.接口自动化 2.Web自动化 一、介绍 爬虫技术一般可以分为两种类型：接口自动化和web自动化。下面是它们的简要介绍： 1.接口自动化 接口自动化技术的主要目的是通过模拟HTTP请求来实现自动化…...

编程日记 2024/3/21 14:29:23

哔哩哔哩后端Java一面

前言 作者：晓宜 个人简介：互联网大厂Java准入职，阿里云专家博主，csdn后端优质创作者，算法爱好者 最近各大公司的春招和实习招聘都开始了，这里分享下去年面试B站的的一些问题，希望对大家有所帮助…...

编程日记 2024/3/21 14:28:21

Vue.js前端开发零基础教学（二）

目录 前言 2.1 单文件组件 2.2 数据绑定 2.2.2 响应式数据绑定 2.3 指令 2.3.1 内容渲染指令 2.3.2 属性绑定指令 ​编辑 2.3.3 事件绑定指令 2.3.4 双向数据绑定指令 2.3.5 条件渲染指令 2.3.6 列表渲染指令 2.4 事件对象 2.5 事件修饰符 学习目标&am…...

编程日记 2024/3/21 14:27:20

Bert模型输出：last_hidden_state转换为pooler_output

1. BERT模型的输出 在BERT模型中，last_hidden_state和pooler_output是两个不同的输出。 (1) last_hidden_state: last_hidden_state是指BERT模型中最后一个隐藏层的隐藏状态。它是一个三维张量，其形状为[batch_size, sequence_length, hidden_size]。其…...

编程日记 2024/3/21 14:24:16

Docker Compose 基本语法

services 是顶级节点，也就是你要启动的服务全部放在这里。 MySOL就是我们预期中的一个服务。 mysql8:指的是我们这个服务叫 mysql8. image:我们这个服务里运行的是什么镜像，或者说跑的是什么。这里指定了使用 mysql:8.0.29 这个版本。 command:启动命令&…...

编程日记 2024/3/21 14:21:13

【算法集训】基础算法：贪心

1913. 两个数对之间的最大乘积差 void insertSort(int * a, int n) {for(int i 1; i < n; i) {int temp a[i];int j i - 1;while(j > 0 && temp < a[j]) {a[j 1] a[j];j--;}a[j 1] temp;} }int maxProductDifference(int* nums, int numsSize){insert…...

编程日记 2024/3/21 14:20:12

Centos7部署单节点MongoDB（V4.2.25）

&#x1f388; 作者&#xff1a;互联网-小啊宇 &#x1f388; 简介&#xff1a; CSDN 运维领域创作者、阿里云专家博主。目前从事 Kubernetes运维相关工作&#xff0c;擅长Linux系统运维、开源监控软件维护、Kubernetes容器技术、CI/CD持续集成、自动化运维、开源软件部署维护…...

编程日记 2024/3/21 14:19:11

隐私计算笔记（1）

一、可信流通体系 建立数据来源可确认、使用范围可界定、流通过程可追溯、安全风险可防范的数据可流通体系。 二、产生信任的基石 身份可确认利益可依赖能力有预期行为有后果 三、数据流通不可信风险 内循环&#xff1a;在内部循环中&#xff0c;数据持有方在其自身的运维…...

编程日记 2024/3/21 14:16:08

查询方法需要使用事务吗？

当数据库隔离级别是默认的可重复读&#xff08;Repeatable Read&#xff09;时&#xff0c;如果查询语句只有一条则不需要事务. 当有多条查询sql语句且需要确保多条sql语句处于同一时间维度时则需要使用事务来确保多条SQL语句处于同一时间节点. 相关知识点 mysql查询当前事务隔…...

编程日记 2024/3/21 14:15:07

剑指offer面试题40 数组中只出现一次的数字

考察点 异或运算&#xff0c;与运算知识点 题目 分析 本题目要求数组中只出现一次的俩个数字&#xff0c;并且要求O(1)时间复杂度和空间复杂度。试想一下如果只有一个数字出现一次&#xff0c;那么针对全部元素做异或运算就可以了&#xff0c;因为相同元素异或为0。现在有俩…...

编程日记 2024/3/21 14:13:03

gitLab server version 13.12.1 is not supported

拉代码的时候&#xff0c;报的这个错&#xff0c;实际上就是因为gitLab 版本太低了&#xff0c;这里不准备升级版本&#xff0c;打算继续使用账号密码来拉取代码 在idea已经安装的插件中&#xff0c;去掉gitlab插件&#xff0c;如下&#xff1a; 之后再拉取代码&#xff0c;就…...

编程日记 2024/3/21 14:12:02

如何在 iPhone 上使用蓝牙鼠标

iPhone 不支持使用传统的鼠标指针。 然而&#xff0c;有一个名为“AssistiveTouch”的功能可以在屏幕上模拟类似光标的指针。 启用它的方法如下&#xff1a; 打开 iPhone 上的“设置”应用程序。转到“辅助功能”。向下滚动并选择“触摸”。点击“辅助触控”。切换开关以打开 …...

编程日记 2024/3/21 14:10:00

matlab simulink 电力系统同步发电机励磁系统的建模与仿真

1、内容简介 略 77-可以交流、咨询、答疑 电力系统同步发电机励磁系统的建模与仿真 建立MATLAB的同步发电机励磁调节系统仿真模型&#xff0c;最后建立了以PID和PSS为励磁控制方式的同步发电机励磁调节系统数学模型&#xff0c;在Simulink环境下进行了仿真&#xff0c;收到…...

编程日记 2024/3/21 14:05:55

AI新工具(20240320) AI创作一首属于自己的音乐； 轻松制作具有透明背景的高质量图像

✨ 1: Suno AI创作一首属于自己的音乐 Suno是一个革命性的人工智能平台&#xff0c;专注于音乐创作。在通俗的语言中&#xff0c;Suno允许用户仅通过提供歌词&#xff0c;自动为其创作旋律和演唱&#xff0c;产生完整的音乐作品。使用Suno的过程简单直观&#xff0c;不需要用…...

编程日记 2024/3/21 14:03:52

IT服务ITIL4 认证：助力企业数字化转型的必杀技！

随着科技的不断展和企业竞争的加剧&#xff0c;如何实现数字化转型成为了当今企业面临的重要课题。而学习ITIL4认证&#xff0c;尤其是ITIL4中级&#xff0c;将为企业的数字化转型提供有力的支持和帮助。 ITIL4认证 ITIL&#xff08;Information Technology Infrastructure Li…...

编程日记 2024/3/21 14:01:50

微软聘请了谷歌DeepMind的联合创始人

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…...

编程日记 2024/3/21 13:58:47

JavaMySQL高级一(下)

目录 1.常用函数 1.字符串函数 2.时间日期函数 3.聚合函数 4.数学函数 2.分布查询 3.子查询基础 1.简单子查询 1.常用函数 在程序开发过程中&#xff0c;除了简单的数据查询&#xff0c;还有基于已数据进行数据的统计分析计算等需求。因此&#xff0c;在SQL中将一…...

编程日记 2024/3/21 13:57:45

HCIA复习

上面的文件里有思维导图哦~ 一、情景再现&#xff1a;ISP网络为学校提供了DNS服务&#xff0c;所以&#xff0c;DNS服务器驻留在ISP网络内&#xff0c;而不再学校网络内。DHCP服务器运行在学校网络的路由器上。 小明拿了一台电脑&#xff0c;通过网线&#xff0c;接入到校园网…...

编程日记 2024/3/21 13:55:42

5G里面NR，gNB，en-gNB，ng-eNB是什么意思

不得不提一个国际组织&#xff0c;叫国际电信联盟(ITU, International Telecommunication Union)&#xff0c;简称国际电联。我们先看看国际电联的自我介绍&#xff1a; 国际电信联盟 『国际电联 (国际电信联盟) 是主管信息通信技术事务&#xff08;ICT&#xff09;的联合国机…...

编程日记 2024/3/21 13:53:40

android 网络检测简单方法

如果连接的WiFi没有网络&#xff0c;无法通过简单的网络状态检查来判断其可用性。在这种情况下&#xff0c;你可以尝试使用以下方法来检测当前连接的WiFi是否可用&#xff1a; Ping测试&#xff1a;尝试通过向一个已知的可靠服务器发送Ping请求来检测连接的WiFi是否可用。如果…...

编程日记 2024/3/21 13:52:39

连锁超市冷库节能解决方案：如何实现超市降本增效

在连锁超市冷库运营中&#xff0c;高能耗、设备损耗快、人工管理低效等问题长期困扰企业。御控冷库节能解决方案通过智能控制化霜、按需化霜、实时监控、故障诊断、自动预警、远程控制开关六大核心技术&#xff0c;实现年省电费15%-60%&#xff0c;且不改动原有装备、安装快捷、…...

编程新知 2025/8/5 19:36:59

高危文件识别的常用算法：原理、应用与企业场景

高危文件识别的常用算法&#xff1a;原理、应用与企业场景 高危文件识别旨在检测可能导致安全威胁的文件&#xff0c;如包含恶意代码、敏感数据或欺诈内容的文档&#xff0c;在企业协同办公环境中&#xff08;如Teams、Google Workspace&#xff09;尤为重要。结合大模型技术&…...

编程新知 2025/8/24 17:55:00

vue3 定时器-定义全局方法 vue+ts

1.创建ts文件 路径&#xff1a;src/utils/timer.ts 完整代码&#xff1a; import { onUnmounted } from vuetype TimerCallback (...args: any[]) > voidexport function useGlobalTimer() {const timers: Map<number, NodeJS.Timeout> new Map()// 创建定时器con…...

编程新知 2025/8/9 0:31:20

从零实现STL哈希容器：unordered_map/unordered_set封装详解

本篇文章是对C学习的STL哈希容器自主实现部分的学习分享 希望也能为你带来些帮助~ 那咱们废话不多说&#xff0c;直接开始吧&#xff01; 一、源码结构分析 1. SGISTL30实现剖析 // hash_set核心结构 template <class Value, class HashFcn, ...> class hash_set {ty…...

编程新知 2025/8/25 21:03:32

相机Camera日志分析之三十一：高通Camx HAL十种流程基础分析关键字汇总（后续持续更新中）

【关注我，后续持续新增专题博文，谢谢！！！】 上一篇我们讲了：有对最普通的场景进行各个日志注释讲解，但相机场景太多，日志差异也巨大。后面将展示各种场景下的日志。 通过notepad++打开场景下的日志，通过下列分类关键字搜索，即可清晰的分析不同场景的相机运行流程差异…...

编程新知 2025/7/25 23:24:13

Java多线程实现之Thread类深度解析

Java多线程实现之Thread类深度解析 一、多线程基础概念1.1 什么是线程1.2 多线程的优势1.3 Java多线程模型 二、Thread类的基本结构与构造函数2.1 Thread类的继承关系2.2 构造函数 三、创建和启动线程3.1 继承Thread类创建线程3.2 实现Runnable接口创建线程 四、Thread类的核心…...

编程新知 2025/8/28 21:52:02

回溯算法学习

一、电话号码的字母组合 import java.util.ArrayList; import java.util.List;import javax.management.loading.PrivateClassLoader;public class letterCombinations {private static final String[] KEYPAD {"", //0"", //1"abc", //2"…...

编程新知 2025/9/4 2:30:13

基于PHP的连锁酒店管理系统

有需要请加文章底部Q哦 可远程调试 基于PHP的连锁酒店管理系统 一 介绍 连锁酒店管理系统基于原生PHP开发&#xff0c;数据库mysql&#xff0c;前端bootstrap。系统角色分为用户和管理员。 技术栈 phpmysqlbootstrapphpstudyvscode 二 功能 用户 1 注册/登录/注销 2 个人中…...

编程新知 2025/9/3 20:37:55

Leetcode33（ 搜索旋转排序数组）

题目表述 整数数组 nums 按升序排列&#xff0c;数组中的值 互不相同 。 在传递给函数之前&#xff0c;nums 在预先未知的某个下标 k&#xff08;0 < k < nums.length&#xff09;上进行了 旋转&#xff0c;使数组变为 [nums[k], nums[k1], …, nums[n-1], nums[0], nu…...

编程新知 2025/7/6 1:54:27

如何配置一个sql server使得其它用户可以通过excel odbc获取数据

要让其他用户通过 Excel 使用 ODBC 连接到 SQL Server 获取数据&#xff0c;你需要完成以下配置步骤&#xff1a; ✅ 一、在 SQL Server 端配置&#xff08;服务器设置&#xff09; 1. 启用 TCP/IP 协议 打开 “SQL Server 配置管理器”。导航到&#xff1a;SQL Server 网络配…...

编程新知 2025/8/25 19:37:12