当前位置： 首页 > news >正文

【爬虫】web自动化和接口自动化

news 2026/4/18 8:14:32

 专栏文章索引：爬虫

目录

一、介绍

二、推荐

1.接口自动化

2.Web自动化

一、介绍

爬虫技术一般可以分为两种类型：接口自动化和web自动化。下面是它们的简要介绍：

1.接口自动化

接口自动化技术的主要目的是通过模拟HTTP请求来实现自动化，通常用于测试web API和抓取数据。接口自动化爬虫可以直接访问数据接口获取数据，它可以通过发送规范的HTTP请求来实现数据的抓取和操作。接口自动化技术适用于需要大量抓取数据的需求，以及在抓取时对页面交互没有要求的场景。

综上所述，根据不同的需求和场景，可以选择适合自己的爬虫类型，分别应用Web自动化或接口自动化技术来进行网页数据的抓取和处理。

2.Web自动化

Web自动化技术旨在模拟人类操作浏览器来实现自动化，通常用于对网页进行操作和抓取数据。Web自动化爬虫可以通过自动化浏览器驱动，模拟人类的行为来实现数据的抓取和操作。Web自动化技术可以模拟页面操作、登陆、填表、拖拽等操作，非常适合于需要登录并模拟用户操作的网站、复杂的网页交互以及需要抓取动态网页数据的需求。

二、推荐

1.接口自动化

  • requests库

python的第三方库，目前使用比较多

2.Web自动化

  • Selenium

初学者可以先学习这个工具

  • DrissionPage

语法跟Selenium类似，由于出现的比较晚，检测还不是很严格

  • SaossionPage

DrissionPage的plus版

相关文章：

【爬虫】web自动化和接口自动化

专栏文章索引：爬虫 目录 一、介绍 二、推荐 1.接口自动化 2.Web自动化 一、介绍 爬虫技术一般可以分为两种类型：接口自动化和web自动化。下面是它们的简要介绍： 1.接口自动化 接口自动化技术的主要目的是通过模拟HTTP请求来实现自动化…...

编程日记 2024/3/21 14:29:23

哔哩哔哩后端Java一面

前言 作者：晓宜 个人简介：互联网大厂Java准入职，阿里云专家博主，csdn后端优质创作者，算法爱好者 最近各大公司的春招和实习招聘都开始了，这里分享下去年面试B站的的一些问题，希望对大家有所帮助…...

编程日记 2024/3/21 14:28:21

Vue.js前端开发零基础教学（二）

目录 前言 2.1 单文件组件 2.2 数据绑定 2.2.2 响应式数据绑定 2.3 指令 2.3.1 内容渲染指令 2.3.2 属性绑定指令 ​编辑 2.3.3 事件绑定指令 2.3.4 双向数据绑定指令 2.3.5 条件渲染指令 2.3.6 列表渲染指令 2.4 事件对象 2.5 事件修饰符 学习目标&am…...

编程日记 2024/3/21 14:27:20

Bert模型输出：last_hidden_state转换为pooler_output

1. BERT模型的输出 在BERT模型中，last_hidden_state和pooler_output是两个不同的输出。 (1) last_hidden_state: last_hidden_state是指BERT模型中最后一个隐藏层的隐藏状态。它是一个三维张量，其形状为[batch_size, sequence_length, hidden_size]。其…...

编程日记 2024/3/21 14:24:16

Docker Compose 基本语法

services 是顶级节点，也就是你要启动的服务全部放在这里。 MySOL就是我们预期中的一个服务。 mysql8:指的是我们这个服务叫 mysql8. image:我们这个服务里运行的是什么镜像，或者说跑的是什么。这里指定了使用 mysql:8.0.29 这个版本。 command:启动命令&…...

编程日记 2024/3/21 14:21:13

【算法集训】基础算法：贪心

1913. 两个数对之间的最大乘积差 void insertSort(int * a, int n) {for(int i 1; i < n; i) {int temp a[i];int j i - 1;while(j > 0 && temp < a[j]) {a[j 1] a[j];j--;}a[j 1] temp;} }int maxProductDifference(int* nums, int numsSize){insert…...

编程日记 2024/3/21 14:20:12

Centos7部署单节点MongoDB（V4.2.25）

&#x1f388; 作者&#xff1a;互联网-小啊宇 &#x1f388; 简介&#xff1a; CSDN 运维领域创作者、阿里云专家博主。目前从事 Kubernetes运维相关工作&#xff0c;擅长Linux系统运维、开源监控软件维护、Kubernetes容器技术、CI/CD持续集成、自动化运维、开源软件部署维护…...

编程日记 2024/3/21 14:19:11

隐私计算笔记（1）

一、可信流通体系 建立数据来源可确认、使用范围可界定、流通过程可追溯、安全风险可防范的数据可流通体系。 二、产生信任的基石 身份可确认利益可依赖能力有预期行为有后果 三、数据流通不可信风险 内循环&#xff1a;在内部循环中&#xff0c;数据持有方在其自身的运维…...

编程日记 2024/3/21 14:16:08

查询方法需要使用事务吗？

当数据库隔离级别是默认的可重复读&#xff08;Repeatable Read&#xff09;时&#xff0c;如果查询语句只有一条则不需要事务. 当有多条查询sql语句且需要确保多条sql语句处于同一时间维度时则需要使用事务来确保多条SQL语句处于同一时间节点. 相关知识点 mysql查询当前事务隔…...

编程日记 2024/3/21 14:15:07

剑指offer面试题40 数组中只出现一次的数字

考察点 异或运算&#xff0c;与运算知识点 题目 分析 本题目要求数组中只出现一次的俩个数字&#xff0c;并且要求O(1)时间复杂度和空间复杂度。试想一下如果只有一个数字出现一次&#xff0c;那么针对全部元素做异或运算就可以了&#xff0c;因为相同元素异或为0。现在有俩…...

编程日记 2024/3/21 14:13:03

gitLab server version 13.12.1 is not supported

拉代码的时候&#xff0c;报的这个错&#xff0c;实际上就是因为gitLab 版本太低了&#xff0c;这里不准备升级版本&#xff0c;打算继续使用账号密码来拉取代码 在idea已经安装的插件中&#xff0c;去掉gitlab插件&#xff0c;如下&#xff1a; 之后再拉取代码&#xff0c;就…...

编程日记 2024/3/21 14:12:02

如何在 iPhone 上使用蓝牙鼠标

iPhone 不支持使用传统的鼠标指针。 然而&#xff0c;有一个名为“AssistiveTouch”的功能可以在屏幕上模拟类似光标的指针。 启用它的方法如下&#xff1a; 打开 iPhone 上的“设置”应用程序。转到“辅助功能”。向下滚动并选择“触摸”。点击“辅助触控”。切换开关以打开 …...

编程日记 2024/3/21 14:10:00

matlab simulink 电力系统同步发电机励磁系统的建模与仿真

1、内容简介 略 77-可以交流、咨询、答疑 电力系统同步发电机励磁系统的建模与仿真 建立MATLAB的同步发电机励磁调节系统仿真模型&#xff0c;最后建立了以PID和PSS为励磁控制方式的同步发电机励磁调节系统数学模型&#xff0c;在Simulink环境下进行了仿真&#xff0c;收到…...

编程日记 2024/3/21 14:05:55

AI新工具(20240320) AI创作一首属于自己的音乐； 轻松制作具有透明背景的高质量图像

✨ 1: Suno AI创作一首属于自己的音乐 Suno是一个革命性的人工智能平台&#xff0c;专注于音乐创作。在通俗的语言中&#xff0c;Suno允许用户仅通过提供歌词&#xff0c;自动为其创作旋律和演唱&#xff0c;产生完整的音乐作品。使用Suno的过程简单直观&#xff0c;不需要用…...

编程日记 2024/3/21 14:03:52

IT服务ITIL4 认证：助力企业数字化转型的必杀技！

随着科技的不断展和企业竞争的加剧&#xff0c;如何实现数字化转型成为了当今企业面临的重要课题。而学习ITIL4认证&#xff0c;尤其是ITIL4中级&#xff0c;将为企业的数字化转型提供有力的支持和帮助。 ITIL4认证 ITIL&#xff08;Information Technology Infrastructure Li…...

编程日记 2024/3/21 14:01:50

微软聘请了谷歌DeepMind的联合创始人

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…...

编程日记 2024/3/21 13:58:47

JavaMySQL高级一(下)

目录 1.常用函数 1.字符串函数 2.时间日期函数 3.聚合函数 4.数学函数 2.分布查询 3.子查询基础 1.简单子查询 1.常用函数 在程序开发过程中&#xff0c;除了简单的数据查询&#xff0c;还有基于已数据进行数据的统计分析计算等需求。因此&#xff0c;在SQL中将一…...

编程日记 2024/3/21 13:57:45

HCIA复习

上面的文件里有思维导图哦~ 一、情景再现&#xff1a;ISP网络为学校提供了DNS服务&#xff0c;所以&#xff0c;DNS服务器驻留在ISP网络内&#xff0c;而不再学校网络内。DHCP服务器运行在学校网络的路由器上。 小明拿了一台电脑&#xff0c;通过网线&#xff0c;接入到校园网…...

编程日记 2024/3/21 13:55:42

5G里面NR，gNB，en-gNB，ng-eNB是什么意思

不得不提一个国际组织&#xff0c;叫国际电信联盟(ITU, International Telecommunication Union)&#xff0c;简称国际电联。我们先看看国际电联的自我介绍&#xff1a; 国际电信联盟 『国际电联 (国际电信联盟) 是主管信息通信技术事务&#xff08;ICT&#xff09;的联合国机…...

编程日记 2024/3/21 13:53:40

android 网络检测简单方法

如果连接的WiFi没有网络&#xff0c;无法通过简单的网络状态检查来判断其可用性。在这种情况下&#xff0c;你可以尝试使用以下方法来检测当前连接的WiFi是否可用&#xff1a; Ping测试&#xff1a;尝试通过向一个已知的可靠服务器发送Ping请求来检测连接的WiFi是否可用。如果…...

编程日记 2024/3/21 13:52:39

大模型推理流式响应卡顿诊断指南（2024实时通信性能黄金阈值清单）

第一章&#xff1a;大模型推理流式响应卡顿诊断指南&#xff08;2024实时通信性能黄金阈值清单&#xff09; 2026奇点智能技术大会(https://ml-summit.org) 流式响应卡顿是大模型服务上线后最易被终端用户感知的体验断层&#xff0c;其根源往往横跨网络传输、推理引擎调度、GP…...

编程新知 2026/4/18 6:51:34

Clawdbot效果展示：Qwen3-32B对PDF/Excel上传内容的结构化解析与问答能力

Clawdbot效果展示&#xff1a;Qwen3-32B对PDF/Excel上传内容的结构化解析与问答能力 1. 开篇&#xff1a;当AI真正"看懂"你的文件 你有没有遇到过这样的情况&#xff1a;下载了一份PDF报告&#xff0c;想要快速找到某个数据点&#xff1b;或者收到一个Excel表格&am…...

编程新知 2026/4/18 5:22:54

从源码层面理解Cookie：一次Chromium编译实战，揭秘浏览器会话保持的底层逻辑

从源码层面理解Cookie&#xff1a;一次Chromium编译实战&#xff0c;揭秘浏览器会话保持的底层逻辑 在数字世界的每一次跳转背后&#xff0c;都有一串看不见的"记忆碎片"在默默工作——这就是Cookie。对于普通用户而言&#xff0c;它可能只是登录状态的保持者&#x…...

编程新知 2026/4/18 5:12:31

printf-tac-toe代码解析：深入理解printf导向编程的奥秘

printf-tac-toe代码解析&#xff1a;深入理解printf导向编程的奥秘 【免费下载链接】printf-tac-toe tic-tac-toe in a single call to printf 项目地址: https://gitcode.com/gh_mirrors/pr/printf-tac-toe printf-tac-toe是一个令人惊叹的开源项目&#xff0c;它仅通过…...

编程新知 2026/4/18 4:31:13

PyTorch迁移学习避坑指南：修改SqueezeNet分类层时别忘了改这个隐藏参数

PyTorch迁移学习避坑指南&#xff1a;修改SqueezeNet分类层时别忘了改这个隐藏参数 在深度学习领域&#xff0c;迁移学习已经成为提升模型性能的利器。PyTorch作为当前最受欢迎的深度学习框架之一&#xff0c;其丰富的预训练模型库让开发者能够快速实现各种计算机视觉任务。然而…...

编程新知 2026/4/18 3:40:27

射频工程师避坑指南：微带线匹配中，你的短截线长度算对了吗？（附ADS仿真对比）

射频工程师实战&#xff1a;微带线短截线长度计算中的三大陷阱与仿真验证 在5G和毫米波应用爆发的今天&#xff0c;微带线阻抗匹配网络的设计精度直接决定了射频前端的性能上限。许多工程师在理论计算阶段信心满满&#xff0c;却在PCB实测时遭遇驻波比恶化、效率骤降的困境——…...

编程新知 2026/4/18 2:39:20

B站视频下载神器：轻松保存4K高清视频的完整指南

B站视频下载神器&#xff1a;轻松保存4K高清视频的完整指南 【免费下载链接】bilibili-downloader B站视频下载&#xff0c;支持下载大会员清晰度4K&#xff0c;持续更新中 项目地址: https://gitcode.com/gh_mirrors/bil/bilibili-downloader 你是否曾遇到过这样的情况…...

编程新知 2026/4/18 0:02:58

Kompute安全编程：保护GPU计算免受恶意攻击的7个防护措施

Kompute安全编程&#xff1a;保护GPU计算免受恶意攻击的7个防护措施 【免费下载链接】kompute General purpose GPU compute framework built on Vulkan to support 1000s of cross vendor graphics cards (AMD, Qualcomm, NVIDIA & friends). Blazing fast, mobile-enable…...

编程新知 2026/4/17 23:58:57

TC397以太网开发实战：从零配置GETH模块到RGMII引脚调试全流程

TC397以太网开发实战&#xff1a;从零配置GETH模块到RGMII引脚调试全流程 1. 开发环境搭建与硬件准备 在开始TC397的以太网功能开发前&#xff0c;需要做好以下准备工作&#xff1a; 硬件清单&#xff1a; KIT-A2G-TC397-5V-TFT开发板RTL8211F PHY芯片评估板&#xff08;或兼容…...

编程新知 2026/4/17 23:48:36

Power Query功能区 - 视图

Power Query功能区 - 视图布局查询设置就是右侧这个框框&#xff0c;用来看应用的步骤的。编辑栏这个就是编辑栏数据预览显示空白Power Query 默认不显示空白字符&#xff08;比如空格&#xff09;需要开启“显示空白”&#xff0c;才能清楚看到空白字符&#xff08;包括数量和…...

编程新知 2026/4/17 23:26:06