当前位置： 首页 > news >正文

[Java框架] Java常用爬虫框架推荐

news 2026/2/11 4:17:35

Selenium

GitHub 截止 2023年9月份 Star数量27.7K
Selenium是一款基于浏览器自动化的工具，它可以模拟用户在浏览器上的操作行为，并获取网页上的内容。Selenium支持多种浏览器，可以很好地处理JavaScript生成内容。但是Selenium相较于其他框架而言，运行速度较慢。

WebMagic

GitHub 截止 2023年9月份 Star数量10.9K
WebMagic是一款基于Java的分布式爬虫框架，它使用了多线程和异步IO等技术，可以高效地爬取网站数据。WebMagic提供了丰富的插件机制，支持自定义解析器、处理器等功能。但是需要注意的是，WebMagic并不支持JavaScript渲染页面。

Jsoup

GitHub 截止 2023年9月份 Star数量10.3K
Jsoup是一款Java HTML解析器，它提供了易于使用的API，使得我们能够从一个URL、文件或字符串中提取和处理数据。相较于其他框架，Jsoup更加便捷、简单，并且具有良好的可读性。但是如果需要处理JavaScript生成内容，则需要另外考虑。

Crawler4j

GitHub 截止 2023年9月份 Star数量4.4K
Crawler4j是一个开源的Java爬虫框架，它使用了多线程和内存缓存技术，并且可以自定义URL过滤器、解析器等功能。Crawler4j支持限制爬虫深度、设置爬取延时等功能，并且可以与Lucene等搜索引擎结合使用。但是需要注意的是，Crawler4j不支持JavaScript渲染页面。

Apache Nutch

GitHub 截止 2023年9月份 Star数量2.7K
Apache Nutch是一款基于Java的开源网络爬虫框架，它使用了多线程和分布式技术，并且支持自定义URL过滤器、解析器等功能。Apache Nutch可以很好地处理JavaScript生成内容，并且支持与Solr等搜索引擎结合使用。但是需要注意的是，Apache Nutch的学习曲线较为陡峭。

HtmlUnit

GitHub 截止 2023年9月份 Star数量731
HtmlUnit是一款基于Java的GUI-less浏览器，它可以模拟浏览器行为并获取网页上的内容。HtmlUnit支持JavaScript渲染页面，并且可以自定义请求头、Cookie等信息。但是需要注意的是，HtmlUnit相较于其他框架而言，运行速度较慢。

参考资料 & 致谢

[1] Java爬虫框架选择指南，轻松找到最适合你的框架

相关文章：

[Java框架] Java常用爬虫框架推荐

Selenium GitHub 截止 2023年9月份 Star数量27.7K Selenium是一款基于浏览器自动化的工具，它可以模拟用户在浏览器上的操作行为，并获取网页上的内容。Selenium支持多种浏览器，可以很好地处理JavaScript生成内容。但是Selenium相较于其他框架而…...

编程日记 2023/10/1 5:29:44

Kafka：安装与简单使用

文章目录 下载安装windows安装目录结构启动服务器创建主题发送一些消息启动消费者设置多代理集群常见问题 工具kafka tool 常用指令topic查看topic删除topic 常见问题参考文献 下载安装 下载地址：kafka-download windows安装 下载完后，找一个目录解压…...

编程日记 2023/10/1 5:28:43

029-从零搭建微服务-消息队列（一）

写在最前 如果这个项目让你有所收获，记得 Star 关注哦，这对我是非常不错的鼓励与支持。 源码地址（后端）：mingyue: 🎉 基于 Spring Boot、Spring Cloud & Alibaba 的分布式微服务架构基础服务中心 源…...

编程日记 2023/10/1 5:27:43

Python2020年06月Python二级 -- 编程题解析

题目一 数字转汉字 用户输入一个1~9（包含1和9）之间的任一数字，程序输出对应的汉字。 如输入2，程序输出“二”。可重复查询。 答案: 方法一 list1[一,二,三,四,五,六,七,八,九] while True:n int(input(请输入1~9之间任意一个数字…...

编程日记 2023/10/1 5:26:41

差分放大器的精髓：放大差模信号 抑制共模信号

参考如图基本的差分放大电路，在R1R2 R3R4的条件下，其输出与输入的关系为 ： 具体推导过程参考：差分运算放大器的放大倍数的计算及结论_正在黑化的KS的博客-CSDN博客 由这个式子我们可以发现，差分放大器放大的是同相端与…...

编程日记 2023/10/1 5:25:41

蓝桥等考Python组别九级006

第一部分：选择题 1、Python L9 （15分） 运行下面程序，可以输出几行“*”？（ ） for i in range(6): for j in range(7): print(*, end ) print() 5678 正确答案：B 2、Python …...

编程日记 2023/10/1 5:23:38

初级篇—第五章子查询

文章目录 什么是子查询需求分析与问题解决子查询的基本语法结构子查询的分类 单行子查询单行比较操作符代码示例HAVING 中的子查询CASE中的子查询子查询中的空值问题非法使用子查询 多行子查询多行比较操作符代码示例空值问题 相关子查询代码示例在ORDER BY 中使用子查询EXISTS…...

编程日记 2023/10/1 5:20:35

【AntDesign】封装全局异常处理-全局拦截器

[toc] 场景 本文前端用的是阿里的Ant-Design框架，其他框架也有全局拦截器，思路是相同，具体实现自行百度下吧 因为每次都需要调接口，都需要单独处理异常情况（code !0），因此前端需要对后端返回的…...

编程日记 2023/10/1 5:19:34

Visual Studio 代码显示空格等空白符

1.VS2010: 快捷键：CtrlR,W 2.VS2017、VS2019、VS2022： 工具 -> 选项 -> 文本编辑器 -> 显示 -> 勾选查看空白...

编程日记 2023/10/1 5:17:33

紫光同创FPGA图像视频采集系统，基于OV7725实现，提供工程源码和技术支持

目录 1、前言免责声明 2、设计思路框架视频源选择OV7725摄像头配置及采集动态彩条HDMA图像缓存输入输出视频HDMA缓冲FIFOHDMA控制模块HDMI输出 3、PDS工程详解4、上板调试验证并演示准备工作静态演示动态演示 5、福利：工程源码获取 紫光同创FPGA图像视频采集系统&am…...

编程日记 2023/10/1 5:10:27

京东大型API网关实践之路

概述 1、背景 京东作为电商平台，近几年用户、业务持续增长，访问量持续上升，随着这些业务的发展，API网关应运而生。 API网关，就是为了解放客户端与服务端而存在的。对于客户端，使开放给客户端的接口标准统…...

编程日记 2023/10/1 5:06:23

图像处理： 马赛克艺术

马赛克 第一章 马赛克的历史渊源 1.1 马赛克 艺术中的一种表面装饰，由紧密排列的、通常颜色各异的小块材料（如石头、矿物、玻璃、瓷砖或贝壳）组成。与镶嵌不同的是，镶嵌是将要应用的部件放置在已挖空以容纳设计的表面中&#xff0…...

编程日记 2023/10/1 5:05:22

postgresql-管理数据表

postgresql-管理数据表 创建表数据类型字段约束表级约束模式搜索路径 修改表添加字段删除字段添加约束删除约束修改字段默认值修改字段数据类型重命名字段重命名表 删除表 创建表 在 PostgreSQL 中，使用 CREATE TABLE 语句创建一个新表： CREATE TABLE …...

编程日记 2023/10/1 5:04:21

Llama2-Chinese项目：3.1-全量参数微调

提供LoRA微调和全量参数微调代码&#xff0c;训练数据为data/train_sft.csv&#xff0c;验证数据为data/dev_sft.csv&#xff0c;数据格式如下所示&#xff1a; "<s>Human: "问题"\n</s><s>Assistant: "答案举个例子&#xff0c;如下所…...

编程日记 2023/10/1 5:03:20

蓝桥等考Python组别十级001

第一部分：选择题 1、Python L10 （15分） 已知s = Hello!，下列说法正确的是（ ）。 s[1]对应的字符是Hs[2]对应的字符是ls[-1]对应的字符是os[3]对应的字符是o正确答案：B 2、Python L10 （15分） 运行下面程序，输入字符串“Banana”，输出的结果是&#x...

编程日记 2023/10/1 5:02:20

记录 Git 操作时遇到的问题及解决方案

目录 问题&#xff1a;git pull 时报错报错内容&#xff1a; ! [rejected] v1.0.3 -> v1.0.3 (would clobber existing tag)原因&#xff1a;本地 Git 仓库中已经存在名为 v1.0.3 和 v1.0.6 的标签了&#xff0c;而尝试从远程仓库&#xff08;GitHub&#xff09;拉取这些标签…...

编程日记 2023/10/1 5:01:18

第一届“龙信杯”电子数据取证竞赛Writeup

目录 移动终端取证 请分析涉案手机的设备标识是_______。&#xff08;标准格式&#xff1a;12345678&#xff09; 请确认嫌疑人首次安装目标APP的安装时间是______。&#xff08;标准格式&#xff1a;2023-09-13.11:32:23&#xff09; 此检材共连接过______个WiFi。&#x…...

编程日记 2023/10/1 5:00:18

Vue与React//双绑问题

Vue和React是两个目前最流行的前端框架&#xff0c;它们有一些区别主要区别如下&#xff1a; 响应式原理&#xff1a;Vue使用基于模板的方式进行双向绑定&#xff0c;其中使用了Vue自己实现的响应式系统。Vue能够通过追踪数据的依赖关系&#xff0c;自动更新DOM元素。而React采…...

编程日记 2023/10/1 4:59:16

信息安全第四周

社会工程学 社会工程学主要研究如何操纵人的心理和情感来获取机密信息或其他目标。它主要不是通过技术手段攻击计算机系统&#xff0c;而是通过心理学和人际交往技巧来欺骗人&#xff0c;使他们泄露密码、安全代码或其他敏感信息。社会工程学主要是一种安全风险&#xff0c;主要…...

编程日记 2023/10/1 4:56:14

机器学习基础概念与常见算法入门【机器学习、常见模型】

机器学习基础概念与算法 机器学习是计算机科学领域的一个分支&#xff0c;它致力于让计算机系统具备从数据中学习和改进的能力&#xff0c;而不需要显式地进行编程。与传统编程相比&#xff0c;机器学习有着根本性的不同之处。 机器学习与传统编程的不同 传统编程&#xff1…...

编程日记 2023/10/1 4:55:13

云原生核心技术 (7/12): K8s 核心概念白话解读(上)：Pod 和 Deployment 究竟是什么？

大家好&#xff0c;欢迎来到《云原生核心技术》系列的第七篇&#xff01; 在上一篇&#xff0c;我们成功地使用 Minikube 或 kind 在自己的电脑上搭建起了一个迷你但功能完备的 Kubernetes 集群。现在&#xff0c;我们就像一个拥有了一块崭新数字土地的农场主&#xff0c;是时…...

编程新知 2025/12/14 22:32:59

【Linux】C语言执行shell指令

在C语言中执行Shell指令 在C语言中&#xff0c;有几种方法可以执行Shell指令&#xff1a; 1. 使用system()函数 这是最简单的方法&#xff0c;包含在stdlib.h头文件中&#xff1a; #include <stdlib.h>int main() {system("ls -l"); // 执行ls -l命令retu…...

编程新知 2025/11/20 18:42:48

【HarmonyOS 5.0】DevEco Testing：鸿蒙应用质量保障的终极武器

——全方位测试解决方案与代码实战 一、工具定位与核心能力 DevEco Testing是HarmonyOS官方推出的​​一体化测试平台​​&#xff0c;覆盖应用全生命周期测试需求&#xff0c;主要提供五大核心能力&#xff1a; ​​测试类型​​​​检测目标​​​​关键指标​​功能体验基…...

编程新知 2026/1/28 8:17:53

UE5 学习系列（三）创建和移动物体

这篇博客是该系列的第三篇&#xff0c;是在之前两篇博客的基础上展开&#xff0c;主要介绍如何在操作界面中创建和拖动物体&#xff0c;这篇博客跟随的视频链接如下&#xff1a; B 站视频&#xff1a;s03-创建和移动物体 如果你不打算开之前的博客并且对UE5 比较熟的话按照以…...

编程新知 2026/1/24 10:00:31

【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张（Windows/Linux）

要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况&#xff0c;可以通过以下几种方式模拟或触发&#xff1a; 1. 增加CPU负载 运行大量计算密集型任务&#xff0c;例如&#xff1a; 使用多线程循环执行复杂计算&#xff08;如数学运算、加密解密等&#xff09;。运行图…...

编程新知 2025/11/30 10:30:15

[Java恶补day16] 238.除自身以外数组的乘积

给你一个整数数组 nums&#xff0c;返回 数组 answer &#xff0c;其中 answer[i] 等于 nums 中除 nums[i] 之外其余各元素的乘积 。 题目数据 保证 数组 nums之中任意元素的全部前缀元素和后缀的乘积都在 32 位 整数范围内。 请 不要使用除法&#xff0c;且在 O(n) 时间复杂度…...

编程新知 2025/10/3 13:53:38

dify打造数据可视化图表

一、概述 在日常工作和学习中&#xff0c;我们经常需要和数据打交道。无论是分析报告、项目展示&#xff0c;还是简单的数据洞察&#xff0c;一个清晰直观的图表&#xff0c;往往能胜过千言万语。 一款能让数据可视化变得超级简单的 MCP Server&#xff0c;由蚂蚁集团 AntV 团队…...

编程新知 2026/1/20 20:10:03

GC1808高性能24位立体声音频ADC芯片解析

1. 芯片概述 GC1808是一款24位立体声音频模数转换器&#xff08;ADC&#xff09;&#xff0c;支持8kHz~96kHz采样率&#xff0c;集成Δ-Σ调制器、数字抗混叠滤波器和高通滤波器&#xff0c;适用于高保真音频采集场景。 2. 核心特性 高精度&#xff1a;24位分辨率&#xff0c…...

编程新知 2026/1/27 4:58:14

HarmonyOS运动开发：如何用mpchart绘制运动配速图表

##鸿蒙核心技术##运动开发##Sensor Service Kit&#xff08;传感器服务&#xff09;# 前言 在运动类应用中&#xff0c;运动数据的可视化是提升用户体验的重要环节。通过直观的图表展示运动过程中的关键数据&#xff0c;如配速、距离、卡路里消耗等&#xff0c;用户可以更清晰…...

编程新知 2026/2/2 7:49:59

【7色560页】职场可视化逻辑图高级数据分析PPT模版

7种色调职场工作汇报PPT&#xff0c;橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版&#xff1a;职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...

编程新知 2026/1/23 12:22:14