[Java框架] Java常用爬虫框架推荐
Selenium
GitHub 截止 2023年9月份 Star数量27.7K
Selenium是一款基于浏览器自动化的工具，它可以模拟用户在浏览器上的操作行为，并获取网页上的内容。Selenium支持多种浏览器，可以很好地处理JavaScript生成内容。但是Selenium相较于其他框架而言，运行速度较慢。
WebMagic
GitHub 截止 2023年9月份 Star数量10.9K
WebMagic是一款基于Java的分布式爬虫框架，它使用了多线程和异步IO等技术，可以高效地爬取网站数据。WebMagic提供了丰富的插件机制，支持自定义解析器、处理器等功能。但是需要注意的是，WebMagic并不支持JavaScript渲染页面。
Jsoup
GitHub 截止 2023年9月份 Star数量10.3K
Jsoup是一款Java HTML解析器，它提供了易于使用的API，使得我们能够从一个URL、文件或字符串中提取和处理数据。相较于其他框架，Jsoup更加便捷、简单，并且具有良好的可读性。但是如果需要处理JavaScript生成内容，则需要另外考虑。
Crawler4j
GitHub 截止 2023年9月份 Star数量4.4K
Crawler4j是一个开源的Java爬虫框架，它使用了多线程和内存缓存技术，并且可以自定义URL过滤器、解析器等功能。Crawler4j支持限制爬虫深度、设置爬取延时等功能，并且可以与Lucene等搜索引擎结合使用。但是需要注意的是，Crawler4j不支持JavaScript渲染页面。
Apache Nutch
GitHub 截止 2023年9月份 Star数量2.7K
Apache Nutch是一款基于Java的开源网络爬虫框架，它使用了多线程和分布式技术，并且支持自定义URL过滤器、解析器等功能。Apache Nutch可以很好地处理JavaScript生成内容，并且支持与Solr等搜索引擎结合使用。但是需要注意的是，Apache Nutch的学习曲线较为陡峭。
HtmlUnit
GitHub 截止 2023年9月份 Star数量731
HtmlUnit是一款基于Java的GUI-less浏览器，它可以模拟浏览器行为并获取网页上的内容。HtmlUnit支持JavaScript渲染页面，并且可以自定义请求头、Cookie等信息。但是需要注意的是，HtmlUnit相较于其他框架而言，运行速度较慢。
参考资料 & 致谢
[1] Java爬虫框架选择指南，轻松找到最适合你的框架
相关文章：
[Java框架] Java常用爬虫框架推荐
Selenium GitHub 截止 2023年9月份 Star数量27.7K Selenium是一款基于浏览器自动化的工具，它可以模拟用户在浏览器上的操作行为，并获取网页上的内容。Selenium支持多种浏览器，可以很好地处理JavaScript生成内容。但是Selenium相较于其他框架而…...
Kafka：安装与简单使用
文章目录 下载安装windows安装目录结构启动服务器创建主题发送一些消息启动消费者设置多代理集群常见问题 工具kafka tool 常用指令topic查看topic删除topic 常见问题参考文献 下载安装 下载地址：kafka-download windows安装 下载完后，找一个目录解压…...
029-从零搭建微服务-消息队列（一）
写在最前 如果这个项目让你有所收获，记得 Star 关注哦，这对我是非常不错的鼓励与支持。 源码地址（后端）：mingyue: 🎉 基于 Spring Boot、Spring Cloud & Alibaba 的分布式微服务架构基础服务中心 源…...
Python2020年06月Python二级 -- 编程题解析
题目一 数字转汉字 用户输入一个1~9（包含1和9）之间的任一数字，程序输出对应的汉字。 如输入2，程序输出“二”。可重复查询。 答案: 方法一 list1[一,二,三,四,五,六,七,八,九] while True:n int(input(请输入1~9之间任意一个数字…...
差分放大器的精髓：放大差模信号 抑制共模信号
参考如图基本的差分放大电路，在R1R2 R3R4的条件下，其输出与输入的关系为 ： 具体推导过程参考：差分运算放大器的放大倍数的计算及结论_正在黑化的KS的博客-CSDN博客 由这个式子我们可以发现，差分放大器放大的是同相端与…...
蓝桥等考Python组别九级006
第一部分：选择题 1、Python L9 （15分） 运行下面程序，可以输出几行“*”？（ ） for i in range(6): for j in range(7): print(*, end ) print() 5678 正确答案：B 2、Python …...
初级篇—第五章子查询
文章目录 什么是子查询需求分析与问题解决子查询的基本语法结构子查询的分类 单行子查询单行比较操作符代码示例HAVING 中的子查询CASE中的子查询子查询中的空值问题非法使用子查询 多行子查询多行比较操作符代码示例空值问题 相关子查询代码示例在ORDER BY 中使用子查询EXISTS…...
【AntDesign】封装全局异常处理-全局拦截器
[toc] 场景 本文前端用的是阿里的Ant-Design框架，其他框架也有全局拦截器，思路是相同，具体实现自行百度下吧 因为每次都需要调接口，都需要单独处理异常情况（code !0），因此前端需要对后端返回的…...
Visual Studio 代码显示空格等空白符
1.VS2010: 快捷键：CtrlR,W 2.VS2017、VS2019、VS2022： 工具 -> 选项 -> 文本编辑器 -> 显示 -> 勾选查看空白...
紫光同创FPGA图像视频采集系统，基于OV7725实现，提供工程源码和技术支持
目录 1、前言免责声明 2、设计思路框架视频源选择OV7725摄像头配置及采集动态彩条HDMA图像缓存输入输出视频HDMA缓冲FIFOHDMA控制模块HDMI输出 3、PDS工程详解4、上板调试验证并演示准备工作静态演示动态演示 5、福利：工程源码获取 紫光同创FPGA图像视频采集系统&am…...
京东大型API网关实践之路
概述 1、背景 京东作为电商平台，近几年用户、业务持续增长，访问量持续上升，随着这些业务的发展，API网关应运而生。 API网关，就是为了解放客户端与服务端而存在的。对于客户端，使开放给客户端的接口标准统…...
图像处理： 马赛克艺术
马赛克 第一章 马赛克的历史渊源 1.1 马赛克 艺术中的一种表面装饰，由紧密排列的、通常颜色各异的小块材料（如石头、矿物、玻璃、瓷砖或贝壳）组成。与镶嵌不同的是，镶嵌是将要应用的部件放置在已挖空以容纳设计的表面中࿰…...
postgresql-管理数据表
postgresql-管理数据表 创建表数据类型字段约束表级约束模式搜索路径 修改表添加字段删除字段添加约束删除约束修改字段默认值修改字段数据类型重命名字段重命名表 删除表 创建表 在 PostgreSQL 中，使用 CREATE TABLE 语句创建一个新表： CREATE TABLE …...
Llama2-Chinese项目：3.1-全量参数微调
提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式如下所示： "<s>Human: "问题"\n</s><s>Assistant: "答案举个例子，如下所…...
蓝桥等考Python组别十级001
第一部分：选择题 1、Python L10 （15分） 已知s = Hello!，下列说法正确的是（ ）。 s[1]对应的字符是Hs[2]对应的字符是ls[-1]对应的字符是os[3]对应的字符是o正确答案：B 2、Python L10 （15分） 运行下面程序，输入字符串“Banana”，输出的结果是&#x...
记录 Git 操作时遇到的问题及解决方案
目录 问题：git pull 时报错报错内容： ! [rejected] v1.0.3 -> v1.0.3 (would clobber existing tag)原因：本地 Git 仓库中已经存在名为 v1.0.3 和 v1.0.6 的标签了，而尝试从远程仓库（GitHub）拉取这些标签…...
第一届“龙信杯”电子数据取证竞赛Writeup
目录 移动终端取证 请分析涉案手机的设备标识是_______。（标准格式：12345678） 请确认嫌疑人首次安装目标APP的安装时间是______。（标准格式：2023-09-13.11:32:23） 此检材共连接过______个WiFi。&#x…...
Vue与React//双绑问题
Vue和React是两个目前最流行的前端框架，它们有一些区别主要区别如下： 响应式原理：Vue使用基于模板的方式进行双向绑定，其中使用了Vue自己实现的响应式系统。Vue能够通过追踪数据的依赖关系，自动更新DOM元素。而React采…...
信息安全第四周
社会工程学 社会工程学主要研究如何操纵人的心理和情感来获取机密信息或其他目标。它主要不是通过技术手段攻击计算机系统，而是通过心理学和人际交往技巧来欺骗人，使他们泄露密码、安全代码或其他敏感信息。社会工程学主要是一种安全风险，主要…...
机器学习基础概念与常见算法入门【机器学习、常见模型】
机器学习基础概念与算法 机器学习是计算机科学领域的一个分支，它致力于让计算机系统具备从数据中学习和改进的能力，而不需要显式地进行编程。与传统编程相比，机器学习有着根本性的不同之处。 机器学习与传统编程的不同 传统编程࿱…...
智慧医疗能源事业线深度画像分析（上）
引言 医疗行业作为现代社会的关键基础设施，其能源消耗与环境影响正日益受到关注。随着全球"双碳"目标的推进和可持续发展理念的深入，智慧医疗能源事业线应运而生，致力于通过创新技术与管理方案，重构医疗领域的能源使用模式。这一事业线融合了能源管理、可持续发…...
镜像里切换为普通用户
如果你登录远程虚拟机默认就是 root 用户，但你不希望用 root 权限运行 ns-3（这是对的，ns3 工具会拒绝 root），你可以按以下方法创建一个 非 root 用户账号 并切换到它运行 ns-3。 一次性解决方案：创建非 roo…...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序
一、开发环境准备 工具安装： 下载安装DevEco Studio 4.0（支持HarmonyOS 5）配置HarmonyOS SDK 5.0确保Node.js版本≥14 项目初始化： ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...
图表类系列各种样式PPT模版分享
图标图表系列PPT模版，柱状图PPT模版，线状图PPT模版，折线图PPT模版，饼状图PPT模版，雷达图PPT模版，树状图PPT模版 图表类系列各种样式PPT模版分享：图表系列PPT模板https://pan.quark.cn/s/20d40aa…...
在web-view 加载的本地及远程HTML中调用uniapp的API及网页和vue页面是如何通讯的？
uni-app 中 Web-view 与 Vue 页面的通讯机制详解 一、Web-view 简介 Web-view 是 uni-app 提供的一个重要组件，用于在原生应用中加载 HTML 页面： 支持加载本地 HTML 文件支持加载远程 HTML 页面实现 Web 与原生的双向通讯可用于嵌入第三方网页或 H5 应…...
无人机侦测与反制技术的进展与应用
国家电网无人机侦测与反制技术的进展与应用 引言 随着无人机（无人驾驶飞行器，UAV）技术的快速发展，其在商业、娱乐和军事领域的广泛应用带来了新的安全挑战。特别是对于关键基础设施如电力系统，无人机的“黑飞”&…...
Linux 中如何提取压缩文件 ？
Linux 是一种流行的开源操作系统，它提供了许多工具来管理、压缩和解压缩文件。压缩文件有助于节省存储空间，使数据传输更快。本指南将向您展示如何在 Linux 中提取不同类型的压缩文件。 1. Unpacking ZIP Files ZIP 文件是非常常见的，要在 …...
LangFlow技术架构分析
🔧 LangFlow 的可视化技术栈 前端节点编辑器 底层框架：基于 （一个现代化的 React 节点绘图库） 功能： 拖拽式构建 LangGraph 状态机 实时连线定义节点依赖关系 可视化调试循环和分支逻辑 与 LangGraph 的深…...
Kafka主题运维全指南：从基础配置到故障处理
#作者：张桐瑞 文章目录 主题日常管理1. 修改主题分区。2. 修改主题级别参数。3. 变更副本数。4. 修改主题限速。5.主题分区迁移。6. 常见主题错误处理常见错误1：主题删除失败。常见错误2：__consumer_offsets占用太多的磁盘。 主题日常管理 …...
提升移动端网页调试效率：WebDebugX 与常见工具组合实践
在日常移动端开发中，网页调试始终是一个高频但又极具挑战的环节。尤其在面对 iOS 与 Android 的混合技术栈、各种设备差异化行为时，开发者迫切需要一套高效、可靠且跨平台的调试方案。过去，我们或多或少使用过 Chrome DevTools、Remote Debug…...