[Java框架] Java常用爬虫框架推荐
Selenium
GitHub 截止 2023年9月份 Star数量27.7K
Selenium是一款基于浏览器自动化的工具，它可以模拟用户在浏览器上的操作行为，并获取网页上的内容。Selenium支持多种浏览器，可以很好地处理JavaScript生成内容。但是Selenium相较于其他框架而言，运行速度较慢。
WebMagic
GitHub 截止 2023年9月份 Star数量10.9K
WebMagic是一款基于Java的分布式爬虫框架，它使用了多线程和异步IO等技术，可以高效地爬取网站数据。WebMagic提供了丰富的插件机制，支持自定义解析器、处理器等功能。但是需要注意的是，WebMagic并不支持JavaScript渲染页面。
Jsoup
GitHub 截止 2023年9月份 Star数量10.3K
Jsoup是一款Java HTML解析器，它提供了易于使用的API，使得我们能够从一个URL、文件或字符串中提取和处理数据。相较于其他框架，Jsoup更加便捷、简单，并且具有良好的可读性。但是如果需要处理JavaScript生成内容，则需要另外考虑。
Crawler4j
GitHub 截止 2023年9月份 Star数量4.4K
Crawler4j是一个开源的Java爬虫框架，它使用了多线程和内存缓存技术，并且可以自定义URL过滤器、解析器等功能。Crawler4j支持限制爬虫深度、设置爬取延时等功能，并且可以与Lucene等搜索引擎结合使用。但是需要注意的是，Crawler4j不支持JavaScript渲染页面。
Apache Nutch
GitHub 截止 2023年9月份 Star数量2.7K
Apache Nutch是一款基于Java的开源网络爬虫框架，它使用了多线程和分布式技术，并且支持自定义URL过滤器、解析器等功能。Apache Nutch可以很好地处理JavaScript生成内容，并且支持与Solr等搜索引擎结合使用。但是需要注意的是，Apache Nutch的学习曲线较为陡峭。
HtmlUnit
GitHub 截止 2023年9月份 Star数量731
HtmlUnit是一款基于Java的GUI-less浏览器，它可以模拟浏览器行为并获取网页上的内容。HtmlUnit支持JavaScript渲染页面，并且可以自定义请求头、Cookie等信息。但是需要注意的是，HtmlUnit相较于其他框架而言，运行速度较慢。
参考资料 & 致谢
[1] Java爬虫框架选择指南，轻松找到最适合你的框架
相关文章：
[Java框架] Java常用爬虫框架推荐
Selenium GitHub 截止 2023年9月份 Star数量27.7K Selenium是一款基于浏览器自动化的工具，它可以模拟用户在浏览器上的操作行为，并获取网页上的内容。Selenium支持多种浏览器，可以很好地处理JavaScript生成内容。但是Selenium相较于其他框架而…...
Kafka：安装与简单使用
文章目录 下载安装windows安装目录结构启动服务器创建主题发送一些消息启动消费者设置多代理集群常见问题 工具kafka tool 常用指令topic查看topic删除topic 常见问题参考文献 下载安装 下载地址：kafka-download windows安装 下载完后，找一个目录解压…...
029-从零搭建微服务-消息队列（一）
写在最前 如果这个项目让你有所收获，记得 Star 关注哦，这对我是非常不错的鼓励与支持。 源码地址（后端）：mingyue: 🎉 基于 Spring Boot、Spring Cloud & Alibaba 的分布式微服务架构基础服务中心 源…...
Python2020年06月Python二级 -- 编程题解析
题目一 数字转汉字 用户输入一个1~9（包含1和9）之间的任一数字，程序输出对应的汉字。 如输入2，程序输出“二”。可重复查询。 答案: 方法一 list1[一,二,三,四,五,六,七,八,九] while True:n int(input(请输入1~9之间任意一个数字…...
差分放大器的精髓：放大差模信号 抑制共模信号
参考如图基本的差分放大电路，在R1R2 R3R4的条件下，其输出与输入的关系为 ： 具体推导过程参考：差分运算放大器的放大倍数的计算及结论_正在黑化的KS的博客-CSDN博客 由这个式子我们可以发现，差分放大器放大的是同相端与…...
蓝桥等考Python组别九级006
第一部分：选择题 1、Python L9 （15分） 运行下面程序，可以输出几行“*”？（ ） for i in range(6): for j in range(7): print(*, end ) print() 5678 正确答案：B 2、Python …...
初级篇—第五章子查询
文章目录 什么是子查询需求分析与问题解决子查询的基本语法结构子查询的分类 单行子查询单行比较操作符代码示例HAVING 中的子查询CASE中的子查询子查询中的空值问题非法使用子查询 多行子查询多行比较操作符代码示例空值问题 相关子查询代码示例在ORDER BY 中使用子查询EXISTS…...
【AntDesign】封装全局异常处理-全局拦截器
[toc] 场景 本文前端用的是阿里的Ant-Design框架，其他框架也有全局拦截器，思路是相同，具体实现自行百度下吧 因为每次都需要调接口，都需要单独处理异常情况（code !0），因此前端需要对后端返回的…...
Visual Studio 代码显示空格等空白符
1.VS2010: 快捷键：CtrlR,W 2.VS2017、VS2019、VS2022： 工具 -> 选项 -> 文本编辑器 -> 显示 -> 勾选查看空白...
紫光同创FPGA图像视频采集系统，基于OV7725实现，提供工程源码和技术支持
目录 1、前言免责声明 2、设计思路框架视频源选择OV7725摄像头配置及采集动态彩条HDMA图像缓存输入输出视频HDMA缓冲FIFOHDMA控制模块HDMI输出 3、PDS工程详解4、上板调试验证并演示准备工作静态演示动态演示 5、福利：工程源码获取 紫光同创FPGA图像视频采集系统&am…...
京东大型API网关实践之路
概述 1、背景 京东作为电商平台，近几年用户、业务持续增长，访问量持续上升，随着这些业务的发展，API网关应运而生。 API网关，就是为了解放客户端与服务端而存在的。对于客户端，使开放给客户端的接口标准统…...
图像处理： 马赛克艺术
马赛克 第一章 马赛克的历史渊源 1.1 马赛克 艺术中的一种表面装饰，由紧密排列的、通常颜色各异的小块材料（如石头、矿物、玻璃、瓷砖或贝壳）组成。与镶嵌不同的是，镶嵌是将要应用的部件放置在已挖空以容纳设计的表面中࿰…...
postgresql-管理数据表
postgresql-管理数据表 创建表数据类型字段约束表级约束模式搜索路径 修改表添加字段删除字段添加约束删除约束修改字段默认值修改字段数据类型重命名字段重命名表 删除表 创建表 在 PostgreSQL 中，使用 CREATE TABLE 语句创建一个新表： CREATE TABLE …...
Llama2-Chinese项目：3.1-全量参数微调
提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式如下所示： "<s>Human: "问题"\n</s><s>Assistant: "答案举个例子，如下所…...
蓝桥等考Python组别十级001
第一部分：选择题 1、Python L10 （15分） 已知s = Hello!，下列说法正确的是（ ）。 s[1]对应的字符是Hs[2]对应的字符是ls[-1]对应的字符是os[3]对应的字符是o正确答案：B 2、Python L10 （15分） 运行下面程序，输入字符串“Banana”，输出的结果是&#x...
记录 Git 操作时遇到的问题及解决方案
目录 问题：git pull 时报错报错内容： ! [rejected] v1.0.3 -> v1.0.3 (would clobber existing tag)原因：本地 Git 仓库中已经存在名为 v1.0.3 和 v1.0.6 的标签了，而尝试从远程仓库（GitHub）拉取这些标签…...
第一届“龙信杯”电子数据取证竞赛Writeup
目录 移动终端取证 请分析涉案手机的设备标识是_______。（标准格式：12345678） 请确认嫌疑人首次安装目标APP的安装时间是______。（标准格式：2023-09-13.11:32:23） 此检材共连接过______个WiFi。&#x…...
Vue与React//双绑问题
Vue和React是两个目前最流行的前端框架，它们有一些区别主要区别如下： 响应式原理：Vue使用基于模板的方式进行双向绑定，其中使用了Vue自己实现的响应式系统。Vue能够通过追踪数据的依赖关系，自动更新DOM元素。而React采…...
信息安全第四周
社会工程学 社会工程学主要研究如何操纵人的心理和情感来获取机密信息或其他目标。它主要不是通过技术手段攻击计算机系统，而是通过心理学和人际交往技巧来欺骗人，使他们泄露密码、安全代码或其他敏感信息。社会工程学主要是一种安全风险，主要…...
机器学习基础概念与常见算法入门【机器学习、常见模型】
机器学习基础概念与算法 机器学习是计算机科学领域的一个分支，它致力于让计算机系统具备从数据中学习和改进的能力，而不需要显式地进行编程。与传统编程相比，机器学习有着根本性的不同之处。 机器学习与传统编程的不同 传统编程࿱…...
微软PowerBI考试 PL300-选择 Power BI 模型框架【附练习数据】
微软PowerBI考试 PL300-选择 Power BI 模型框架 20 多年来，Microsoft 持续对企业商业智能 (BI) 进行大量投资。 Azure Analysis Services (AAS) 和 SQL Server Analysis Services (SSAS) 基于无数企业使用的成熟的 BI 数据建模技术。 同样的技术也是 Power BI 数据…...
华为OD机试-食堂供餐-二分法
import java.util.Arrays; import java.util.Scanner;public class DemoTest3 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseint a in.nextIn…...
中医有效性探讨
文章目录 西医是如何发展到以生物化学为药理基础的现代医学？传统医学奠基期（远古 - 17 世纪）近代医学转型期（17 世纪 - 19 世纪末）现代医学成熟期（20世纪至今） 中医的源远流长和一脉相承远古至…...
基于PHP的连锁酒店管理系统
有需要请加文章底部Q哦 可远程调试 基于PHP的连锁酒店管理系统 一 介绍 连锁酒店管理系统基于原生PHP开发，数据库mysql，前端bootstrap。系统角色分为用户和管理员。 技术栈 phpmysqlbootstrapphpstudyvscode 二 功能 用户 1 注册/登录/注销 2 个人中…...
Linux系统部署KES
1、安装准备 1.版本说明V008R006C009B0014 V008：是version产品的大版本。 R006：是release产品特性版本。 C009：是通用版 B0014：是build开发过程中的构建版本2.硬件要求 #安全版和企业版 内存：1GB 以上 硬盘…...
pikachu靶场通关笔记19 SQL注入02-字符型注入(GET)
目录 一、SQL注入 二、字符型SQL注入 三、字符型注入与数字型注入 四、源码分析 五、渗透实战 1、渗透准备 2、SQL注入探测 （1）输入单引号 （2）万能注入语句 3、获取回显列orderby 4、获取数据库名database 5、获取表名…...
0x-3-Oracle 23 ai-sqlcl 25.1 集成安装-配置和优化
是不是受够了安装了oracle database之后sqlplus的简陋，无法删除无法上下翻页的苦恼。 可以安装readline和rlwrap插件的话，配置.bahs_profile后也能解决上下翻页这些，但是很多生产环境无法安装rpm包。 oracle提供了sqlcl免费许可，…...
C++_哈希表
本篇文章是对C学习的哈希表部分的学习分享 相信一定会对你有所帮助~ 那咱们废话不多说，直接开始吧！ 一、基础概念 1. 哈希核心思想： 哈希函数的作用：通过此函数建立一个Key与存储位置之间的映射关系。理想目标：实现…...
WebRTC调研
WebRTC是什么，为什么，如何使用 WebRTC有什么优势 WebRTC Architecture Amazon KVS WebRTC 其它厂商WebRTC 海康门禁WebRTC 海康门禁其他界面整理 威视通WebRTC 局域网 Google浏览器 Microsoft Edge 公网 RTSP RTMP NVR ONVIF SIP SRT WebRTC协…...
React核心概念：State是什么？如何用useState管理组件自己的数据？
系列回顾： 在上一篇《React入门第一步》中，我们已经成功创建并运行了第一个React项目。我们学会了用Vite初始化项目，并修改了App.jsx组件，让页面显示出我们想要的文字。但是，那个页面是“死”的，它只是静态…...