Java：爬虫框架

一、Apache Nutch2 【参考地址】

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。

Nutch 致力于让每个人能很容易, 同时花费很少就可以配置世界一流的Web搜索引擎. 为了完成这一宏伟的目标, Nutch必须能够做到:

1. 每个月取几十亿网页
2. 为这些网页维护一个索引
3. 对索引文件进行每秒上千次的搜索
4. 提供高质量的搜索结果

简单来说Nutch支持分布式，可以通过配置网站地址、规则、以及采集的深度(通用爬虫或全网爬虫)对网站进行采集，并提供了全文检索功能，可以对采集下来的海量数据进行全文检索；假如您想完成对站点所有内容进行采集，且不在乎采集和解析精度(不对特定页面特定字段内容采集)的需求，建议你使用Apache Nutch,假如您想对站点的指定内容板块指定字段采集，建议您使用垂直爬虫较为灵活。

二、Webmgaic【参考地址】- 推荐

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。

1. 简单的API，可快速上手
2. 模块化的结构，可轻松扩展
3. 提供多线程和分布式支持

三、Heritrix【参考地址】

Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。

四、WebCollector【参考地址】

WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本，支持分布式爬取。

五、Crawler4j【参考地址】

Crawler4j是一款基于Java的轻量级单机开源爬虫框架，最大的一个特点就是简单。另外也支持多线程、支持代理、可以过滤重复URL

基本上从加载jar到工程里面 通过修改示例的代码就可以简单的实现一个爬虫的全部功能，而这一切动作加起来都不需要超过半个小时。

六、Spiderman【参考地址】

Spiderman 是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有用的数据。 Spiderman主要是运用了像XPath、正则、表达式引擎等这些技术来实现数据抽取。

七、SeimiCrawler【参考地址】- 支持SpringBoot

一个敏捷的，独立部署的，支持分布式的Java爬虫框架

SeimiCrawler是一个强大的，高效敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里，绝大多数人只需关心去写抓取的业务逻辑就够了，其余的Seimi帮你搞定。设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发很大，同时融合了Java语言本身特点与Spring的特性，并希望在国内更方便且普遍的使用更有效率的XPath解析HTML，所以SeimiCrawler默认的HTML解析器是JsoupXpath,默认解析提取HTML数据工作均使用XPath来完成（当然，数据处理亦可以自行选择其他解析器）。

八、Jsoup【参考地址】

Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

九、Htmlunit【参考地址】

实际运用参考 Go~ Java：爬虫htmlunit实践_java htmlunit 爬虫翻页-CSDN博客