Java 数据抓取

大家好我是苏麟 , 今天聊聊数据抓取 . 

大家合理使用

注意，爬虫技术不能滥用，干万不要给别人的系统造成压力、不要侵犯他人权益!

数据抓取

实质上就是java程序模拟浏览器进行目标网站的访问，无论是请求目标服务器的接口还是请求目标网页内容，都是要在java程序中对数据进行解析。最简单的抓取方式有httpclient请求目标服务器接口，jsoup请求目标页面内容，把请求的数据进行解析然后入库。另外要做好爬取的实时监控，如果URL请求失败3次，就放弃该URL的抓取。

获取不同类型的数据源

数据抓取流程

1.分析数据源，怎么获取?
2.拿到数据后，怎么处理?
3.写入数据库等存储

数据抓取的几种方式

1.直接请求数据接口(最方便)，可使用 HttpClient,OKHttp,RestTemplate,Hutool(https://hutool.cn/)

等客户端发送请求

2.等网页渲染出明文内容后，从前端完整页面中解析出需要的内容

3.有一些网站可能是动态请求的，他不会一次性加载所有的数据，而是要你点某个按钮、输入某个验证码才会显示出数据。可使用无头浏览器:selenium、nodejs puppeteer

Hutool 工具 : 入门和安装 (hutool.cn)

HttpClient : Apache HttpComponents – HttpClient Overview

OKHttp : Overview - OkHttp (square.github.io)

注意，爬虫技术不能滥用，干万不要给别人的系统造成压力、不要侵犯他人权益!

获取文章

内部没有，可以从互联网上获取基础数据=>爬虫

'一般的网站会发出http请求我们找到路径 , 我们在IDEA里调用发送http请求的工具就好了 . 

在代码里根据自己的需求完成操作 .

---

这期就到这里 , 下期见!