当前位置: 首页 > news >正文

初学elasticsearch

ES

文章目录

  • ES
    • 一、初识elasticsearch
      • 1、什么是elasticsearch,elastic static,Lucene
      • 2、倒排索引
        • 2.1、正向索引和倒排序索引
      • 3、es与mysql的概念对比
        • 3.1、文档
        • 3.2、索引
        • 3.3、es与数据库中的关系
    • 二、索引库操作
      • 1、mapping属性
      • 2、创建索引库和映射
        • 基本语法:
        • 格式:
        • 示例:
      • 3、查找、删除、修改索引
        • 3.1、查询索引库:
          • 基本语法:
          • 格式:
        • 3.2、修改索引库
          • 语法说明:
          • 示例:
        • 3.3、删除索引库
          • 语法:
          • 格式:
    • 三、文档操作
      • 1、查询、新增、删除文档
        • 1.1、新增文档
          • 语法:
        • 1.2、查询文档
          • 语法:
        • 1.3、删除文档
          • 语法:
      • 2、修改文档
        • 2.1、全量修改
          • 语法:
        • 2.2、局部修改
          • 语法:
          • 示例:
      • 3、批处理
    • 四、RestAPI
      • 4.1、初始化RestClient
      • 4.2、创建索引库
        • 4.2.1、Mapping映射
        • 4.2.2、创建索引
      • 4.3、删除索引库
      • 4.4、判断索引库是否存在
      • 4.5、总结
    • 五、RestClient操作文档
      • 5.1、新增文档
        • 5.1.1、实体类
        • 5.1.2、API语法
        • 5.1.3、完整代码
      • 5.2、查询文档
        • 5.2.1、语法说明
        • 5.2.2、完整代码
      • 5.3、删除文档
      • 5.4、修改文档
        • 5.4.1、语法说明:
        • 5.4.2、完整代码
      • 5.5、批量导入文档
        • 5.5.1、语法说明
        • 5.5.2、完整代码
      • 5.6、小结

一、初识elasticsearch

1、什么是elasticsearch,elastic static,Lucene

​ elasticsearch是一个开源的分布式搜索引擎,可以用来实现搜索,日志统计、分析,系统监控等功能

​ elasticsearch结合kibana,logstach,beats也就是elastic static,被广泛应用在日志数据分析,实时监控等领域。

​ elasticsearch是elastic static的核心,底层实现是通过Lucene,负责存储、搜索、分析数据。beats,logstach负责数据抓取。Kibana负责数据可视化。
在这里插入图片描述
​ elastic static是以elastic search为核心的技术栈,包括:beats,logstach,kibana,elasticsearch。

​ Lucene是Apache的来源引擎类库,提供了搜索 引擎的核心api。优势:易扩展,高性能(基于倒排序索引)。缺点:只限java语言开发,学习路线陡峭,不支持水平扩展

2、倒排索引

2.1、正向索引和倒排序索引

正向索引:基于文档id创建索引。查询词条时必须先找到文档,再判断文档是否包含词条。mysql会基于id创建一个索引生成一棵B+树,根据id查询数据速度非常快。

缺点:假如搜索的是title字段,因为title比较长所以一般不会给title加索引。即便加了索引,如果不是精确查找而是如下图的搜索,此时索引会失效,数据库会采用逐条扫描的方式 来判断是否包含手机,如果包含就放到结果集中, 否则丢弃。如果数据量庞大, 那么查找的性能就非常低下。
在这里插入图片描述

**倒排索引:**先对文档内容进行分词,对词条创建索引。并记录词条所在的文档信息。查询时先根据词条查找到文档id,而后获取文档。

  • 文档(document):每条数据就是一个文档
  • 词条(term):按照语义分成的词语。对文档中的内容进行分词得到的词语就是词条

在这里插入图片描述
在这里插入图片描述

3、es与mysql的概念对比

3.1、文档

​ elasticsearch面向的是文档的存储,可以是数据库中的一条商品数据,一个订单信息。文档中的数据会被序列化为json格式后存储在elasticsearch中。

  • 文档:一条数据就是一个文档,es中是json格式
  • 字段:json文档中的字段

在这里插入图片描述

3.2、索引
  • 索引(index):相同类型的文档的集合
  • 映射(mapping):索引中文档的字段约束信息,类似表的结构约束。比如字段名称,类型。

在这里插入图片描述
在这里插入图片描述

3.3、es与数据库中的关系
  • Mysql:擅长事务类型操作,可以确保数据的安全和一致性
  • Elasticsearch:擅长海量数据的搜索、分析、计算
    在这里插入图片描述

二、索引库操作

1、mapping属性

Mapping是索引库中文档的约束,常见的Mapping属性包括:

  • type:字段数据类型,常见的简单类型有:
    • 字符串:text(可分词的文本)、keyword(精确值,例如:品牌、国家、ip地址)
    • 数值:long、integer、short、byte、double、float
    • 布尔:boolean
    • 日期:date
    • 对象:object
  • index:是否创建索引,默认为true
  • analyzer:使用哪种分词器
  • properties:该字段的子字段
{"age": 21,"weight": 52.1,"isMarried": false,"info": "黑马程序员Java讲师","email": "zy@itcast.cn","score": [99.1, 99.5, 98.9],"name": {"firstName": "云","lastName": "赵"}
}
字段名字段类型类型说明是否参与搜索是否参与分词分词器
ageinteger整数——
weightfloat浮点数——
isMarriedboolean布尔——
infotext字符串,
但需要分词
IK
emailkeyword字符串,
但是不分词
——
scorefloat只看数组中
元素类型
——
firstNamekeyword字符串,
但是不分词
——
lastNamekeyword字符串,
但是不分词
——

2、创建索引库和映射

基本语法:
  • 请求方式:PUT
  • 请求路径:/索引库名,可以自定义
  • mapping映射
格式:
PUT /索引库名称
{"mappings": {"properties": {"字段名":{"type": "text","analyzer": "ik_smart"},"字段名2":{"type": "keyword","index": "false"},"字段名3":{"properties": {"子字段": {"type": "keyword"}}},// ...略}}
}
示例:
# PUT /heima
{"mappings": {"properties": {"info":{"type": "text","analyzer": "ik_smart"},"email":{"type": "keyword","index": "false"},"name":{"properties": {"firstName": {"type": "keyword"}}}}}
}

3、查找、删除、修改索引

3.1、查询索引库:
基本语法:
  • 请求方式:GET
  • 请求路径:/索引库名
  • 请求参数:无
格式:
GET/索引库名
3.2、修改索引库

​ 倒排索引结构虽然不复杂,但是一旦数据结改变(比如改变哩分词器),就需要重新创建倒排索引。因此索引库一旦创建,无法修改mapping。

​ 虽然无法修改mapping中已有的字段,但是却允许添加新的字段到mapping中,因为不会对倒排索引产生影响。因此修改索引库能做的就是向索引库中添加新字段,或者更新索引库的基础属性。

语法说明:
PUT /索引库名/_mapping
{"properties": {"新字段名":{"type": "integer"}}
}
示例:
PUT /heima/_mapping
{"properties": {"age":{"type": "integer"}}
}
3.3、删除索引库
语法:
  • 请求方式:DELETE
  • 请求路径:/索引库名
  • 请求参数:无
格式:
DELETE/索引库名

三、文档操作

1、查询、新增、删除文档

1.1、新增文档
语法:
POST /索引库名/_doc/文档id
{"字段1": "值1","字段2": "值2","字段3": {"子属性1": "值3","子属性2": "值4"},
}
1.2、查询文档
语法:
GET /{索引库名称}/_doc/{id}
1.3、删除文档
语法:
DELETE /{索引库名}/_doc/id值

2、修改文档

2.1、全量修改

全量修改是覆盖原来的文档,其本质是两步操作:

  • 根据指定的id删除文档
  • 新增一个相同id的文档

**注意**:如果根据id删除时,id不存在,第二步的新增也会执行,也就从修改变成了新增操作了。

语法:
PUT /{索引库名}/_doc/文档id
{"字段1": "值1","字段2": "值2",// ... 略
}

示例:

PUT /heima/_doc/1
{"info": "黑马程序员高级Java讲师","email": "zy@itcast.cn","name": {"firstName": "云","lastName": "赵"}
}

​ 如果id为1的文档已经被删除,那么第一次执行时,得到的反馈是created。如果执行第2次时,得到的反馈则是update。

2.2、局部修改

局部修改是指只修改指定id匹配的文档中的部分字段。

语法:
POST /{索引库名}/_update/文档id
{"doc": {"字段名": "新的值",}
}
示例:
POST /heima/_update/1
{"doc": {"email": "ZhaoYun@itcast.cn"}
}

3、批处理

批处理采用POST请求,基本语法如下:

POST _bulk
{ "index" : { "_index" : "test", "_id" : "1" } }
{ "field1" : "value1" }
{ "delete" : { "_index" : "test", "_id" : "2" } }
{ "create" : { "_index" : "test", "_id" : "3" } }
{ "field1" : "value3" }
{ "update" : {"_id" : "1", "_index" : "test"} }
{ "doc" : {"field2" : "value2"} }

其中:

  • index代表新增操作
    • _index:指定索引库名
    • _id:指定要操作的文档id
    • {"field1":"value1"}:要新增的文档内容
  • delete:代表删除操作
    • _index:指定索引库名
    • _id:指定要操作的文档id
  • update代表更新操作
    • _index:指定索引库名
    • _id:指定要操作的文档id
    • { "doc" : {"field2" : "value2"} }:要更新的文档字段

示例,批量新增:

POST /_bulk
{"index": {"_index":"heima", "_id": "3"}}
{"info": "黑马程序员C++讲师", "email": "ww@itcast.cn", "name":{"firstName": "五", "lastName":"王"}}
{"index": {"_index":"heima", "_id": "4"}}
{"info": "黑马程序员前端讲师", "email": "zhangsan@itcast.cn", "name":{"firstName": "三", "lastName":"张"}}

批量删除:

POST /_bulk
{"delete":{"_index":"heima", "_id": "3"}}
{"delete":{"_index":"heima", "_id": "4"}}

四、RestAPI

4.1、初始化RestClient

​ 在elasticsearch提供的API中,与elasticsearch一切交互都封装在一个名为RestHighLevelClient的类中,必须先完成这个对象的初始化,建立与elasticsearch的连接。

​ 分三步:

  • item-service模块中引入es的RestHighLevel Client依赖:
<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId>
</dependency>
  • 覆盖掉SpringBoot默认的ES版本7.17.0
  <properties><maven.compiler.source>11</maven.compiler.source><maven.compiler.target>11</maven.compiler.target><elasticsearch.version>7.12.1</elasticsearch.version></properties>
  • 初始化RestHighLevelClient
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.150.101:9200")
));

​ 创建一个测试类IndexTest,然后将初始化的代码编写在@BeforeEach方法中:

package com.hmall.item.es;import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;import java.io.IOException;public class IndexTest {private RestHighLevelClient client;@BeforeEachvoid setUp() {this.client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.150.101:9200")));}@Testvoid testConnect() {System.out.println(client);}@AfterEachvoid tearDown() throws IOException {this.client.close();}
}

4.2、创建索引库

​ 由于要实现对商品搜索,所以我们需要将商品添加到Elasticsearch中,不过需要根据搜索业务的需求来设定索引库结构,而不是一股脑的把MySQL数据写入Elasticsearch.

4.2.1、Mapping映射

搜索页面的效果如图所示:
在这里插入图片描述
实现搜索功能需要的字段包括三大部分:

  • 搜索过滤字段
    • 分类
    • 品牌
    • 价格
  • 排序字段:
    • 默认:按照更新时间降序排序
    • 销量
    • 价格
  • 展示字段
    • 商品id:用于点击后跳转
    • 图片地址
    • 是否是广告推广商品
    • 名称
    • 价格
    • 评价数量
    • 销量

​ 对应的商品表结构如下,索引库无关字段已经划掉:
在这里插入图片描述
​ 结合数据库表结构,以上字段对应的mapping映射属性如下:

字段名字段类型类型说明是否参与搜索是否参与分词分词器
idlong长整数——
nametext字符串,参与分词搜索IK
priceinteger以分为单位,所以是整数——
stockinteger字符串,但需要分词——
imagekeyword字符串,但是不分词——
categorykeyword字符串,但是不分词——
brandkeyword字符串,但是不分词——
soldinteger销量,整数——
commentCountinteger评价,整数——
isADboolean布尔类型——
updateTimeDate更新时间

​ 因此,最终我们的索引库文档结构应该是:

PUT /items
{"mappings": {"properties": {"id": {"type": "keyword"},"name":{"type": "text","analyzer": "ik_max_word"},"price":{"type": "integer"},"stock":{"type": "integer"},"image":{"type": "keyword","index": false},"category":{"type": "keyword"},"brand":{"type": "keyword"},"sold":{"type": "integer"},"commentCount":{"type": "integer","index": false},"isAD":{"type": "boolean"},"updateTime":{"type": "date"}}}
}
4.2.2、创建索引

创建索引库的API如下:
在这里插入图片描述
代码分为三步:

  • 创建Request对象

    • 因为是创建索引库的操作,因此Request是CreateIndexRequest。
  • 添加请求参数

    • 其实就是Json格式的Mappiing映射参数。因为json字符串很长,这里定义了静态字符串常量MAPPING_TEMPLATE,让代码看起来更优雅。
  • 发送请求

    • client.indices()方法的返回值是IndicesClient类型,封装了所有与索引库操作有关的方法。例如创建索引、删除索引、判断索引是否存在等。

    item-service中的IndexTest测试类中,具体代码如下:

@Test
void testCreateIndex() throws IOException {// 1.创建Request对象CreateIndexRequest request = new CreateIndexRequest("items");// 2.准备请求参数request.source(MAPPING_TEMPLATE, XContentType.JSON);// 3.发送请求client.indices().create(request, RequestOptions.DEFAULT);
}static final String MAPPING_TEMPLATE = "{\n" +"  \"mappings\": {\n" +"    \"properties\": {\n" +"      \"id\": {\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"name\":{\n" +"        \"type\": \"text\",\n" +"        \"analyzer\": \"ik_max_word\"\n" +"      },\n" +"      \"price\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"stock\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"image\":{\n" +"        \"type\": \"keyword\",\n" +"        \"index\": false\n" +"      },\n" +"      \"category\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"brand\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"sold\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"commentCount\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"isAD\":{\n" +"        \"type\": \"boolean\"\n" +"      },\n" +"      \"updateTime\":{\n" +"        \"type\": \"date\"\n" +"      }\n" +"    }\n" +"  }\n" +"}";

4.3、删除索引库

删除索引库的请求非常简单:

DELETE/hotel

与创建索引库相比:

  • 请求方式从PUT变为DELETE
  • 请求路径不变
  • 无请求参数

所以代码的差异,集中体现在Request对象上。流程如下:

  • 创建Request对象。这次是DeleteIndexRequest对象
  • 准备参数。这里是无参,因此省略
  • 发送请求。改用delete方法

item-service中的IndexTest测试类中,编写单元测试,实现删除索引:

@Test
void testDeleteIndex() throws IOException {// 1.创建Request对象DeleteIndexRequest request = new DeleteIndexRequest("items");// 2.发送请求client.indices().delete(request, RequestOptions.DEFAULT);
}

4.4、判断索引库是否存在

判断索引库是否存在,本质就是查询,对应的请求语句:

GET/hotel

因此与删除的Java代码流程是类似的,流程如下:

  • 创建Request对象。这次是GetIndexRequest对象
  • 准备参数。这里是无参,直接省略
  • 发送请求。改用exists方法
@Test
void testExistsIndex() throws IOException {// 1.创建Request对象GetIndexRequest request = new GetIndexRequest("items");// 2.发送请求boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);// 3.输出System.err.println(exists ? "索引库已经存在!" : "索引库不存在!");
}

4.5、总结

JavaRestClient操作elasticsearch的流程基本类似。核心是client.indices()方法来获取索引库的操作对象。

索引库操作的基本步骤:

  • 初始化RestHighLevelClient
  • 创建xxxIndexRequest。xxx是CreateGetDelete
  • 准备请求参数(Create时需要,其他是无参,可以省略)
  • 发送请求。调用RestHighLevelClient#indices().xxx()方法,xxx是createexistsdelete

五、RestClient操作文档

索引库准备好以后,就可以操作文档了。为了与索引库操作分离,我们再创建一个测试类,做两件事情:

  • 初始化RestHighLevelClient
  • 我们的商品数据在数据库,需要利用IHOtelService去查询,所以注入这个接口
package com.hmall.item.es;import com.hmall.item.service.IItemService;
import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;import java.io.IOException;@SpringBootTest(properties = "spring.profiles.active=local")
public class DocumentTest {private RestHighLevelClient client;@Autowiredprivate IItemService itemService;@BeforeEachvoid setUp() {this.client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.150.101:9200")));}@AfterEachvoid tearDown() throws IOException {this.client.close();}
}

5.1、新增文档

我们需要将数据库中的商品信息导入elasticsearch中,而不是造假数据。

5.1.1、实体类

索引结构与数据库结构还存在一些差异,因此我们定义一个索引库结构对应的实体。在hm-service模块的com.hmall.item.domain.dto包中定义一个新的DTO:

package com.hmall.item.domain.po;import io.swagger.annotations.ApiModel;
import io.swagger.annotations.ApiModelProperty;
import lombok.Data;import java.time.LocalDateTime;@Data
@ApiModel(description = "索引库实体")
public class ItemDoc{@ApiModelProperty("商品id")private String id;@ApiModelProperty("商品名称")private String name;@ApiModelProperty("价格(分)")private Integer price;@ApiModelProperty("商品图片")private String image;@ApiModelProperty("类目名称")private String category;@ApiModelProperty("品牌名称")private String brand;@ApiModelProperty("销量")private Integer sold;@ApiModelProperty("评论数")private Integer commentCount;@ApiModelProperty("是否是推广广告,true/false")private Boolean isAD;@ApiModelProperty("更新时间")private LocalDateTime updateTime;
}
5.1.2、API语法

新增文档的请求语法如下:

POST /{索引库名}/_doc/1
{"name": "Jack","age": 21
}

对应的JavaAPI如下:

在这里插入图片描述

  • 创建Request对象,这里是IndexRequest,因为添加文档就是创建倒排序索引的过程
  • 准备请求参数,本例中就是Json文档
  • 发送请求

变化的地方在于,这里直接使用client.xxx()的API,不再需要client.indices()了。

5.1.3、完整代码

导入商品数据,出了参考API模板“三步走”以外,还要做以下准备工作:

  • 商品数据来自于数据库,我们需要先查询出来,得到Item对象
  • Item对象需要转为ItemDoc
  • ItemDTO需要序列化为json格式

因此,代码整体步骤如下:

  • 根据id查询商品数据Item
  • Item封装为ItemDoc
  • ItemDoc序列化为JSON
  • 创建IndexRequest,指定索引库名和id
  • 准备请求参数,也就是JSON文档
  • 发送请求

item-serviceDocumentTest测试类中,编写单元测试:

@Test
void testAddDocument() throws IOException {// 1.根据id查询商品数据Item item = itemService.getById(100002644680L);// 2.转换为文档类型ItemDoc itemDoc = BeanUtil.copyProperties(item, ItemDoc.class);// 3.将ItemDTO转jsonString doc = JSONUtil.toJsonStr(itemDoc);// 1.准备Request对象IndexRequest request = new IndexRequest("items").id(itemDoc.getId());// 2.准备Json文档request.source(doc, XContentType.JSON);// 3.发送请求client.index(request, RequestOptions.DEFAULT);
}

5.2、查询文档

5.2.1、语法说明

查询的请求语句如下:

GET/{索引库名}/_doc/{id}

步骤如下:

  • 创建Request对象
  • 发送请求

不过查询的目的是得到结果,解析为ItemDTO,还要再加一步对结果的解析。示例代码如下:
在这里插入图片描述
响应结果是一个JSON,其中文档放在一个_source属性中,因此解析就是拿到_source,反序列化为Java对象即可。

流程如下:

  • 准备Request对象。这次是查询,所以是GetRequest
  • 发送请求,得到结果。因为是查询,这里调用client.get()方法
  • 解析结果就是对JSON做反序列化
5.2.2、完整代码

在测试类中,编写单元测试:

@Test
void testGetDocumentById() throws IOException {// 1.准备Request对象GetRequest request = new GetRequest("items").id("100002644680");// 2.发送请求GetResponse response = client.get(request, RequestOptions.DEFAULT);// 3.获取响应结果中的sourceString json = response.getSourceAsString();ItemDoc itemDoc = JSONUtil.toBean(json, ItemDoc.class);System.out.println("itemDoc= " + ItemDoc);
}

5.3、删除文档

请求语句如下:

DELETE/hotel/_doc/{id}

与查询相比,仅仅是请求方式从GET变成DELETE,java代码依然是两步走:

  • 准备Request对象,因为是删除,所以通过DeleteRequest对象,指定索引库名和id
  • 发送请求。因为是删除,所以是client.delete()方法

在测试类中,编写单元测试:

@Test
void testDeleteDocument() throws IOException {// 1.准备Request,两个参数,第一个是索引库名,第二个是文档idDeleteRequest request = new DeleteRequest("item", "100002644680");// 2.发送请求client.delete(request, RequestOptions.DEFAULT);
}

5.4、修改文档

  • 全量修改:本质是先根据ID删除,再新增
  • 局部修改:修改文档中的指定字段值

在RestClient的API中,全量修改与新增的API完全一致,判断依据是id:

  • 如果新增时,ID已经存在,则修改
  • 如果新增时,ID不存在,则新增
5.4.1、语法说明:

局部修改的请求语法如下:

POST /{索引库名}/_update/{id}
{"doc": {"字段名": "字段值","字段名": "字段值"}
}

代码示例图:

在这里插入图片描述
步骤如下:

  • 准备Request对象。修改的对象是UpdateRequest
  • 准备参数。也就是JSON文档,里面包含要修改的字段
  • 发送请求。调用client.update()方法
5.4.2、完整代码

在测试类中,编写单元测试:

@Test
void testUpdateDocument() throws IOException {// 1.准备Request,第一个参数时索引库名,第二个参数是idUpdateRequest request = new UpdateRequest("items", "100002644680");// 2.准备请求参数request.doc("price", 58800,"commentCount", 1);// 3.发送请求client.update(request, RequestOptions.DEFAULT);
}

5.5、批量导入文档

​ 在之前的案例中,我们都是操作单个文档。而数据库中的商品数据实际会达到数十万条,某些项目中可能达到数百万条。

​ 将这些数据导入索引库,肯定不能逐条导入,而是采用批处理方案。常见的方案有:

  • 利用Logstash批量导入
    • 需要安装Logstash
    • 对数据的再加工能力弱
    • 无需编码,但要学习编写Logstash导入配置
  • 利用JavaAPI批量导入
    • 需要编码,但基于JavaAPI,学习成本低
    • 更加灵活,可以任意对数据做再加工处理后写入索引库
5.5.1、语法说明

批处理与前面讲的CRUD步骤基本一致:

  • 创建Request,批量使用的是BulkRequest
  • 准备参数
  • 发送请求,调用的方法是client.bulk()

BulkRequest本身其实并没有请求参数,其本质就是将多个普通的CRUD请求组合在一起发送。例如:

  • 批量新增文档,就是给每个文档创建一个IndexRequest请求,然后封装到BulkRequest中,一起发出。
  • ;批量删除,就是创建N个DeleteRequest请求,然后封装到BulkRequest,一起发出

因此BulkRequest中提供了add方法,用以添加其他CRUD的请求:

在这里插入图片描述

能添加的请求有:

  • IndexRequest,也就是新增
  • UpdateRequest,也就是修改
  • DeleteRequest,也就是删除

因此Bulk中添加了多个IndexRequest,就是批量新增功能。

@Test
void testBulk() throws IOException {// 1.创建RequestBulkRequest request = new BulkRequest();// 2.准备请求参数request.add(new IndexRequest("items").id("1").source("json doc1", XContentType.JSON));request.add(new IndexRequest("items").id("2").source("json doc2", XContentType.JSON));// 3.发送请求client.bulk(request, RequestOptions.DEFAULT);
}
5.5.2、完整代码

​ 当我们要导入商品数据时,由于商品数量达到数十万,因此不可能一次性全部导入。建议采用循环遍历方式,每次导入1000条左右的数据。

​ 在测试类中,编写单元测试:

@Test
void testLoadItemDocs() throws IOException {// 分页查询商品数据int pageNo = 1;int size = 1000;while (true) {Page<Item> page = itemService.lambdaQuery().eq(Item::getStatus, 1).page(new Page<Item>(pageNo, size));// 非空校验List<Item> items = page.getRecords();if (CollUtils.isEmpty(items)) {return;}log.info("加载第{}页数据,共{}条", pageNo, items.size());// 1.创建RequestBulkRequest request = new BulkRequest("items");// 2.准备参数,添加多个新增的Requestfor (Item item : items) {// 2.1.转换为文档类型ItemDTOItemDoc itemDoc = BeanUtil.copyProperties(item, ItemDoc.class);// 2.2.创建新增文档的Request对象request.add(new IndexRequest().id(itemDoc.getId()).source(JSONUtil.toJsonStr(itemDoc), XContentType.JSON));}// 3.发送请求client.bulk(request, RequestOptions.DEFAULT);// 翻页pageNo++;}
}

5.6、小结

基本步骤:

  • 初始化RestHighLevelClient
  • 创建xxxRequest
    • xxx是IndexGetUpdateDeleteBulk
  • 准备参数(IndexUpdateBulk时需要)
  • 发送请求
    • 调用RestHighLevelClient#.xxx()方法,xxx是indexgetupdatedeletebulk
  • 解析结果(Get时需要)

相关文章:

初学elasticsearch

ES 文章目录 ES一、初识elasticsearch1、什么是elasticsearch&#xff0c;elastic static&#xff0c;Lucene2、倒排索引2.1、正向索引和倒排序索引 3、es与mysql的概念对比3.1、文档3.2、索引3.3、es与数据库中的关系 二、索引库操作1、mapping属性2、创建索引库和映射基本语法…...

HTMLCSS:惊!3D 折叠按钮

这段代码创建了一个具有 3D 效果和动画的按钮&#xff0c;按钮上有 SVG 图标和文本。按钮在鼠标悬停时会显示一个漂浮点动画&#xff0c;图标会消失并显示一个线条动画。这种效果适用于吸引用户注意并提供视觉反馈。按钮的折叠效果和背景渐变增加了页面的美观性。 演示效果 HT…...

SDK 指南

在前端开发中&#xff0c;SDK&#xff08;Software Development Kit&#xff0c;软件开发工具包&#xff09;是一个用于帮助开发者在特定平台、框架或技术栈中实现某些功能的工具集。 1. SDK 是什么&#xff1f; SDK 是一种开发工具包&#xff0c;它提供了开发人员实现某些功…...

Web 应用项目开发全流程解析与实战经验分享

目录 一、引言 二、需求分析 三、技术选型 四、架构设计 五、开发实现 六、测试优化 七、部署上线 八、实战经验分享 九、总结 一、引言 在当今数字化时代&#xff0c;Web 应用已经深入到我们生活和工作的各个角落。从社交网络到电子商务&#xff0c;从在线办公到娱乐…...

WPS中插入矩阵的方法

WPS中插入矩阵的方法&#xff1a; 1、先选择插入公式中的矩阵中的第二个括号矩阵 选中矩阵右键&#xff0c;点击插入 点击在此后插入列和在此后插入行&#xff0c;会得到3x3矩阵&#xff0c;如图 分别点击两次会得到4x4矩阵&#xff0c;如图&#xff0c;可以画出4x4矩阵...

Python调用R语言中的程序包来执行回归树、随机森林、条件推断树和条件推断森林算法

要使用Python调用R语言中的程序包来执行回归树、随机森林、条件推断树和条件推断森林算法&#xff0c;重新计算中国居民收入不平等&#xff0c;并进行分类汇总&#xff0c;我们可以使用rpy2库。rpy2允许在Python中嵌入R代码并调用R函数。以下是一个详细的步骤和示例代码&#x…...

uniapp input苹果中文键盘输入拼音直接切换输入焦点监听失效

问题&#xff1a; uniapp微信小程序&#xff0c;苹果手机中文键盘状态下&#xff0c;输入字母时&#xff0c;不点击确定也不点击空白处&#xff0c;直接切换到下一个input输入框&#xff0c;UI界面会保留上个输入框输入的内容&#xff0c;但input、blur事件监听到的值都是空&a…...

多智能体/多机器人网络中的图论法

一、引言 1、网络科学至今受到广泛关注的原因&#xff1a; &#xff08;1&#xff09;大量的学科&#xff08;尤其生物及材料科学&#xff09;需要对元素间相互作用在多层级系统中所扮演的角色有更深层次的理解&#xff1b; &#xff08;2&#xff09;科技的发展促进了综合网…...

华为:数字化转型只有“起点”,没有“终点”

上个月&#xff0c;我收到了一位朋友的私信&#xff0c;他询问我是否有关于华为数字化转型的资料。幸运的是&#xff0c;我手头正好收藏了一些&#xff0c;于是我便分享给他。 然后在昨天&#xff0c;他又再次联系我&#xff0c;并感慨&#xff1a;“如果当初我在进行企业数字…...

centos server系统新装后的网络配置

当前状态&#xff1a; ping www.baidu.com报错 1、检查IP ip addr show记录要编辑的网卡 link/ether 后的XX:XX:XX:XX:XX:XX号 2、以em1为例&#xff1a; vi /etc/sysconfig/network-scripts/ifcfg-em1&#xff0c;新增如下行&#xff1a; HWADDRXX:XX:XX:XX:XX:XX(具体值…...

【问题实录】服务器ping不通win11笔记本

项目场景 测试服务器和win11笔记本之间网络是否通常 问题描述 服务器ping不通win11笔记本&#xff0c;win11笔记本可以ping通服务器 解决方案 1、打开&#xff1a;控制面板\系统和安全\Windows Defender 防火墙 2、点击“高级设置”&#xff0c;然后点击“入站规则”&…...

WEB入门——文件上传漏洞

文件上传漏洞 一、文件上传漏洞 1.1常见的WebShell有哪些&#xff1f;1.2 一句话木马演示1.2 文件上传漏洞可以利用需满足三个条件1.3 文件上传导致的危害 二、常用工具 2.1 搭建upload-labs环境2.2 工具准备 三、文件上传绕过 3.1 客户端绕过 3.1.1 实战练习 &#xff1a;upl…...

公交车信息管理系统:构建智能城市交通的基石

程序设计 本系统主要使用Java语言编码设计功能&#xff0c;MySQL数据库管控数据信息&#xff0c;SSM框架创建系统架构&#xff0c;通过这些关键技术对系统进行详细设计&#xff0c;设计和实现系统相关的功能模块。最后对系统进行测试&#xff0c;这一环节的结果&#xff0c;基本…...

jdk各个版本介绍

JDK&#xff08;Java Development Kit&#xff09;是Java开发者用于构建、测试和部署Java应用程序的工具包。随着Java语言的不断演进&#xff0c;JDK也经历了多个版本的更新。下面是对JDK各个主要版本的简要介绍&#xff1a; JDK 1.0 - 1.4&#xff08;经典时代&#xff09; •…...

分布式事务解决方案seata和MQ

seata之XA模式 特点&#xff1a;强一致性、会锁定资源。 seata之AT模式 seata之TCC模式 特点&#xff1a;对代码有侵入 MQ解决分布式事务 特点&#xff1a;效率高、实时性差 分布式事务的消息幂等 1、tokenredis保证幂等 2、分布式锁 分布式任务调度...

相机主要调试参数

解析度测试 - 解释如何衡量摄像头捕捉细节的能力&#xff0c;确保图像清晰。锐度评估 - 教你如何判断图像边缘的清晰程度&#xff0c;以优化视觉效果。色散与色彩还原 - 分析色彩准确性&#xff0c;确保所见即所得的色彩一致性。白平衡校正 - 确保在各种光源下拍摄的照片颜色自…...

【C++11】可变模板参数

目录 可变模板的定义方式 参数包的展开方式 递归的方式展开参数包 STL中的emplace相关接口函数 STL容器中emplace相关插入接口函数 ​编辑 模拟实现&#xff1a;emplace接口 C11的新特性可变参数模板能够让您创建可以接受可变参数的函数模板和类模板&#xff0c;相比 C9…...

AAAI-2024 | 大语言模型赋能导航决策!NavGPT:基于大模型显式推理的视觉语言导航

作者&#xff1a;Gengze Zhou, Yicong Hong, Qi Wu 单位&#xff1a;阿德莱德大学&#xff0c;澳大利亚国立大学 论文链接&#xff1a; NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models &#xff08;https://ojs.aaai.org/index.p…...

@HeadFontStyle注解属性介绍

HeadFontStyle 是一个自定义的 Java 注解&#xff0c;它用于指定 Excel 单元格字体的样式属性。这个注解可以应用于方法中&#xff0c;用来动态地设置 Excel 文件中单元格的字体样式。下面是 HeadFontStyle 注解中各个属性的详细介绍&#xff1a; 1. fontName (String) 类型:…...

Exchange ProxyLogon 攻击链利用详解

目录 ProxyLogon 攻击链 影响版本 CVE-2021-26855 SSRF 复现 验证是否存在漏洞 详细漏洞利用 CVE-2021–27065 任意文件写入复现 ProxyLogon 一键利用 CVE-2021-26855 与 CVE-2021-27065 是微软在2021年3月2日发布的高危漏洞公告。这套组合拳被称为ProxyLogon,可直接获…...

Docker容器化技术概述与实践

哈喽&#xff0c;大家好&#xff0c;我是左手python&#xff01; Docker 容器化的基本概念 Docker 容器化是一种轻量级的虚拟化技术&#xff0c;通过将应用程序及其依赖项打包到一个可移植的容器中&#xff0c;使其在任何兼容 Docker 的环境中都能运行。与传统的虚拟机技术不同…...

关于ETL的BackgroundScheduler同步方案和misfire_grace_time

如果做ETL避免脏数据&#xff0c;那么不可以允许同一个job有并行允许的情况&#xff0c;也就是说max_instance参数始终设置成1。 这时候执行ETL任务&#xff0c;会有以下情况。 1 任务不超时。正常执行 2 任务超时。如果下一个时间点上一次任务还没有执行完&#xff0c;那么…...

jenkins结合gitlab实现CI

Jenkins结合GitLab实现CI&#xff08;持续集成&#xff09; 持续集成&#xff08;Continuous Integration, CI&#xff09;是一种软件开发实践&#xff0c;开发者在代码提交后&#xff0c;系统会自动进行构建、测试&#xff0c;从而尽早发现问题。Jenkins和GitLab的结合可以高效…...

浅聊一下,大模型应用架构 | 工程研发的算法修养系列(二)

大模型应用架构基础 AI应用演进概述 人工智能应用的发展经历了多个关键阶段&#xff0c;每个阶段都代表着技术范式的重大转变。 大语言模型基础 大语言模型(LLM)作为现代AI应用的核心组件&#xff0c;具有独特的技术特性和能力边界&#xff0c;理解这些基础对架构设计至关重要。…...

Cursor 1.0 的核心功能亮点及技术价值分析

Cursor 1.0 的核心功能亮点及技术价值分析 结合官方更新和开发者实测整理&#xff1a; &#x1f6e0;️ 一、BugBot&#xff1a;智能自动化代码审查 功能亮点&#xff1a;深度集成 GitHub&#xff0c;自动扫描 Pull Request&#xff08;PR&#xff09;中的潜在 Bug&#xff08;…...

创客匠人:以 AI 利器赋能创始人 IP 打造,加速知识变现新路径

在知识付费与个人 IP 崛起的时代&#xff0c;创客匠人作为行业领先的技术服务商&#xff0c;正通过 AI 工具重构创始人 IP 打造与知识变现的生态。其推出的三大 AI 利器 ——AI 销售信、免训数字人、AI 智能客服&#xff0c;精准解决 IP 运营中的核心痛点。 以 AI 销售信为例&…...

0x-1 记一次SGA PGA设置失败,重新开库

0、生产侧定时平台上传数据库11g hang&#xff0c;修改无法startup 厂商统一发放的虚拟机作为前置机导入平台后&#xff0c;直接开机使用。主机在虚拟化平台中&#xff0c;实例卡死后&#xff0c;按照虚拟机系统64G&#xff0c;原SGA2g,不知哪个大聪明给默认设置的。保守计划修…...

第1章_数据分析认知_知识点笔记

来自&#xff1a;数据分析自学课程-戴戴戴师兄 逐字稿&#xff1a;【课程4.0】第1章_分析认知_知识点笔记 【课程4.0】第1章 分析认知 知识点总结 数据分析的核心价值不是工具&#xff0c;而是用数据驱动业务增长。 一、数据分析的本质认知 数据分析是什么&#xff1f; 不是酷…...

市面上哪款AI开源软件做ppt最好?

市面上哪款AI开源软件做ppt最好&#xff1f; aippt&#xff1a;AiPPT - 全智能 AI 一键生成 PPT 网站形式&#xff0c;需要注册 ai to pptx &#xff1a;SmartSchoolAI/ai-to-pptx: 前端后端同时开源。 Ai-to-pptx是一个使用AI技术(DeepSeek)制作PPTX的助手&#xff0c;支持在…...

Spring 中的disposableBean介绍

在 Spring 框架中&#xff0c;DisposableBean 是一个接口&#xff0c;用于定义 Bean 在被销毁前需要执行的清理逻辑。它是 Spring 容器生命周期回调机制的一部分。 &#x1f331; 什么是 DisposableBean DisposableBean 接口是 Spring 提供的一个标准接口&#xff0c;用于通知…...