黑马头条-day10

---

app端文章搜索

1、文章搜索

1.1 ElasticSearch环境搭建

1、启动ElasticSearch

docker start elasticsearch

2、启动Kibana

docker start kibana

3、kibana测试分词效果

1.2 索引库创建

①需求分析

• 用户输入关键词 比如java只要文章titile、content包含此关键词就可以搜索出来，搜索黑马程序员能把黑马、程序员相关都搜索出来
• 搜索的文章结果里词条要高亮显示
• 用户点击搜索结果任意一条可查看文章详情

②ES导入数据场景分析

③创建索引和映射

搜索结果页面展示什么内容？

• 标题
• 布局
• 封面图片
• 发布时间
• 作者名称
• 文章id
• 作者id
• 静态url

哪些字段需要索引和分词？

• 标题
• 内容

使用Kibana添加映射
索引库名称：app_info_article

PUT /app_info_article
{"mappings":{"properties":{"id":{"type":"long"},"publishTime":{"type":"date"},"layout":{"type":"integer"},"images":{"type":"keyword","index": false},"staticUrl":{"type":"keyword","index": false},"authorId": {"type": "long"},"authorName": {"type": "keyword"},"title":{"type":"text","analyzer":"ik_max_word"},"content":{"type":"text","analyzer":"ik_max_word"}}}
}

1.3 索引数据同步

①app文章历史数据导入ES

1、创建es索引和映射
前面创建过了
2、文章微服务集成es功能
导入es服务的依赖
3、编写单元测试将历史状态正常的文章数据同步到es中
数据量特别少一次导入
数据量特别多分批导入，一次一两千条

mapper接口和sql语句

/**
* 查询es需要的全部文章数据* @return*/
List<SearchArticleVo> loadSearchArticleList();

<select id="loadSearchArticleList" resultType="com.heima.model.search.vos.SearchArticleVo">select aa.*, aacc.content from ap_article aaleft join ap_article_config aac on aa.id=aac.article_idLEFT JOIN ap_article_content aacc on aa.id = aacc.article_id
where aac.is_down=0 and aac.is_delete=0</select>

测试类代码

@Autowired
private RestHighLevelClient client;
/*** 将历史文章数据导入ES中*/
@Test
public void testImportES() throws IOException {// 1. 查询所有状态正常的文章列表List<SearchArticleVo> searchArticleVoList = apArticleMapper.loadSearchArticleList();// 2. 构建BulkRequest批量请求对象BulkRequest bulkRequest = new BulkRequest();// 3. 遍历文章列表逐一添加IndexRequestfor (SearchArticleVo searchArticleVo : searchArticleVoList) {IndexRequest indexRequest = new IndexRequest("app_info_article");indexRequest.source(JSON.toJSONString(searchArticleVo), XContentType.JSON).id(String.valueOf(searchArticleVo.getId()));bulkRequest.add(indexRequest);}// 4. 执行restHighLevelClient的bulk批量插入文档请求BulkResponse bulk = client.bulk(bulkRequest, RequestOptions.DEFAULT);// 5. 获取响应结果数据并输出int status = bulk.status().getStatus();System.out.println("导入完成，响应状态码"+status);System.out.println("==============================================================================================");BulkItemResponse[] items = bulk.getItems();for (BulkItemResponse item : items) {String result = item.getResponse().getResult().getLowercase();System.out.println(result);}
}

②文章实时数据导入ES

跨服务调用的异步，要使用mq

生产者

kafka:bootstrap-servers: 192.168.200.130:9092producer:retries: 10key-serializer: org.apache.kafka.common.serialization.StringSerializervalue-serializer: org.apache.kafka.common.serialization.StringSerializer

// 5. 封装es所需的数据转为JSON，生产到Kafka中
SearchArticleVo searchArticleVo = new SearchArticleVo();
BeanUtils.copyProperties(apArticle,searchArticleVo);
searchArticleVo.setStaticUrl(url);
searchArticleVo.setContent(contentStr);
String articleJson = JSON.toJSONString(searchArticleVo);
kafkaTemplate.send(ArticleConstants.ARTICLE_ES_SYNC_TOPIC,articleJson);

消费者

spring:kafka:bootstrap-servers: 192.168.200.130:9092consumer:group-id: ${spring.application.name}key-deserializer: org.apache.kafka.common.serialization.StringDeserializervalue-deserializer: org.apache.kafka.common.serialization.StringDeserializer

@Component
@Slf4j
public class ApArticleImportESListener {@Autowiredprivate RestHighLevelClient client;@KafkaListener(topics = ArticleConstants.ARTICLE_ES_SYNC_TOPIC)public void msg (ConsumerRecord<String,String> consumerRecord) {if (consumerRecord != null) {String articleJSON = consumerRecord.value();SearchArticleVo searchArticleVo = JSON.parseObject(articleJSON, SearchArticleVo.class);IndexRequest indexRequest = new IndexRequest("app_info_article");indexRequest.source(articleJSON, XContentType.JSON).id(searchArticleVo.getId().toString());try {IndexResponse indexResponse = client.index(indexRequest, RequestOptions.DEFAULT);String result = indexResponse.getResult().getLowercase();String desc = result.equals("created") ? "导入成功" : "导入失败";log.info("[异步导入APP文章到ES]，导入结果：{}", desc);} catch (IOException e) {throw new RuntimeException(e);}}}
}

1.4 文章搜索多条件复合查询

①关键词搜索

②搜索接口定义

2、搜索历史记录

2.1 需求说明

• 异步保存搜索记录
• 默认查询10条搜索记录，按照搜索关键词的时间倒序
• 可以删除搜索记录

2.2 数据存储说明

用户的搜索记录，需要给每一个用户都保存一份，数据量大，要求加载速度快，通常这样的数据存储到mongodb更合适，不建议直接存储到关系型数据库中

2.1 异步保存搜索历史

①实现思路

保存的数据量太大，不想同步影响效率，采用异步保存

@Service
@Slf4j
public class ApUserSearchServiceImpl implements ApUserSearchService {@Autowiredprivate MongoTemplate mongoTemplate;@Async("taskExecutor")@Overridepublic void insert(String keyword, Integer userId) {// 1. 查询搜索记录Query query = Query.query(Criteria.where("keyword").is(keyword).and("userId").is(userId));ApUserSearch apUserSearch = mongoTemplate.findOne(query, ApUserSearch.class);// 2. 如果搜索记录不存在，则保存搜索记录if (apUserSearch == null) {apUserSearch = new ApUserSearch();SnowflakeIdWorker isWorker = new SnowflakeIdWorker(10, 10);apUserSearch.setId(isWorker.nextId());// 使用雪花算法的值当做主键IDapUserSearch.setUserId(userId);apUserSearch.setKeyword(keyword);apUserSearch.setIsDeleted(0); // 未删除apUserSearch.setCreatedTime(new Date());apUserSearch.setUpdatedTime(new Date());mongoTemplate.save(apUserSearch);return;}// 3. 如果搜索记录存在且未删除,则更新updatedTimeif (apUserSearch.getIsDeleted() == 0) {apUserSearch.setUpdatedTime(new Date());mongoTemplate.save(apUserSearch);return;}// 4. 如果搜索记录存在且已删除，则更新为未删除及更新updateTimeapUserSearch.setIsDeleted(0);apUserSearch.setUpdatedTime(new Date());mongoTemplate.save(apUserSearch);}
}

2.2 查看搜索历史列表

①接口定义

按照当前用户，按照时间倒序查询

@Overridepublic ResponseResult findUserSearch() {// 根据条件查询搜索记录列表（条件：userId和isDeleted 结果：updateTime倒序）Query query = Query.query(Criteria.where("userId").is(ThreadLocalUtil.getUserId()).and("isDeleted").is(0)).with(Sort.by(Sort.Direction.DESC,"updateTime"));query.limit(10);List<ApUserSearch> apUserSearchList = mongoTemplate.find(query, ApUserSearch.class);return ResponseResult.okResult(apUserSearchList);}

2.3 删除搜索历史

根据搜索历史id删除

@Overridepublic ResponseResult delUserSearch(HistorySearchDto dto) {ApUserSearch apUserSearch = mongoTemplate.findById(dto.getId(), ApUserSearch.class);if (apUserSearch == null) {return ResponseResult.errorResult(AppHttpCodeEnum.DATA_NOT_EXIST,"搜索记录不存在");}// 更新记录为已删除apUserSearch.setIsDeleted(1);apUserSearch.setUpdatedTime(new Date());mongoTemplate.save(apUserSearch);return ResponseResult.okResult(AppHttpCodeEnum.SUCCESS);}

3、联想词查询

需求分析

根据用户输入的关键字展示联想词

3.1 联想词的来源

通常是网上搜索频率比较高的一些词，通常在企业中有两部分来源：
第一：自己维护搜索词
通过分析用户搜索频率较高的词，按照排名作为搜索词

第二：第三方获取
关键词规划师（百度）、5118、爱站网

3.2 联想词功能实现

接口定义

正则表达式说明

@Service
@Slf4j
public class ApAssociateWordsServiceImpl implements ApAssociateWordsService {@Autowiredprivate MongoTemplate mongoTemplate;@Overridepublic ResponseResult search(UserSearchDto dto) {// 替换一切特殊字符dto.setSearchWords(dto.getSearchWords().replaceAll("[^\u4e00-\u9fa5a-zA-z0-9]", ""));List<ApAssociateWords> apAssociateWordsList = mongoTemplate.find(Query.query(Criteria.where("associateWords").regex(".*?\\" + dto.getSearchWords() + ".*")).limit(dto.getPageSize()), ApAssociateWords.class);return ResponseResult.okResult(apAssociateWordsList);}
}