大数据周会-本周学习内容总结011

开会时间：2023.04.23 15:00 线下会议

目录

01【spark】

02【es同步mysql】

03【下周任务】

---

01【spark】

1. 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】
2. 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、repartition、sortBy、intersection、union、subtract、zip）】
3. 尚硅谷大数据技术Spark教程-笔记03【SparkCore（核心编程，partitionBy、reduceByKey、groupByKey、aggregateByKey、foldByKey、combineByKey、sortByKey、join、leftOuterJoin、cogroup）】

02【es同步mysql】

通过logstash实现mysql与es的双向数据同步

1. logstash -f ../config/newsManager/mysql2es.conf
2. logstash -f ../config/newsManager/es2mysql.conf

1. 不要用线上测试数据库，用自己的本地库。
2. 参考人家的专利，仔细阅读一下。

03【下周任务】

下周任务：

1. mysql与es数据同步专利，仔细阅读一下；
2. es同步mysql，参考上述专利，具体实现一下；
3. 学习后端内容ruoyi。RuoYi-Vue: 🎉 基于SpringBoot，Spring Security，JWT，Vue & Element 的前后端分离权限管理系统，同时提供了 Vue3 的版本