当前位置： 首页 > news >正文

大数据周会-本周学习内容总结011

news 2026/2/8 18:51:18

开会时间：2023.04.23 15:00 线下会议

目录

01【spark】

02【es同步mysql】

03【下周任务】

01【spark】

  1. 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】
  2. 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、repartition、sortBy、intersection、union、subtract、zip）】
  3. 尚硅谷大数据技术Spark教程-笔记03【SparkCore（核心编程，partitionBy、reduceByKey、groupByKey、aggregateByKey、foldByKey、combineByKey、sortByKey、join、leftOuterJoin、cogroup）】

02【es同步mysql】

通过logstash实现mysql与es的双向数据同步

  1. logstash -f ../config/newsManager/mysql2es.conf
  2. logstash -f ../config/newsManager/es2mysql.conf

  1. 不要用线上测试数据库，用自己的本地库。
  2. 参考人家的专利，仔细阅读一下。

03【下周任务】

下周任务：

  1. mysql与es数据同步专利，仔细阅读一下；
  2. es同步mysql，参考上述专利，具体实现一下；
  3. 学习后端内容ruoyi。RuoYi-Vue: 🎉 基于SpringBoot，Spring Security，JWT，Vue & Element 的前后端分离权限管理系统，同时提供了 Vue3 的版本

相关文章：

大数据周会-本周学习内容总结011

开会时间：2023.04.23 15:00 线下会议 目录 01【spark】 02【es同步mysql】 03【下周任务】 01【spark】 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】尚硅谷大数据技术Spark教程-笔记02【SparkCore&am…...

编程日记 2023/4/27 14:20:45

常见的NoSQL数据库介绍

目录 一、NoSQL概述 二、为什么用NoSQL 三、NoSQL特点 四、NoSQL的分类 五、NoSQL适用场景 六、NoSQL不适用场景 一、NoSQL概述 NoSQL(NoSQL Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。 NoSQL 不依赖业务逻辑方式存储&#xf…...

编程日记 2023/4/27 14:15:43

记录安装Nodejs和HBuilderX搭建、部署微信小程序开发环境（一）

文章目录 1 前言2 注册小程序账号3 安装微信开发者工具4 安装Nodejs和HBuilderX4.1 windows用户安装Nodejs4.2 macos/linux用户安装Nodejs4.3 安装HBuilder X 5 创建项目5.1 新建一个项目5.2 进行基本配置 6 HBuilderX同步微信开发者工具6.1 打开服务端口6.2 调用微信开发者工具…...

编程日记 2023/4/27 14:10:37

(一)pyahocorasick和marisa_trie，字符串快速查找的python包，自然语言处理，命名实体识别可用的高效包...

Pyahocorasick Pyahocorasick是一个基于AC自动机算法的字符串匹配工具。它可以用于快速查找多个短字符串在一个长字符串中的所有出现位置。Pyahocorasick可以在构建状态机时使用多线程，从而大大加快构建速度。 安装Pyahocorasick Pyahocorasick可以使用pip命令进行安…...

编程日记 2023/4/27 14:05:36

基于Java+SpringBoot+vue+element驾校管理系统设计和实现

基于JavaSpringBootvueelement驾校管理系统设计和实现 博主介绍：5年java开发经验，专注Java开发、定制、远程、指导等,csdn特邀作者、专注于Java技术领域 作者主页 超级帅帅吴 Java项目精品实战案例《500套》 欢迎点赞 收藏 ⭐留言 文末获取源码联系方式 …...

编程日记 2023/4/27 14:00:34

Unity中值类型和引用类型及使用时的注意事项

什么是值类型，什么是引用类型，Unity中值类型有哪些，引用类型有哪些，使用时需要注意些什么？ 一、值类型和引用类型的概念 A. 值类型 值类型是指变量直接存储其值的数据类型，变量的值被保存在栈中&#xff0…...

编程日记 2023/4/27 13:55:33

PM510V16 3BSE008358R1嵌入式卡件用于励磁系统多用于工业发电

​ PM510V16 3BSE008358R1嵌入式卡件用于励磁系统多用于工业发电 物联网与工业自动化控制系统的联系 当今，物联网可谓是在各大媒体出镜率最高、而且与“智能”联系密切的名词之一。从“管理、控制、智能”的角度来看，其实物联网与工业自动化是一脉相承的…...

编程日记 2023/4/27 13:50:32

AI 这是要杀疯啦！

ChatGPT 是基于 GPT 系列大模型开发出来的一个对话场景的 Demo，它已经让我们见识到了大模型的威力。 但有些开发者的胃口不满足于此，已经开始尝试“突破” AI 的边界了，本文推荐 5 个人工智能的开源项目。其中前两个项目，让人细思…...

编程日记 2023/5/30 18:43:28

【精品示例】超实用Python爬虫入门实例——做一个优质舔狗

引言 最近发现了一个有意思的网站，里面充斥了大量的舔狗箴言。作为一个爬虫发烧友怎么能错过此等机会，咱们直接就是上才艺！ 类的编写 本次爬虫使用了多协程的方案进行，保证了爬虫的速度。在这里我们新建一个爬虫类，…...

编程日记 2023/4/27 13:40:29

TCP流量控制与拥塞控制

什么是流量控制 一条TCP连接的每一侧主机都为该连接设置了接收缓存。当该TCP连接接收到正确的、有序的报文段，就会将数据放入接收缓存。相关联的应用会从缓存中读取数据。 如果发送者发送数据过快、过多，而接收方的应用程序从缓冲区读取的速度较慢&…...

编程日记 2023/4/27 13:35:27

Java_异常

Java_异常 1.什么是异常 ​ 生活中的异常：感冒发烧、电脑蓝屏、手机死机等。 ​ 程序中的异常：磁盘空间不足、网络连接中断、被加载的资源不存在等。 ​ 程序异常解决办法：针对程序中非正常情况，Java语言引入了异常&#xff0…...

编程日记 2023/4/27 13:30:26

自动化工具 接口自动化测试引擎

一、前言： 1、解决痛点：接口自动化测试用例需要人去开发、去维护。 2、实现第一性原理：根据定义的测试策略自动生成接口测试用例。 二、引擎优势： 1、提升人效：降低传统方式中接口测试开发与维护的工作量。 2、覆盖更…...

编程日记 2023/4/27 13:25:25

十三、详解Kubernetes的存储管理器

Kubernetes是一个开源的容器编排系统，它可以自动化地管理容器的部署、扩展和运维。在Kubernetes中，存储管理器是一个重要的组件，它负责管理容器的存储资源，包括持久化存储和临时存储。 Kubernetes的存储管理器主要有以下几个功能： 提供持久化存储：Kubernetes的存储管理器…...

编程日记 2023/4/27 13:20:24

java版 工程管理系统源码之提高工程项目管理软件的效率

高效的工程项目管理软件不仅能够提高效率还应可以帮你节省成本提升利润 在工程行业中，管理不畅以及不良的项目执行，往往会导致项目延期、成本上升、回款拖后，最终导致项目整体盈利下降。企企管理云业财一体化的项目管理系统，确保…...

编程日记 2023/4/27 13:15:23

VMware 安装 MS-DOS7.10 并配置网络

VMware 安装 MS-DOS7.10 并设置软盘共享 1. 新建虚拟机2. 开机2.1. 这几个地方都可以开机2.2. 手速慢，进不了BIOS的朋友可以点这里 安装 MS-DOS7.101. 先选 1 安装 MS-DOS7.10 回车2. 欢迎页面，客气一下而已，继续 Next3. 继续王婆卖瓜4. 这步…...

编程日记 2023/4/27 13:10:22

嵌入式51单片机04-矩阵按键系列

文章目录 矩阵按键一、矩阵按键基础知识二、矩阵按键系列代码1. 矩阵按键操作（显示数字）（1）仿真电路图（2）源代码（3）实验结果 2. 矩阵按键操作（控制数码管）&am…...

编程日记 2023/4/27 13:05:20

某安全对抗行走APP逆向分析

1.定位url 抓包： https://api5.xxxx.com/xxx-rest-service/message/fun_getnearby 看一下参数： opentime：时间戳 reqdata：base64编码 sign 未知，需要解密 # -*- coding: utf-8 -*- # @Author : Codeooo # @Time : 2022-10-14import frida, sysm199a = "&qu…...

编程日记 2023/4/27 13:00:19

数据库基础篇 《11.数据处理之增删改》

目录 1. 插入数据 1.1 实际问题 1.2 方式1：VALUES的方式添加 1.3 方式2：将查询结果插入到表中 2. 更新数据 3. 删除数据 4. MySQL8新特性：计算列 5. 综合案例 6. 课后练习 练习1 练习2 1. 插入数据 1.1 实际问题 解决方式&#x…...

编程日记 2023/4/27 12:55:18

IDEA插件-MavenHapler

1.安装Maven Helper Maven Helper 是 IntelliJ IDEA 中的一个插件，可以帮助您管理 Maven 依赖项。它可以帮助您更容易地删除不再需要的依赖项，查看依赖项的冲突，以及执行其他有关 Maven 依赖项的操作。 打开 IDEA 设置页面： 在插…...

编程日记 2023/4/27 12:50:17

getaddrinfo调用crash 的debug过程

前两天，产线报一例crash问题。拿到core文件后，栈展开信息： (gdb) bt #0 0x00007f64a3651aff in raise () from /lib64/libc.so.6 #1 0x00007f64a3624ea5 in abort () from /lib64/libc.so.6 #2 0x00007f64a3694097 in __libc_message () …...

编程日记 2023/5/29 19:55:00

未来机器人的大脑：如何用神经网络模拟器实现更智能的决策？

编辑：陈萍萍的公主一点人工一点智能 未来机器人的大脑：如何用神经网络模拟器实现更智能的决策？RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战，在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…...

编程新知 2026/2/7 23:18:28

Java 语言特性(面试系列1)

一、面向对象编程 1. 封装（Encapsulation） 定义：将数据（属性）和操作数据的方法绑定在一起，通过访问控制符（private、protected、public）隐藏内部实现细节。示例： public …...

编程新知 2025/10/6 4:03:40

模型参数、模型存储精度、参数与显存

模型参数量衡量单位 M：百万（Million） B：十亿（Billion） 1 B 1000 M 1B 1000M 1B1000M 参数存储精度 模型参数是固定的，但是一个参数所表示多少字节不一定，需要看这个参数以什么…...

编程新知 2025/12/20 12:32:08

Admin.Net中的消息通信SignalR解释

定义集线器接口 IOnlineUserHub public interface IOnlineUserHub {/// 在线用户列表Task OnlineUserList(OnlineUserList context);/// 强制下线Task ForceOffline(object context);/// 发布站内消息Task PublicNotice(SysNotice context);/// 接收消息Task ReceiveMessage(…...

编程新知 2025/9/10 5:36:56

在HarmonyOS ArkTS ArkUI-X 5.0及以上版本中，手势开发全攻略：

在 HarmonyOS 应用开发中，手势交互是连接用户与设备的核心纽带。ArkTS 框架提供了丰富的手势处理能力，既支持点击、长按、拖拽等基础单一手势的精细控制，也能通过多种绑定策略解决父子组件的手势竞争问题。本文将结合官方开发文档&#xff0c…...

编程新知 2025/9/19 4:31:58

【项目实战】通过多模态+LangGraph实现PPT生成助手

PPT自动生成系统 基于LangGraph的PPT自动生成系统，可以将Markdown文档自动转换为PPT演示文稿。 功能特点 Markdown解析：自动解析Markdown文档结构PPT模板分析：分析PPT模板的布局和风格智能布局决策：匹配内容与合适的PPT布局自动…...

编程新知 2026/2/3 22:50:07

《基于Apache Flink的流处理》笔记

思维导图 1-3 章 4-7章 8-11 章 参考资料 源码： https://github.com/streaming-with-flink 博客 https://flink.apache.org/bloghttps://www.ververica.com/blog 聚会及会议 https://flink-forward.orghttps://www.meetup.com/topics/apache-flink https://n…...

编程新知 2026/1/31 14:55:53

【HTTP三个基础问题】

面试官您好！HTTP是超文本传输协议，是互联网上客户端和服务器之间传输超文本数据（比如文字、图片、音频、视频等）的核心协议，当前互联网应用最广泛的版本是HTTP1.1，它基于经典的C/S模型，也就是客…...

编程新知 2025/12/10 6:18:55

vue3+vite项目中使用.env文件环境变量方法

vue3vite项目中使用.env文件环境变量方法 .env文件作用命名规则常用的配置项示例使用方法注意事项在vite.config.js文件中读取环境变量方法 .env文件作用 .env 文件用于定义环境变量，这些变量可以在项目中通过 import.meta.env 进行访问。Vite 会自动加载这些环境变…...

编程新知 2026/1/26 19:12:01

基于Java Swing的电子通讯录设计与实现：附系统托盘功能代码详解

JAVASQL电子通讯录带系统托盘 一、系统概述 本电子通讯录系统采用Java Swing开发桌面应用，结合SQLite数据库实现联系人管理功能，并集成系统托盘功能提升用户体验。系统支持联系人的增删改查、分组管理、搜索过滤等功能，同时可以最小化到系统…...

编程新知 2025/10/4 20:58:43