当前位置： 首页 > news >正文

大数据周会-本周学习内容总结011

news 2026/2/8 19:57:02

开会时间：2023.04.23 15:00 线下会议

目录

01【spark】

02【es同步mysql】

03【下周任务】

01【spark】

  1. 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】
  2. 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、repartition、sortBy、intersection、union、subtract、zip）】
  3. 尚硅谷大数据技术Spark教程-笔记03【SparkCore（核心编程，partitionBy、reduceByKey、groupByKey、aggregateByKey、foldByKey、combineByKey、sortByKey、join、leftOuterJoin、cogroup）】

02【es同步mysql】

通过logstash实现mysql与es的双向数据同步

  1. logstash -f ../config/newsManager/mysql2es.conf
  2. logstash -f ../config/newsManager/es2mysql.conf

  1. 不要用线上测试数据库，用自己的本地库。
  2. 参考人家的专利，仔细阅读一下。

03【下周任务】

下周任务：

  1. mysql与es数据同步专利，仔细阅读一下；
  2. es同步mysql，参考上述专利，具体实现一下；
  3. 学习后端内容ruoyi。RuoYi-Vue: 🎉 基于SpringBoot，Spring Security，JWT，Vue & Element 的前后端分离权限管理系统，同时提供了 Vue3 的版本

相关文章：

大数据周会-本周学习内容总结011

开会时间：2023.04.23 15:00 线下会议 目录 01【spark】 02【es同步mysql】 03【下周任务】 01【spark】 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】尚硅谷大数据技术Spark教程-笔记02【SparkCore&am…...

编程日记 2023/4/27 14:20:45

常见的NoSQL数据库介绍

目录 一、NoSQL概述 二、为什么用NoSQL 三、NoSQL特点 四、NoSQL的分类 五、NoSQL适用场景 六、NoSQL不适用场景 一、NoSQL概述 NoSQL(NoSQL Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。 NoSQL 不依赖业务逻辑方式存储&#xf…...

编程日记 2023/4/27 14:15:43

记录安装Nodejs和HBuilderX搭建、部署微信小程序开发环境（一）

文章目录 1 前言2 注册小程序账号3 安装微信开发者工具4 安装Nodejs和HBuilderX4.1 windows用户安装Nodejs4.2 macos/linux用户安装Nodejs4.3 安装HBuilder X 5 创建项目5.1 新建一个项目5.2 进行基本配置 6 HBuilderX同步微信开发者工具6.1 打开服务端口6.2 调用微信开发者工具…...

编程日记 2023/4/27 14:10:37

(一)pyahocorasick和marisa_trie，字符串快速查找的python包，自然语言处理，命名实体识别可用的高效包...

Pyahocorasick Pyahocorasick是一个基于AC自动机算法的字符串匹配工具。它可以用于快速查找多个短字符串在一个长字符串中的所有出现位置。Pyahocorasick可以在构建状态机时使用多线程，从而大大加快构建速度。 安装Pyahocorasick Pyahocorasick可以使用pip命令进行安…...

编程日记 2023/4/27 14:05:36

基于Java+SpringBoot+vue+element驾校管理系统设计和实现

基于JavaSpringBootvueelement驾校管理系统设计和实现 博主介绍：5年java开发经验，专注Java开发、定制、远程、指导等,csdn特邀作者、专注于Java技术领域 作者主页 超级帅帅吴 Java项目精品实战案例《500套》 欢迎点赞 收藏 ⭐留言 文末获取源码联系方式 …...

编程日记 2023/4/27 14:00:34

Unity中值类型和引用类型及使用时的注意事项

什么是值类型，什么是引用类型，Unity中值类型有哪些，引用类型有哪些，使用时需要注意些什么？ 一、值类型和引用类型的概念 A. 值类型 值类型是指变量直接存储其值的数据类型，变量的值被保存在栈中&#xff0…...

编程日记 2023/4/27 13:55:33

PM510V16 3BSE008358R1嵌入式卡件用于励磁系统多用于工业发电

​ PM510V16 3BSE008358R1嵌入式卡件用于励磁系统多用于工业发电 物联网与工业自动化控制系统的联系 当今，物联网可谓是在各大媒体出镜率最高、而且与“智能”联系密切的名词之一。从“管理、控制、智能”的角度来看，其实物联网与工业自动化是一脉相承的…...

编程日记 2023/4/27 13:50:32

AI 这是要杀疯啦！

ChatGPT 是基于 GPT 系列大模型开发出来的一个对话场景的 Demo，它已经让我们见识到了大模型的威力。 但有些开发者的胃口不满足于此，已经开始尝试“突破” AI 的边界了，本文推荐 5 个人工智能的开源项目。其中前两个项目，让人细思…...

编程日记 2023/5/30 18:43:28

【精品示例】超实用Python爬虫入门实例——做一个优质舔狗

引言 最近发现了一个有意思的网站，里面充斥了大量的舔狗箴言。作为一个爬虫发烧友怎么能错过此等机会，咱们直接就是上才艺！ 类的编写 本次爬虫使用了多协程的方案进行，保证了爬虫的速度。在这里我们新建一个爬虫类，…...

编程日记 2023/4/27 13:40:29

TCP流量控制与拥塞控制

什么是流量控制 一条TCP连接的每一侧主机都为该连接设置了接收缓存。当该TCP连接接收到正确的、有序的报文段，就会将数据放入接收缓存。相关联的应用会从缓存中读取数据。 如果发送者发送数据过快、过多，而接收方的应用程序从缓冲区读取的速度较慢&…...

编程日记 2023/4/27 13:35:27

Java_异常

Java_异常 1.什么是异常 ​ 生活中的异常：感冒发烧、电脑蓝屏、手机死机等。 ​ 程序中的异常：磁盘空间不足、网络连接中断、被加载的资源不存在等。 ​ 程序异常解决办法：针对程序中非正常情况，Java语言引入了异常&#xff0…...

编程日记 2023/4/27 13:30:26

自动化工具 接口自动化测试引擎

一、前言： 1、解决痛点：接口自动化测试用例需要人去开发、去维护。 2、实现第一性原理：根据定义的测试策略自动生成接口测试用例。 二、引擎优势： 1、提升人效：降低传统方式中接口测试开发与维护的工作量。 2、覆盖更…...

编程日记 2023/4/27 13:25:25

十三、详解Kubernetes的存储管理器

Kubernetes是一个开源的容器编排系统，它可以自动化地管理容器的部署、扩展和运维。在Kubernetes中，存储管理器是一个重要的组件，它负责管理容器的存储资源，包括持久化存储和临时存储。 Kubernetes的存储管理器主要有以下几个功能： 提供持久化存储：Kubernetes的存储管理器…...

编程日记 2023/4/27 13:20:24

java版 工程管理系统源码之提高工程项目管理软件的效率

高效的工程项目管理软件不仅能够提高效率还应可以帮你节省成本提升利润 在工程行业中，管理不畅以及不良的项目执行，往往会导致项目延期、成本上升、回款拖后，最终导致项目整体盈利下降。企企管理云业财一体化的项目管理系统，确保…...

编程日记 2023/4/27 13:15:23

VMware 安装 MS-DOS7.10 并配置网络

VMware 安装 MS-DOS7.10 并设置软盘共享 1. 新建虚拟机2. 开机2.1. 这几个地方都可以开机2.2. 手速慢，进不了BIOS的朋友可以点这里 安装 MS-DOS7.101. 先选 1 安装 MS-DOS7.10 回车2. 欢迎页面，客气一下而已，继续 Next3. 继续王婆卖瓜4. 这步…...

编程日记 2023/4/27 13:10:22

嵌入式51单片机04-矩阵按键系列

文章目录 矩阵按键一、矩阵按键基础知识二、矩阵按键系列代码1. 矩阵按键操作（显示数字）（1）仿真电路图（2）源代码（3）实验结果 2. 矩阵按键操作（控制数码管）&am…...

编程日记 2023/4/27 13:05:20

某安全对抗行走APP逆向分析

1.定位url 抓包： https://api5.xxxx.com/xxx-rest-service/message/fun_getnearby 看一下参数： opentime：时间戳 reqdata：base64编码 sign 未知，需要解密 # -*- coding: utf-8 -*- # @Author : Codeooo # @Time : 2022-10-14import frida, sysm199a = "&qu…...

编程日记 2023/4/27 13:00:19

数据库基础篇 《11.数据处理之增删改》

目录 1. 插入数据 1.1 实际问题 1.2 方式1：VALUES的方式添加 1.3 方式2：将查询结果插入到表中 2. 更新数据 3. 删除数据 4. MySQL8新特性：计算列 5. 综合案例 6. 课后练习 练习1 练习2 1. 插入数据 1.1 实际问题 解决方式&#x…...

编程日记 2023/4/27 12:55:18

IDEA插件-MavenHapler

1.安装Maven Helper Maven Helper 是 IntelliJ IDEA 中的一个插件，可以帮助您管理 Maven 依赖项。它可以帮助您更容易地删除不再需要的依赖项，查看依赖项的冲突，以及执行其他有关 Maven 依赖项的操作。 打开 IDEA 设置页面： 在插…...

编程日记 2023/4/27 12:50:17

getaddrinfo调用crash 的debug过程

前两天，产线报一例crash问题。拿到core文件后，栈展开信息： (gdb) bt #0 0x00007f64a3651aff in raise () from /lib64/libc.so.6 #1 0x00007f64a3624ea5 in abort () from /lib64/libc.so.6 #2 0x00007f64a3694097 in __libc_message () …...

编程日记 2023/5/29 19:55:00

Vim 调用外部命令学习笔记

Vim 外部命令集成完全指南 文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比 常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令 范围操作示例指定行范围处理复合命令示例 实用技…...

编程新知 2025/11/16 8:24:16

Linux链表操作全解析

Linux C语言链表深度解析与实战技巧 一、链表基础概念与内核链表优势1.1 为什么使用链表？1.2 Linux 内核链表与用户态链表的区别 二、内核链表结构与宏解析常用宏/函数 三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势5.1 插入效率5.2 安全…...

编程新知 2025/12/3 20:14:32

【解密LSTM、GRU如何解决传统RNN梯度消失问题】

解密LSTM与GRU：如何让RNN变得更聪明？ 在深度学习的世界里，循环神经网络（RNN）以其卓越的序列数据处理能力广泛应用于自然语言处理、时间序列预测等领域。然而，传统RNN存在的一个严重问题——梯度消失&#…...

编程新知 2025/12/24 1:45:14

电脑插入多块移动硬盘后经常出现卡顿和蓝屏

当电脑在插入多块移动硬盘后频繁出现卡顿和蓝屏问题时，可能涉及硬件资源冲突、驱动兼容性、供电不足或系统设置等多方面原因。以下是逐步排查和解决方案： 1. 检查电源供电问题 问题原因：多块移动硬盘同时运行可能导致USB接口供电不足&#x…...

编程新知 2025/10/28 15:02:57

Android Bitmap治理全解析：从加载优化到泄漏防控的全生命周期管理

引言 Bitmap（位图）是Android应用内存占用的“头号杀手”。一张1080P（1920x1080）的图片以ARGB_8888格式加载时，内存占用高达8MB（192010804字节）。据统计，超过60%的应用OOM崩溃与Bitm…...

编程新知 2026/1/8 22:17:14

零基础在实践中学习网络安全-皮卡丘靶场（第九期-Unsafe Fileupload模块）（yakit方式）

本期内容并不是很难，相信大家会学的很愉快，当然对于有后端基础的朋友来说，本期内容更加容易了解，当然没有基础的也别担心，本期内容会详细解释有关内容 本期用到的软件：yakit（因为经过之前好多期…...

编程新知 2026/1/21 12:29:04

HashMap中的put方法执行流程（流程图）

1 put操作整体流程 HashMap 的 put 操作是其最核心的功能之一。在 JDK 1.8 及以后版本中，其主要逻辑封装在 putVal 这个内部方法中。整个过程大致如下： 初始判断与哈希计算： 首先，putVal 方法会检查当前的 table（也就…...

编程新知 2026/2/8 3:32:52

C++.OpenGL （20/64）混合（Blending）

混合（Blending） 透明效果核心原理 #mermaid-svg-SWG0UzVfJms7Sm3e {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-icon{fill:#552222;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-text{fill…...

编程新知 2026/1/20 5:33:17

Caliper 配置文件解析：fisco-bcos.json

config.yaml 文件 config.yaml 是 Caliper 的主配置文件，通常包含以下内容： test:name: fisco-bcos-test # 测试名称description: Performance test of FISCO-BCOS # 测试描述workers:type: local # 工作进程类型number: 5 # 工作进程数量monitor:type: - docker- pro…...

编程新知 2025/10/24 15:14:02

redis和redission的区别

Redis 和 Redisson 是两个密切相关但又本质不同的技术，它们扮演着完全不同的角色： Redis: 内存数据库/数据结构存储 本质： 它是一个开源的、高性能的、基于内存的 键值存储数据库。它也可以将数据持久化到磁盘。 核心功能： 提供丰…...

编程新知 2025/11/6 1:34:07