当前位置： 首页 > news >正文

大数据周会-本周学习内容总结011

news 2025/12/23 4:44:47

开会时间：2023.04.23 15:00 线下会议

目录

01【spark】

02【es同步mysql】

03【下周任务】

01【spark】

  1. 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】
  2. 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、repartition、sortBy、intersection、union、subtract、zip）】
  3. 尚硅谷大数据技术Spark教程-笔记03【SparkCore（核心编程，partitionBy、reduceByKey、groupByKey、aggregateByKey、foldByKey、combineByKey、sortByKey、join、leftOuterJoin、cogroup）】

02【es同步mysql】

通过logstash实现mysql与es的双向数据同步

  1. logstash -f ../config/newsManager/mysql2es.conf
  2. logstash -f ../config/newsManager/es2mysql.conf

  1. 不要用线上测试数据库，用自己的本地库。
  2. 参考人家的专利，仔细阅读一下。

03【下周任务】

下周任务：

  1. mysql与es数据同步专利，仔细阅读一下；
  2. es同步mysql，参考上述专利，具体实现一下；
  3. 学习后端内容ruoyi。RuoYi-Vue: 🎉 基于SpringBoot，Spring Security，JWT，Vue & Element 的前后端分离权限管理系统，同时提供了 Vue3 的版本

相关文章：

大数据周会-本周学习内容总结011

开会时间：2023.04.23 15:00 线下会议 目录 01【spark】 02【es同步mysql】 03【下周任务】 01【spark】 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】尚硅谷大数据技术Spark教程-笔记02【SparkCore&am…...

编程日记 2023/4/27 14:20:45

常见的NoSQL数据库介绍

目录 一、NoSQL概述 二、为什么用NoSQL 三、NoSQL特点 四、NoSQL的分类 五、NoSQL适用场景 六、NoSQL不适用场景 一、NoSQL概述 NoSQL(NoSQL Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。 NoSQL 不依赖业务逻辑方式存储&#xf…...

编程日记 2023/4/27 14:15:43

记录安装Nodejs和HBuilderX搭建、部署微信小程序开发环境（一）

文章目录 1 前言2 注册小程序账号3 安装微信开发者工具4 安装Nodejs和HBuilderX4.1 windows用户安装Nodejs4.2 macos/linux用户安装Nodejs4.3 安装HBuilder X 5 创建项目5.1 新建一个项目5.2 进行基本配置 6 HBuilderX同步微信开发者工具6.1 打开服务端口6.2 调用微信开发者工具…...

编程日记 2023/4/27 14:10:37

(一)pyahocorasick和marisa_trie，字符串快速查找的python包，自然语言处理，命名实体识别可用的高效包...

Pyahocorasick Pyahocorasick是一个基于AC自动机算法的字符串匹配工具。它可以用于快速查找多个短字符串在一个长字符串中的所有出现位置。Pyahocorasick可以在构建状态机时使用多线程，从而大大加快构建速度。 安装Pyahocorasick Pyahocorasick可以使用pip命令进行安…...

编程日记 2023/4/27 14:05:36

基于Java+SpringBoot+vue+element驾校管理系统设计和实现

基于JavaSpringBootvueelement驾校管理系统设计和实现 博主介绍：5年java开发经验，专注Java开发、定制、远程、指导等,csdn特邀作者、专注于Java技术领域 作者主页 超级帅帅吴 Java项目精品实战案例《500套》 欢迎点赞 收藏 ⭐留言 文末获取源码联系方式 …...

编程日记 2023/4/27 14:00:34

Unity中值类型和引用类型及使用时的注意事项

什么是值类型，什么是引用类型，Unity中值类型有哪些，引用类型有哪些，使用时需要注意些什么？ 一、值类型和引用类型的概念 A. 值类型 值类型是指变量直接存储其值的数据类型，变量的值被保存在栈中&#xff0…...

编程日记 2023/4/27 13:55:33

PM510V16 3BSE008358R1嵌入式卡件用于励磁系统多用于工业发电

​ PM510V16 3BSE008358R1嵌入式卡件用于励磁系统多用于工业发电 物联网与工业自动化控制系统的联系 当今，物联网可谓是在各大媒体出镜率最高、而且与“智能”联系密切的名词之一。从“管理、控制、智能”的角度来看，其实物联网与工业自动化是一脉相承的…...

编程日记 2023/4/27 13:50:32

AI 这是要杀疯啦！

ChatGPT 是基于 GPT 系列大模型开发出来的一个对话场景的 Demo，它已经让我们见识到了大模型的威力。 但有些开发者的胃口不满足于此，已经开始尝试“突破” AI 的边界了，本文推荐 5 个人工智能的开源项目。其中前两个项目，让人细思…...

编程日记 2023/5/30 18:43:28

【精品示例】超实用Python爬虫入门实例——做一个优质舔狗

引言 最近发现了一个有意思的网站，里面充斥了大量的舔狗箴言。作为一个爬虫发烧友怎么能错过此等机会，咱们直接就是上才艺！ 类的编写 本次爬虫使用了多协程的方案进行，保证了爬虫的速度。在这里我们新建一个爬虫类，…...

编程日记 2023/4/27 13:40:29

TCP流量控制与拥塞控制

什么是流量控制 一条TCP连接的每一侧主机都为该连接设置了接收缓存。当该TCP连接接收到正确的、有序的报文段，就会将数据放入接收缓存。相关联的应用会从缓存中读取数据。 如果发送者发送数据过快、过多，而接收方的应用程序从缓冲区读取的速度较慢&…...

编程日记 2023/4/27 13:35:27

Java_异常

Java_异常 1.什么是异常 ​ 生活中的异常：感冒发烧、电脑蓝屏、手机死机等。 ​ 程序中的异常：磁盘空间不足、网络连接中断、被加载的资源不存在等。 ​ 程序异常解决办法：针对程序中非正常情况，Java语言引入了异常&#xff0…...

编程日记 2023/4/27 13:30:26

自动化工具 接口自动化测试引擎

一、前言： 1、解决痛点：接口自动化测试用例需要人去开发、去维护。 2、实现第一性原理：根据定义的测试策略自动生成接口测试用例。 二、引擎优势： 1、提升人效：降低传统方式中接口测试开发与维护的工作量。 2、覆盖更…...

编程日记 2023/4/27 13:25:25

十三、详解Kubernetes的存储管理器

Kubernetes是一个开源的容器编排系统，它可以自动化地管理容器的部署、扩展和运维。在Kubernetes中，存储管理器是一个重要的组件，它负责管理容器的存储资源，包括持久化存储和临时存储。 Kubernetes的存储管理器主要有以下几个功能： 提供持久化存储：Kubernetes的存储管理器…...

编程日记 2023/4/27 13:20:24

java版 工程管理系统源码之提高工程项目管理软件的效率

高效的工程项目管理软件不仅能够提高效率还应可以帮你节省成本提升利润 在工程行业中，管理不畅以及不良的项目执行，往往会导致项目延期、成本上升、回款拖后，最终导致项目整体盈利下降。企企管理云业财一体化的项目管理系统，确保…...

编程日记 2023/4/27 13:15:23

VMware 安装 MS-DOS7.10 并配置网络

VMware 安装 MS-DOS7.10 并设置软盘共享 1. 新建虚拟机2. 开机2.1. 这几个地方都可以开机2.2. 手速慢，进不了BIOS的朋友可以点这里 安装 MS-DOS7.101. 先选 1 安装 MS-DOS7.10 回车2. 欢迎页面，客气一下而已，继续 Next3. 继续王婆卖瓜4. 这步…...

编程日记 2023/4/27 13:10:22

嵌入式51单片机04-矩阵按键系列

文章目录 矩阵按键一、矩阵按键基础知识二、矩阵按键系列代码1. 矩阵按键操作（显示数字）（1）仿真电路图（2）源代码（3）实验结果 2. 矩阵按键操作（控制数码管）&am…...

编程日记 2023/4/27 13:05:20

某安全对抗行走APP逆向分析

1.定位url 抓包： https://api5.xxxx.com/xxx-rest-service/message/fun_getnearby 看一下参数： opentime：时间戳 reqdata：base64编码 sign 未知，需要解密 # -*- coding: utf-8 -*- # @Author : Codeooo # @Time : 2022-10-14import frida, sysm199a = "&qu…...

编程日记 2023/4/27 13:00:19

数据库基础篇 《11.数据处理之增删改》

目录 1. 插入数据 1.1 实际问题 1.2 方式1：VALUES的方式添加 1.3 方式2：将查询结果插入到表中 2. 更新数据 3. 删除数据 4. MySQL8新特性：计算列 5. 综合案例 6. 课后练习 练习1 练习2 1. 插入数据 1.1 实际问题 解决方式&#x…...

编程日记 2023/4/27 12:55:18

IDEA插件-MavenHapler

1.安装Maven Helper Maven Helper 是 IntelliJ IDEA 中的一个插件，可以帮助您管理 Maven 依赖项。它可以帮助您更容易地删除不再需要的依赖项，查看依赖项的冲突，以及执行其他有关 Maven 依赖项的操作。 打开 IDEA 设置页面： 在插…...

编程日记 2023/4/27 12:50:17

getaddrinfo调用crash 的debug过程

前两天，产线报一例crash问题。拿到core文件后，栈展开信息： (gdb) bt #0 0x00007f64a3651aff in raise () from /lib64/libc.so.6 #1 0x00007f64a3624ea5 in abort () from /lib64/libc.so.6 #2 0x00007f64a3694097 in __libc_message () …...

编程日记 2023/5/29 19:55:00

java_网络服务相关_gateway_nacos_feign区别联系

1. spring-cloud-starter-gateway 作用：作为微服务架构的网关，统一入口，处理所有外部请求。 核心能力： 路由转发（基于路径、服务名等）过滤器（鉴权、限流、日志、Header 处理）支持负…...

编程新知 2025/11/28 2:51:33

python打卡day49

知识点回顾： 通道注意力模块复习空间注意力模块CBAM的定义 作业：尝试对今天的模型检查参数数目，并用tensorboard查看训练过程 import torch import torch.nn as nn# 定义通道注意力 class ChannelAttention(nn.Module):def __init__(self,…...

编程新知 2025/12/19 0:02:24

JavaScript 中的 ES|QL：利用 Apache Arrow 工具

作者：来自 Elastic Jeffrey Rengifo 学习如何将 ES|QL 与 JavaScript 的 Apache Arrow 客户端工具一起使用。 想获得 Elastic 认证吗？了解下一期 Elasticsearch Engineer 培训的时间吧！ Elasticsearch 拥有众多新功能，助你为自己…...

编程新知 2025/12/19 13:12:47

Python：操作 Excel 折叠

💖亲爱的技术爱好者们，热烈欢迎来到 Kant2048 的博客！我是 Thomas Kant，很开心能在CSDN上与你们相遇～💖 本博客的精华专栏： 【自动化测试】 【测试经验】 【人工智能】 【Python】 Python 操作 Excel 系列 读取单元格数据按行写入设置行高和列宽自动调整行高和列宽水平…...

编程新知 2025/12/22 13:23:09

连锁超市冷库节能解决方案：如何实现超市降本增效

在连锁超市冷库运营中，高能耗、设备损耗快、人工管理低效等问题长期困扰企业。御控冷库节能解决方案通过智能控制化霜、按需化霜、实时监控、故障诊断、自动预警、远程控制开关六大核心技术，实现年省电费15%-60%，且不改动原有装备、安装快捷、…...

编程新知 2025/11/30 16:55:29

ESP32读取DHT11温湿度数据

芯片：ESP32 环境：Arduino 一、安装DHT11传感器库 红框的库，别安装错了 二、代码 注意，DATA口要连接在D15上 #include "DHT.h" // 包含DHT库#define DHTPIN 15 // 定义DHT11数据引脚连接到ESP32的GPIO15 #define D…...

编程新知 2025/12/21 20:26:20

Caliper 配置文件解析：config.yaml

Caliper 是一个区块链性能基准测试工具，用于评估不同区块链平台的性能。下面我将详细解释你提供的 fisco-bcos.json 文件结构，并说明它与 config.yaml 文件的关系。 fisco-bcos.json 文件解析 这个文件是针对 FISCO-BCOS 区块链网络的 Caliper 配置文件，主要包含以下几个部…...

编程新知 2025/8/13 13:40:18

在golang中如何将已安装的依赖降级处理，比如：将 go-ansible/v2@v2.2.0 更换为 go-ansible/@v1.1.7

在 Go 项目中降级 go-ansible 从 v2.2.0 到 v1.1.7 具体步骤： 第一步： 修改 go.mod 文件 // 原 v2 版本声明 require github.com/apenella/go-ansible/v2 v2.2.0 替换为： // 改为 v…...

编程新知 2025/10/20 16:05:17

aardio 自动识别验证码输入

技术尝试 上周在发学习日志时有网友提议“在网页上识别验证码”，于是尝试整合图像识别与网页自动化技术，完成了这套模拟登录流程。核心思路是：截图验证码→OCR识别→自动填充表单→提交并验证结果。 代码在这里 import soImage; import we…...

编程新知 2025/12/5 7:23:30

Python 高级应用10：在python 大型项目中 FastAPI 和 Django 的相互配合

无论是python，或者java 的大型项目中，都会涉及到 自身平台微服务之间的相互调用，以及和第三发平台的 接口对接，那在python 中是怎么实现的呢？ 在 Python Web 开发中，FastAPI 和 Django 是两个重要但定位不…...

编程新知 2025/10/26 4:25:02