当前位置： 首页 > news >正文

大数据周会-本周学习内容总结011

news 2026/4/2 17:03:43

开会时间：2023.04.23 15:00 线下会议

目录

01【spark】

02【es同步mysql】

03【下周任务】

01【spark】

  1. 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】
  2. 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、repartition、sortBy、intersection、union、subtract、zip）】
  3. 尚硅谷大数据技术Spark教程-笔记03【SparkCore（核心编程，partitionBy、reduceByKey、groupByKey、aggregateByKey、foldByKey、combineByKey、sortByKey、join、leftOuterJoin、cogroup）】

02【es同步mysql】

通过logstash实现mysql与es的双向数据同步

  1. logstash -f ../config/newsManager/mysql2es.conf
  2. logstash -f ../config/newsManager/es2mysql.conf

  1. 不要用线上测试数据库，用自己的本地库。
  2. 参考人家的专利，仔细阅读一下。

03【下周任务】

下周任务：

  1. mysql与es数据同步专利，仔细阅读一下；
  2. es同步mysql，参考上述专利，具体实现一下；
  3. 学习后端内容ruoyi。RuoYi-Vue: 🎉 基于SpringBoot，Spring Security，JWT，Vue & Element 的前后端分离权限管理系统，同时提供了 Vue3 的版本

相关文章：

大数据周会-本周学习内容总结011

开会时间：2023.04.23 15:00 线下会议 目录 01【spark】 02【es同步mysql】 03【下周任务】 01【spark】 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】尚硅谷大数据技术Spark教程-笔记02【SparkCore&am…...

编程日记 2023/4/27 14:20:45

常见的NoSQL数据库介绍

目录 一、NoSQL概述 二、为什么用NoSQL 三、NoSQL特点 四、NoSQL的分类 五、NoSQL适用场景 六、NoSQL不适用场景 一、NoSQL概述 NoSQL(NoSQL Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。 NoSQL 不依赖业务逻辑方式存储&#xf…...

编程日记 2023/4/27 14:15:43

记录安装Nodejs和HBuilderX搭建、部署微信小程序开发环境（一）

文章目录 1 前言2 注册小程序账号3 安装微信开发者工具4 安装Nodejs和HBuilderX4.1 windows用户安装Nodejs4.2 macos/linux用户安装Nodejs4.3 安装HBuilder X 5 创建项目5.1 新建一个项目5.2 进行基本配置 6 HBuilderX同步微信开发者工具6.1 打开服务端口6.2 调用微信开发者工具…...

编程日记 2023/4/27 14:10:37

(一)pyahocorasick和marisa_trie，字符串快速查找的python包，自然语言处理，命名实体识别可用的高效包...

Pyahocorasick Pyahocorasick是一个基于AC自动机算法的字符串匹配工具。它可以用于快速查找多个短字符串在一个长字符串中的所有出现位置。Pyahocorasick可以在构建状态机时使用多线程，从而大大加快构建速度。 安装Pyahocorasick Pyahocorasick可以使用pip命令进行安…...

编程日记 2023/4/27 14:05:36

基于Java+SpringBoot+vue+element驾校管理系统设计和实现

基于JavaSpringBootvueelement驾校管理系统设计和实现 博主介绍：5年java开发经验，专注Java开发、定制、远程、指导等,csdn特邀作者、专注于Java技术领域 作者主页 超级帅帅吴 Java项目精品实战案例《500套》 欢迎点赞 收藏 ⭐留言 文末获取源码联系方式 …...

编程日记 2023/4/27 14:00:34

Unity中值类型和引用类型及使用时的注意事项

什么是值类型，什么是引用类型，Unity中值类型有哪些，引用类型有哪些，使用时需要注意些什么？ 一、值类型和引用类型的概念 A. 值类型 值类型是指变量直接存储其值的数据类型，变量的值被保存在栈中&#xff0…...

编程日记 2023/4/27 13:55:33

PM510V16 3BSE008358R1嵌入式卡件用于励磁系统多用于工业发电

​ PM510V16 3BSE008358R1嵌入式卡件用于励磁系统多用于工业发电 物联网与工业自动化控制系统的联系 当今，物联网可谓是在各大媒体出镜率最高、而且与“智能”联系密切的名词之一。从“管理、控制、智能”的角度来看，其实物联网与工业自动化是一脉相承的…...

编程日记 2023/4/27 13:50:32

AI 这是要杀疯啦！

ChatGPT 是基于 GPT 系列大模型开发出来的一个对话场景的 Demo，它已经让我们见识到了大模型的威力。 但有些开发者的胃口不满足于此，已经开始尝试“突破” AI 的边界了，本文推荐 5 个人工智能的开源项目。其中前两个项目，让人细思…...

编程日记 2023/5/30 18:43:28

【精品示例】超实用Python爬虫入门实例——做一个优质舔狗

引言 最近发现了一个有意思的网站，里面充斥了大量的舔狗箴言。作为一个爬虫发烧友怎么能错过此等机会，咱们直接就是上才艺！ 类的编写 本次爬虫使用了多协程的方案进行，保证了爬虫的速度。在这里我们新建一个爬虫类，…...

编程日记 2023/4/27 13:40:29

TCP流量控制与拥塞控制

什么是流量控制 一条TCP连接的每一侧主机都为该连接设置了接收缓存。当该TCP连接接收到正确的、有序的报文段，就会将数据放入接收缓存。相关联的应用会从缓存中读取数据。 如果发送者发送数据过快、过多，而接收方的应用程序从缓冲区读取的速度较慢&…...

编程日记 2023/4/27 13:35:27

Java_异常

Java_异常 1.什么是异常 ​ 生活中的异常：感冒发烧、电脑蓝屏、手机死机等。 ​ 程序中的异常：磁盘空间不足、网络连接中断、被加载的资源不存在等。 ​ 程序异常解决办法：针对程序中非正常情况，Java语言引入了异常&#xff0…...

编程日记 2023/4/27 13:30:26

自动化工具 接口自动化测试引擎

一、前言： 1、解决痛点：接口自动化测试用例需要人去开发、去维护。 2、实现第一性原理：根据定义的测试策略自动生成接口测试用例。 二、引擎优势： 1、提升人效：降低传统方式中接口测试开发与维护的工作量。 2、覆盖更…...

编程日记 2023/4/27 13:25:25

十三、详解Kubernetes的存储管理器

Kubernetes是一个开源的容器编排系统，它可以自动化地管理容器的部署、扩展和运维。在Kubernetes中，存储管理器是一个重要的组件，它负责管理容器的存储资源，包括持久化存储和临时存储。 Kubernetes的存储管理器主要有以下几个功能： 提供持久化存储：Kubernetes的存储管理器…...

编程日记 2023/4/27 13:20:24

java版 工程管理系统源码之提高工程项目管理软件的效率

高效的工程项目管理软件不仅能够提高效率还应可以帮你节省成本提升利润 在工程行业中，管理不畅以及不良的项目执行，往往会导致项目延期、成本上升、回款拖后，最终导致项目整体盈利下降。企企管理云业财一体化的项目管理系统，确保…...

编程日记 2023/4/27 13:15:23

VMware 安装 MS-DOS7.10 并配置网络

VMware 安装 MS-DOS7.10 并设置软盘共享 1. 新建虚拟机2. 开机2.1. 这几个地方都可以开机2.2. 手速慢，进不了BIOS的朋友可以点这里 安装 MS-DOS7.101. 先选 1 安装 MS-DOS7.10 回车2. 欢迎页面，客气一下而已，继续 Next3. 继续王婆卖瓜4. 这步…...

编程日记 2023/4/27 13:10:22

嵌入式51单片机04-矩阵按键系列

文章目录 矩阵按键一、矩阵按键基础知识二、矩阵按键系列代码1. 矩阵按键操作（显示数字）（1）仿真电路图（2）源代码（3）实验结果 2. 矩阵按键操作（控制数码管）&am…...

编程日记 2023/4/27 13:05:20

某安全对抗行走APP逆向分析

1.定位url 抓包： https://api5.xxxx.com/xxx-rest-service/message/fun_getnearby 看一下参数： opentime：时间戳 reqdata：base64编码 sign 未知，需要解密 # -*- coding: utf-8 -*- # @Author : Codeooo # @Time : 2022-10-14import frida, sysm199a = "&qu…...

编程日记 2023/4/27 13:00:19

数据库基础篇 《11.数据处理之增删改》

目录 1. 插入数据 1.1 实际问题 1.2 方式1：VALUES的方式添加 1.3 方式2：将查询结果插入到表中 2. 更新数据 3. 删除数据 4. MySQL8新特性：计算列 5. 综合案例 6. 课后练习 练习1 练习2 1. 插入数据 1.1 实际问题 解决方式&#x…...

编程日记 2023/4/27 12:55:18

IDEA插件-MavenHapler

1.安装Maven Helper Maven Helper 是 IntelliJ IDEA 中的一个插件，可以帮助您管理 Maven 依赖项。它可以帮助您更容易地删除不再需要的依赖项，查看依赖项的冲突，以及执行其他有关 Maven 依赖项的操作。 打开 IDEA 设置页面： 在插…...

编程日记 2023/4/27 12:50:17

getaddrinfo调用crash 的debug过程

前两天，产线报一例crash问题。拿到core文件后，栈展开信息： (gdb) bt #0 0x00007f64a3651aff in raise () from /lib64/libc.so.6 #1 0x00007f64a3624ea5 in abort () from /lib64/libc.so.6 #2 0x00007f64a3694097 in __libc_message () …...

编程日记 2023/5/29 19:55:00

【KS-Downloader】快手无水印内容获取开源工具技术解析

【KS-Downloader】快手无水印内容获取开源工具技术解析 【免费下载链接】KS-Downloader 快手（KuaiShou）视频/图片下载工具；数据采集工具 项目地址: https://gitcode.com/gh_mirrors/ks/KS-Downloader 在短视频内容创作领域&#xff0c…...

编程新知 2026/4/2 14:54:28

零基础学linux：借助快马ai生成你的第一份命令手册与实战练习脚本

作为一个从图形界面转战Linux命令行的过来人，我完全理解新手面对黑底白字终端时的茫然感。最近在InsCode(快马)平台尝试用AI辅助学习时，发现它特别适合解决这个痛点——不仅能生成清晰易懂的命令手册，还能创建可交互的练习脚本，就…...

编程新知 2026/4/2 13:34:40

揭秘100.64.0.0/10：运营商级NAT如何重塑IPv4网络格局

1. 100.64.0.0/10：这个神秘IP段到底是什么？ 第一次在路由器后台看到100.64.0.1这个IP时，我整个人都懵了——这既不是常见的192.168局域网地址，也不是公网IP。就像发现自家门牌号突然变成了酒店房间号，这种违和感促使我…...

编程新知 2026/4/2 12:03:26

MATLAB plot()函数实战：从数据到专业图表的完整工作流

1. 数据准备：从原始数据到可绘图格式 第一次用MATLAB画图时，我直接把Excel表格里的数据复制粘贴进去，结果plot()函数报错让我懵了半天。后来才发现，数据格式转换是绘图的第一步关键操作。假设你手头有一组温度传感器采集的时序数据…...

编程新知 2026/4/2 11:18:32

重构时间选择体验：flatpickr的现代前端实践指南

重构时间选择体验：flatpickr的现代前端实践指南 【免费下载链接】flatpickr lightweight, powerful javascript datetimepicker with no dependencies 项目地址: https://gitcode.com/gh_mirrors/fl/flatpickr 问题引入：你的时间选择器是否还在制…...

编程新知 2026/4/2 11:08:26

从炸管到稳定运行：我的MOSFET应用避坑实录（附热设计、驱动电路实测数据）

从炸管到稳定运行：我的MOSFET应用避坑实录 去年夏天，当我设计的48V转12V DC-DC模块第三次在高温测试中炸毁时，实验室里弥漫的焦糊味终于让我意识到：MOSFET的应用远不是选个低Rds(on)就万事大吉。作为从业十年的电源工程师&#x…...

编程新知 2026/4/2 10:34:09

开关电源拓扑结构解析：从反激到正激的实战应用

1. 开关电源拓扑结构入门指南 第一次接触开关电源设计时，我被各种拓扑结构搞得晕头转向。直到有次把电源板烧冒烟了才明白，选错拓扑就像用菜刀砍柴——不是不能用，但效率低还危险。开关电源拓扑结构决定了电能转换的基本框架，就像…...

编程新知 2026/4/2 9:57:41

javaweb农业合作社果蔬批发农产品商城信息管理系统的设计与实现

目录同行可拿货,招校园代理 ,本人源头供货商功能模块分析交易与订单模块数据分析与报表模块物流与配送模块系统管理模块技术实现要点项目技术支持源码获取详细视频演示 ：文章底部获取博主联系方式！同行可合作同行可拿货,招校园代理 ,本人源头供货商 功能…...

编程新知 2026/4/2 9:04:41

告别文档下载时代：基于Vue的Office在线预览解决方案全指南

告别文档下载时代：基于Vue的Office在线预览解决方案全指南 【免费下载链接】wps-view-vue wps在线编辑、预览前端vue项目，基于es6 项目地址: https://gitcode.com/gh_mirrors/wp/wps-view-vue 在数字化办公的今天，文档预览功能已成为企…...

编程新知 2026/4/2 9:02:39

广州邮科如何为你的系统选择合适的在线式充电机？

设备运行最怕断电。在线式充电机，就是那个能让设备“永不断电”的充电神器。今天咱们用大白话，把它讲清楚。它到底是什么？简单说，就是能一边给设备供电，一边给电池充电的智能设备。设备不用停机，电池也能充…...

编程新知 2026/4/2 8:11:56