当前位置： 首页 > news >正文

大数据周会-本周学习内容总结011

news 2025/9/17 19:31:38

开会时间：2023.04.23 15:00 线下会议

目录

01【spark】

02【es同步mysql】

03【下周任务】

01【spark】

  1. 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】
  2. 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、repartition、sortBy、intersection、union、subtract、zip）】
  3. 尚硅谷大数据技术Spark教程-笔记03【SparkCore（核心编程，partitionBy、reduceByKey、groupByKey、aggregateByKey、foldByKey、combineByKey、sortByKey、join、leftOuterJoin、cogroup）】

02【es同步mysql】

通过logstash实现mysql与es的双向数据同步

  1. logstash -f ../config/newsManager/mysql2es.conf
  2. logstash -f ../config/newsManager/es2mysql.conf

  1. 不要用线上测试数据库，用自己的本地库。
  2. 参考人家的专利，仔细阅读一下。

03【下周任务】

下周任务：

  1. mysql与es数据同步专利，仔细阅读一下；
  2. es同步mysql，参考上述专利，具体实现一下；
  3. 学习后端内容ruoyi。RuoYi-Vue: 🎉 基于SpringBoot，Spring Security，JWT，Vue & Element 的前后端分离权限管理系统，同时提供了 Vue3 的版本

相关文章：

大数据周会-本周学习内容总结011

开会时间：2023.04.23 15:00 线下会议 目录 01【spark】 02【es同步mysql】 03【下周任务】 01【spark】 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】尚硅谷大数据技术Spark教程-笔记02【SparkCore&am…...

编程日记 2023/4/27 14:20:45

常见的NoSQL数据库介绍

目录 一、NoSQL概述 二、为什么用NoSQL 三、NoSQL特点 四、NoSQL的分类 五、NoSQL适用场景 六、NoSQL不适用场景 一、NoSQL概述 NoSQL(NoSQL Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。 NoSQL 不依赖业务逻辑方式存储&#xf…...

编程日记 2023/4/27 14:15:43

记录安装Nodejs和HBuilderX搭建、部署微信小程序开发环境（一）

文章目录 1 前言2 注册小程序账号3 安装微信开发者工具4 安装Nodejs和HBuilderX4.1 windows用户安装Nodejs4.2 macos/linux用户安装Nodejs4.3 安装HBuilder X 5 创建项目5.1 新建一个项目5.2 进行基本配置 6 HBuilderX同步微信开发者工具6.1 打开服务端口6.2 调用微信开发者工具…...

编程日记 2023/4/27 14:10:37

(一)pyahocorasick和marisa_trie，字符串快速查找的python包，自然语言处理，命名实体识别可用的高效包...

Pyahocorasick Pyahocorasick是一个基于AC自动机算法的字符串匹配工具。它可以用于快速查找多个短字符串在一个长字符串中的所有出现位置。Pyahocorasick可以在构建状态机时使用多线程，从而大大加快构建速度。 安装Pyahocorasick Pyahocorasick可以使用pip命令进行安…...

编程日记 2023/4/27 14:05:36

基于Java+SpringBoot+vue+element驾校管理系统设计和实现

基于JavaSpringBootvueelement驾校管理系统设计和实现 博主介绍：5年java开发经验，专注Java开发、定制、远程、指导等,csdn特邀作者、专注于Java技术领域 作者主页 超级帅帅吴 Java项目精品实战案例《500套》 欢迎点赞 收藏 ⭐留言 文末获取源码联系方式 …...

编程日记 2023/4/27 14:00:34

Unity中值类型和引用类型及使用时的注意事项

什么是值类型，什么是引用类型，Unity中值类型有哪些，引用类型有哪些，使用时需要注意些什么？ 一、值类型和引用类型的概念 A. 值类型 值类型是指变量直接存储其值的数据类型，变量的值被保存在栈中&#xff0…...

编程日记 2023/4/27 13:55:33

PM510V16 3BSE008358R1嵌入式卡件用于励磁系统多用于工业发电

​ PM510V16 3BSE008358R1嵌入式卡件用于励磁系统多用于工业发电 物联网与工业自动化控制系统的联系 当今，物联网可谓是在各大媒体出镜率最高、而且与“智能”联系密切的名词之一。从“管理、控制、智能”的角度来看，其实物联网与工业自动化是一脉相承的…...

编程日记 2023/4/27 13:50:32

AI 这是要杀疯啦！

ChatGPT 是基于 GPT 系列大模型开发出来的一个对话场景的 Demo，它已经让我们见识到了大模型的威力。 但有些开发者的胃口不满足于此，已经开始尝试“突破” AI 的边界了，本文推荐 5 个人工智能的开源项目。其中前两个项目，让人细思…...

编程日记 2023/5/30 18:43:28

【精品示例】超实用Python爬虫入门实例——做一个优质舔狗

引言 最近发现了一个有意思的网站，里面充斥了大量的舔狗箴言。作为一个爬虫发烧友怎么能错过此等机会，咱们直接就是上才艺！ 类的编写 本次爬虫使用了多协程的方案进行，保证了爬虫的速度。在这里我们新建一个爬虫类，…...

编程日记 2023/4/27 13:40:29

TCP流量控制与拥塞控制

什么是流量控制 一条TCP连接的每一侧主机都为该连接设置了接收缓存。当该TCP连接接收到正确的、有序的报文段，就会将数据放入接收缓存。相关联的应用会从缓存中读取数据。 如果发送者发送数据过快、过多，而接收方的应用程序从缓冲区读取的速度较慢&…...

编程日记 2023/4/27 13:35:27

Java_异常

Java_异常 1.什么是异常 ​ 生活中的异常：感冒发烧、电脑蓝屏、手机死机等。 ​ 程序中的异常：磁盘空间不足、网络连接中断、被加载的资源不存在等。 ​ 程序异常解决办法：针对程序中非正常情况，Java语言引入了异常&#xff0…...

编程日记 2023/4/27 13:30:26

自动化工具 接口自动化测试引擎

一、前言： 1、解决痛点：接口自动化测试用例需要人去开发、去维护。 2、实现第一性原理：根据定义的测试策略自动生成接口测试用例。 二、引擎优势： 1、提升人效：降低传统方式中接口测试开发与维护的工作量。 2、覆盖更…...

编程日记 2023/4/27 13:25:25

十三、详解Kubernetes的存储管理器

Kubernetes是一个开源的容器编排系统，它可以自动化地管理容器的部署、扩展和运维。在Kubernetes中，存储管理器是一个重要的组件，它负责管理容器的存储资源，包括持久化存储和临时存储。 Kubernetes的存储管理器主要有以下几个功能： 提供持久化存储：Kubernetes的存储管理器…...

编程日记 2023/4/27 13:20:24

java版 工程管理系统源码之提高工程项目管理软件的效率

高效的工程项目管理软件不仅能够提高效率还应可以帮你节省成本提升利润 在工程行业中，管理不畅以及不良的项目执行，往往会导致项目延期、成本上升、回款拖后，最终导致项目整体盈利下降。企企管理云业财一体化的项目管理系统，确保…...

编程日记 2023/4/27 13:15:23

VMware 安装 MS-DOS7.10 并配置网络

VMware 安装 MS-DOS7.10 并设置软盘共享 1. 新建虚拟机2. 开机2.1. 这几个地方都可以开机2.2. 手速慢，进不了BIOS的朋友可以点这里 安装 MS-DOS7.101. 先选 1 安装 MS-DOS7.10 回车2. 欢迎页面，客气一下而已，继续 Next3. 继续王婆卖瓜4. 这步…...

编程日记 2023/4/27 13:10:22

嵌入式51单片机04-矩阵按键系列

文章目录 矩阵按键一、矩阵按键基础知识二、矩阵按键系列代码1. 矩阵按键操作（显示数字）（1）仿真电路图（2）源代码（3）实验结果 2. 矩阵按键操作（控制数码管）&am…...

编程日记 2023/4/27 13:05:20

某安全对抗行走APP逆向分析

1.定位url 抓包： https://api5.xxxx.com/xxx-rest-service/message/fun_getnearby 看一下参数： opentime：时间戳 reqdata：base64编码 sign 未知，需要解密 # -*- coding: utf-8 -*- # @Author : Codeooo # @Time : 2022-10-14import frida, sysm199a = "&qu…...

编程日记 2023/4/27 13:00:19

数据库基础篇 《11.数据处理之增删改》

目录 1. 插入数据 1.1 实际问题 1.2 方式1：VALUES的方式添加 1.3 方式2：将查询结果插入到表中 2. 更新数据 3. 删除数据 4. MySQL8新特性：计算列 5. 综合案例 6. 课后练习 练习1 练习2 1. 插入数据 1.1 实际问题 解决方式&#x…...

编程日记 2023/4/27 12:55:18

IDEA插件-MavenHapler

1.安装Maven Helper Maven Helper 是 IntelliJ IDEA 中的一个插件，可以帮助您管理 Maven 依赖项。它可以帮助您更容易地删除不再需要的依赖项，查看依赖项的冲突，以及执行其他有关 Maven 依赖项的操作。 打开 IDEA 设置页面： 在插…...

编程日记 2023/4/27 12:50:17

getaddrinfo调用crash 的debug过程

前两天，产线报一例crash问题。拿到core文件后，栈展开信息： (gdb) bt #0 0x00007f64a3651aff in raise () from /lib64/libc.so.6 #1 0x00007f64a3624ea5 in abort () from /lib64/libc.so.6 #2 0x00007f64a3694097 in __libc_message () …...

编程日记 2023/5/29 19:55:00

iOS 26 携众系统重磅更新，但“苹果智能”仍与国行无缘

美国西海岸的夏天，再次被苹果点燃。一年一度的全球开发者大会 WWDC25 如期而至，这不仅是开发者的盛宴，更是全球数亿苹果用户翘首以盼的科技春晚。今年，苹果依旧为我们带来了全家桶式的系统更新，包括 iOS 26、iPadOS 26…...

编程新知 2025/9/15 5:20:27

基于uniapp+WebSocket实现聊天对话、消息监听、消息推送、聊天室等功能，多端兼容

基于 ​UniApp + WebSocket​实现多端兼容的实时通讯系统，涵盖WebSocket连接建立、消息收发机制、多端兼容性配置、消息实时监听等功能，适配​微信小程序、H5、Android、iOS等终端 目录 技术选型分析WebSocket协议优势UniApp跨平台特性WebSocket 基础实现连接管理消息收发连接…...

编程新知 2025/9/10 8:11:45

Psychopy音频的使用

Psychopy音频的使用 本文主要解决以下问题： 指定音频引擎与设备；播放音频文件 本文所使用的环境： Python3.10 numpy2.2.6 psychopy2025.1.1 psychtoolbox3.0.19.14 一、音频配置 Psychopy文档链接为Sound - for audio playback — Psy…...

编程新知 2025/8/25 11:07:48

【JavaWeb】Docker项目部署

引言 之前学习了Linux操作系统的常见命令，在Linux上安装软件，以及如何在Linux上部署一个单体项目，大多数同学都会有相同的感受，那就是麻烦。 核心体现在三点： 命令太多了，记不住 软件安装包名字复杂&…...

编程新知 2025/9/12 23:22:13

初学 pytest 记录

安装 pip install pytest用例可以是函数也可以是类中的方法 def test_func():print()class TestAdd: # def __init__(self): 在 pytest 中不可以使用__init__方法 # self.cc 12345 pytest.mark.api def test_str(self):res add(1, 2)assert res 12def test_int(self):r…...

编程新知 2025/9/9 10:09:57

深度学习习题2

1.如果增加神经网络的宽度，精确度会增加到一个特定阈值后，便开始降低。造成这一现象的可能原因是什么？ A、即使增加卷积核的数量，只有少部分的核会被用作预测 B、当卷积核数量增加时，神经网络的预测能力会降低 C、当卷…...

编程新知 2025/9/13 17:41:22

PAN/FPN

import torch import torch.nn as nn import torch.nn.functional as F import mathclass LowResQueryHighResKVAttention(nn.Module):"""方案 1: 低分辨率特征 (Query) 查询高分辨率特征 (Key, Value).输出分辨率与低分辨率输入相同。"""def __…...

编程新知 2025/7/6 7:40:12

基于stm32F10x 系列微控制器的智能电子琴（附完整项目源码、详细接线及讲解视频）

注：文章末尾网盘链接中自取成品使用演示视频、项目源码、项目文档 所用硬件：STM32F103C8T6、无源蜂鸣器、44矩阵键盘、flash存储模块、OLED显示屏、RGB三色灯、面包板、杜邦线、usb转ttl串口 stm32f103c8t6 面包板 …...

编程新知 2025/9/13 0:08:38

虚幻基础：角色旋转

能帮到你的话，就给个赞吧 😘 文章目录 移动组件使用控制器所需旋转：组件 使用 控制器旋转将旋转朝向运动：组件 使用 移动方向旋转 控制器旋转和移动旋转 缺点移动旋转：必须移动才能旋转，不移动不旋转控制器…...

编程新知 2025/7/14 6:35:45

Java中栈的多种实现类详解

Java中栈的多种实现类详解：Stack、LinkedList与ArrayDeque全方位对比 前言一、Stack类——Java最早的栈实现1.1 Stack类简介1.2 常用方法1.3 优缺点分析 二、LinkedList类——灵活的双端链表2.1 LinkedList类简介2.2 常用方法2.3 优缺点分析 三、ArrayDeque类——高…...

编程新知 2025/7/7 17:26:48