当前位置： 首页 > news >正文

处理大数据的基础架构，OLTP和OLAP的区别，数据库与Hadoop、Spark、Hive和Flink大数据技术

news 2025/12/15 15:04:47

处理大数据的基础架构，OLTP和OLAP的区别，数据库与Hadoop、Spark、Hive和Flink大数据技术

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试

文章目录

  • 处理大数据的基础架构，OLTP和OLAP的区别，数据库与Hadoop、Spark、Hive和Flink大数据技术
    • @[TOC](文章目录)
  • 处理大数据的基础架构
  • 之后我们一个个来学习上述提到的东西，形成一个大数据处理的框架，备考大数据类的试题
  • Hadoop、Spark、Hive和Flink
    • OLTP是啥？
    • 为什么要大数据？
  • kafka传输技术，快速
    • 现有的消息模型？
    • kafka监听器
    • kafka的消息模型
    • 生产者api
    • kafka序列化
    • 实际订餐和菜品看不到
  • 总结

处理大数据的基础架构

处理大数据的基础架构主要有以下几种：

分布式计算框架。
如Hadoop、Spark、Hive和Flink等，这些框架可以处理大规模的数据，并支持分布式存储和计算。

分布式文件系统。
如HDFS（Hadoop Distributed File System）和Google File System等，这些系统可以存储大规模的文件，并支持分布式访问和读取。

数据库集群。
如MySQL集群、PostgreSQL集群等，这些集群可以提高数据处理效率和可用性，并支持分布式事务处理。

NoSQL数据库。
如MongoDB、Cassandra和Redis等，这些数据库可以处理半结构化和非结构化的数据，并支持高并发写入和读取。

云平台。
如Amazon AWS、Google Cloud和阿里云等，这些云平台可以提供虚拟化资源、弹性伸缩和自动化运维等功能，使得处理大数据更加灵活和高效。

这些基础架构可以相互组合和扩展，以适应不同的大数据处理场景和需求。

之后我们一个个来学习上述提到的东西，形成一个大数据处理的框架，备考大数据类的试题

冲

Hadoop、Spark、Hive和Flink

在这里插入图片描述
小数据问题不大

OLTP是啥？

OLTP( On-Line Transaction Processing ) 联机事务处理过程，
通常也可以成为面向交易的处理系统。

个人理解为主要场景针对用户人机交互频繁，数据量小，操作快速响应的实时处理系统中。
Mysql以及Oracle等数据库软件可以理解为OLTP的工业应用软件体现。

OLAP( On-Line Analytical Processing)，联机分析处理过程。
个人理解为主要场景针对大批量数据，实时性无要求，基于数仓多维模型，进行分析操作的系统中。
Hadoop体系中MapReduce、Hive、Spark、Flink等都可以进行为OLAP实现。

原来如此了，数据库做不了大数据的分析类的问题

T是事务
A是分析

为什么要大数据？

在这里插入图片描述
在这里插入图片描述
06年写Java的MapReduce程序，难理解

后来写sql得了，很简单
在这里插入图片描述
在这里插入图片描述
yarn出来就调度一把
美滋滋
在这里插入图片描述
docker现在听说得很多：隔离空间
yarn是container集装箱

在这里插入图片描述
在这里插入图片描述

只写sql然后转译为hive那边的Java

还有pyspark，写Python很容易
在这里插入图片描述
相当于是兼容超级多的程序

批处理，这些是【离线一大批】

下面是流式计算【实时快速处理】
在这里插入图片描述
在这里插入图片描述在这里插入图片描述

两家很骚，后来俩都能处理了
各种技术你看看是不是穿起来了………………
在这里插入图片描述
在这里插入图片描述
你是做那一层呢？
在这里插入图片描述

kafka传输技术，快速

我们从传输开始学起

在这里插入图片描述
在这里插入图片描述
TB级别量的数据，后续可以对接很多大数据处理技术框架

在这里插入图片描述
有点厉害了

现有的消息模型？

在这里插入图片描述
在这里插入图片描述
半结构化的东西

kafka是分布式消息系统
在这里插入图片描述
使得kafka有扩展性
在这里插入图片描述
offset不可重复
在这里插入图片描述
map消息
在这里插入图片描述
不给key那就随机分配
否则分区
在这里插入图片描述
同样的key，同样的key放一起
在这里插入图片描述
在这里插入图片描述
follower就去复制数据，同步，保持数据的可恢复性
这样的话，就不会丢失了
在这里插入图片描述
broker就是一台服务器，负责读写
在这里插入图片描述
主分区由broker读写

kafka监听器

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
docker去部署kafka的内外网监听端口
在这里插入图片描述

kafka的消息模型

在这里插入图片描述
在这里插入图片描述
处于性能和开销的考虑
否则还要维护锁，加锁，减锁
否则就会引入竞争，麻烦
最大化我们要提升性能和吞吐量
在这里插入图片描述
在这里插入图片描述
这种是一对一
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
不同分区之间的消费顺序不知道
offset早的是先消费
在这里插入图片描述
你想要保证顺序会设置key同

在这里插入图片描述
tcp？
ack确认信息
在这里插入图片描述
先读信息，至少读一次
在这里插入图片描述
给位置，最多读一次，可以不读
在这里插入图片描述

生产者api

在这里插入图片描述
在这里插入图片描述
生产者只大量生产，不管消费，现在就是中国缓冲区满了，老百姓没钱消费，导致生产过剩

需要通过一带一路出去消费，这时候美国不乐意
在这里插入图片描述
物流系统？
在这里插入图片描述在这里插入图片描述
就是网购系统，一次精确消费

在这里插入图片描述

我扣款那边就要收款
我失败他不能收款
我付款了，他不能允许说没收到

这就是原子性

数据库就这样的特性
在这里插入图片描述

kafka序列化

在这里插入图片描述
在这里插入图片描述
前序、中序、后序序列化
跟买电脑一样
一堆零件，你送到了，找师傅安装

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
实际上
在这里插入图片描述
要卡主时间顺序的

骚

在这里插入图片描述
注册制
在这里插入图片描述
header标识一下
在这里插入图片描述

实际订餐和菜品看不到

在这里插入图片描述
在这里插入图片描述
如果前面完不成，后面就gg
网络延时导致的

在这里插入图片描述
异步重试顺序如何保证

在这里插入图片描述
一会上菜，半天看不到，gg
消息积压很恶心

在这里插入图片描述
不看所有信息，只看id
在这里插入图片描述
又有问题，看日志
有几个商户的订单贼多，都放一个partition，怎么办？

那按照用户编号来放，这样，某个订单就走同一个partition

在这里插入图片描述
这样好多了
后面呢？
在这里插入图片描述
促销……
在这里插入图片描述
太骚了
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
哈哈哈技术太难了
消息积压有不同的原因

单表存了太多的菜品
在这里插入图片描述
在这里插入图片描述
并发太大，俩请求同事查到，id不存在
同时插入，第二个就gg
加锁？

Redis分布式锁怎么说？
不行，消费着网络超时gg

在这里插入图片描述
尝试插入，不行就改key
在这里插入图片描述
主从服务器
有订单，但是没有菜
主从数据库同步延时
就查不到数据
或者查不到最新数据
在这里插入图片描述

在这里插入图片描述
精确传才行

kafka默认就是容易重复

在这里插入图片描述
不存在插入，存在就更新

在这里插入图片描述
公用数据库和kafka系统

在不同环境中切换容易出错
所以配置要搞清楚

cpu容易挂的话，gg

kafka是牛逼的，很少出问题，大多都是逻辑出了问题。

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。

相关文章：

处理大数据的基础架构，OLTP和OLAP的区别，数据库与Hadoop、Spark、Hive和Flink大数据技术

处理大数据的基础架构，OLTP和OLAP的区别，数据库与Hadoop、Spark、Hive和Flink大数据技术 2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开 测开的话&am…...

编程日记 2023/10/31 1:25:16

解决计算机msvcp120.dll文件丢失的5种方法，亲测有效

在计算机使用过程中，我们经常会遇到一些错误提示，其中之一就是“msvcp120.dll丢失”。这个错误提示可能会给我们带来很大的困扰，影响我们的正常使用。本文将详细介绍msvcp120.dll丢失的原因、解决方法以及预防措施，帮助大家更好地…...

编程日记 2023/10/31 1:24:15

Python selenium交互

视频版教程：一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium selenium可以模拟用户点击事件，以及控制浏览器前进，后退等操作。 下面是一个模拟百度搜索，点击下一页，控制浏览器后退&#xff0c…...

编程日记 2023/10/31 1:22:14

基本微信小程序的体检预约小程序

项目介绍 我国经济迅速发展，人们对手机的需求越来越大，各种手机软件也都在被广泛应用，但是对于手机进行数据信息管理，对于手机的各种软件也是备受用户的喜爱，体检预约系统小程序被用户普遍使用，为方便用户…...

编程日记 2023/10/31 1:20:12

FHE 的高精度算术：BGV-big、BFV-big

参考文献： [NL11] Naehrig M, Lauter K, Vaikuntanathan V. Can homomorphic encryption be practical?[C]//Proceedings of the 3rd ACM workshop on Cloud computing security workshop. 2011: 113-124.[GC15] Geihs M, Cabarcas D. Efficient integer encoding…...

编程日记 2023/10/31 1:19:11

基于SpringBoot的在线笔记系统

技术介绍 🔥采用技术：SpringSpringMVCMyBatisJSPMaven 🔥开发语言：Java 🔥JDK版本：JDK1.8 🔥服务器：tomcat 🔥数据库：mysql 🔥数据库开发工具&…...

编程日记 2023/10/31 1:18:09

UE4 使用材质后期 制作玻璃有雨效果

效果展示，其实这是一个动画效果 以上为所有逻辑 拿到TexCoord给到Panner，Time和Speed都是通过下面计算而来，后面讲，再拿到时间和速度值过后，加上扰动值，最后取G值，因为雨事从上而下的动&#xf…...

编程日记 2023/10/31 1:17:08

笔记检验（一）：笔记检验概述

文章目录 一、 笔迹的概念及成分（一） 笔迹的概念（二） 笔迹的成分 二、 笔迹检验的概念、任务及作用（一） 笔迹检验的概念（二） 笔迹检验的任务（三） 笔记检验的作…...

编程日记 2023/10/31 1:16:07

NOIP2023模拟6联测27 C. 点餐

NOIP2023模拟6联测27 C. 点餐 题目大意 有 n n n 种菜品，每样菜品有 a i , b i a_i , b_i ai​,bi​ 假设有某位顾客点了 k k k 样菜品，那么价格为 ∑ i 1 k a p i max ⁡ i 1 k b p i \sum_{i 1}^k a_{p_i}\max_{i 1}^kb_{p_i} ∑i1k​api​…...

编程日记 2023/10/31 1:15:06

简单聊聊远程协同运维定义以及优势-行云管家

很多新人小伙伴对于远程协同运维不是很了解，今天我们就来简单聊聊远程协同运维定义以及优势。 远程协同运维定义 远程协同运维其实非常容易理解，主要是指计算机系统技术服务工程相关的人员通过局域网或者是其他网络对于它来进行连接，共同远…...

编程日记 2023/10/31 1:13:05

Ortec974A EPICS IOC程序

Ortec974A设备介绍，请见Ortec -- 974A 四通道100-MHz计时器/计数器_ortec974a_EPICS Technical的博客-CSDN博客 1） 创建一个用户存放这个IOC程序结构的目录： rootorangepi4-lts:/usr/local/EPICS/program# mkdir ortec974A rootorangepi4-l…...

编程日记 2023/10/31 1:11:03

JS-文件下载，实现在ios也是下载 而不是预览，

需求 通过A链接的方式，把从后台获取到的文件下载到本地，实现在移动端,PC端都能下载 问题 通过ajax请求后端生成的文件流之后，创建BLOB文件进行下载，在PC端和移动安卓端都可以实现下载到本地和对应的手机，而在IOS端的…...

编程日记 2023/10/31 1:09:01

Leetcode.275 H 指数 II

题目链接 Leetcode.275 H 指数 II mid 题目描述 给你一个整数数组 c i t a t i o n s citations citations ，其中 c i t a t i o n s [ i ] citations[i] citations[i] 表示研究者的第 i i i 篇论文被引用的次数， c i t a t i o n s citations citat…...

编程日记 2023/10/31 1:08:00

代码随想录Day40-单调栈：力扣第496e、503m、42h、84h题

496e. 下一个更大元素 I 题目链接 代码随想录文章讲解链接 方法一：单调栈哈希表 用时：13m52s 思路 维护一个栈底到栈顶是单调递减的栈，从后往前遍历数组nums2，更新栈。nums2当前元素nums2[i]的下一个更大元素就是栈顶元素&am…...

编程日记 2023/10/31 1:06:59

Git窗口打开vim后如何退出编辑（IDEA/Goland等编辑器）

最近在学习git高级操作过程中，遇到了一下问题： 我在学习Git合并多个commit为一个的时候，需要输入一个命令 git rebase -i HEAD~2 这说明已经是编辑模式了。当我写好后，我还按照原来在linux上的按下ESC键，但是只是光…...

编程日记 2023/10/31 1:05:58

【CSDN 每日一练 ★★☆】【二叉树/BSF】二叉树的层序遍历

【CSDN 每日一练 ★★☆】【二叉树/BSF】二叉树的层序遍历 二叉树 BSF 题目 给你一个二叉树，请你返回其按 层序遍历 得到的节点值。 （即逐层地，从左到右访问所有节点）。 示例： 二叉树：[3,9,20,null,nul…...

编程日记 2023/10/31 1:04:57

Golang | Zinx学习笔记（一）

参考 http://zinx.me/ https://www.kancloud.cn/aceld/zinx/1960213 https://www.yuque.com/aceld/tsgooa/gx01meg5ow4pftac 说明 zinx是一个基于Golang的轻量级并发服务器框架。 目前zinx已经在很多企业进行开发使用，具体使用领域包括:后端模块的消息中转、长链…...

编程日记 2023/10/31 1:03:56

【Java 进阶篇】在Java Web应用中获取ServletContext对象详解

在Java Web应用开发中，ServletContext对象扮演着重要的角色，它允许你在整个Web应用程序中存储和共享数据。ServletContext对象是Servlet容器提供的一种用于管理Web应用程序的全局信息的方式。本文将详细探讨ServletContext对象的概念、用途以及如何在Jav…...

编程日记 2023/10/31 1:02:55

负债6W，依靠这个项目副业6个月还清欠款，还多存了10W+

真不敢想象负债6W“走投无路”的我还能通过副业逆天翻盘，6个月还清欠款，还让我多了10W存款，现在小日子也是相当滋润，吃穿不愁，不用过多为生计而奔波操劳。 仅代表个人收益 网盘下载地址：【安卓软件】音魔变…...

编程日记 2023/10/31 1:00:47

快速了解ClickHouse！

简介 ClickHouse是一个开源列式数据库管理系统（DBMS），用于在线分析处理（OLAP）： 列式存储：与传统的行式数据库不同，ClickHouse以列的形式存储数据，这使得在分析大量数据时…...

编程日记 2023/10/31 0:59:44

树莓派超全系列教程文档--(62)使用rpicam-app通过网络流式传输视频

使用rpicam-app通过网络流式传输视频 使用 rpicam-app 通过网络流式传输视频UDPTCPRTSPlibavGStreamerRTPlibcamerasrc GStreamer 元素 文章来源： http://raspberry.dns8844.cn/documentation 原文网址 使用 rpicam-app 通过网络流式传输视频 本节介绍来自 rpica…...

编程新知 2025/11/5 13:03:58

YSYX学习记录（八）

C语言&#xff0c;练习0&#xff1a; 先创建一个文件夹&#xff0c;我用的是物理机&#xff1a; 安装build-essential 练习1&#xff1a; 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件&#xff0c;随机修改或删除一部分&#xff0c;之后…...

编程新知 2025/12/9 0:43:44

JVM垃圾回收机制全解析

Java虚拟机&#xff08;JVM&#xff09;中的垃圾收集器&#xff08;Garbage Collector&#xff0c;简称GC&#xff09;是用于自动管理内存的机制。它负责识别和清除不再被程序使用的对象&#xff0c;从而释放内存空间&#xff0c;避免内存泄漏和内存溢出等问题。垃圾收集器在Ja…...

编程新知 2025/11/30 16:55:15

【快手拥抱开源】通过快手团队开源的 KwaiCoder-AutoThink-preview 解锁大语言模型的潜力

引言&#xff1a; 在人工智能快速发展的浪潮中&#xff0c;快手Kwaipilot团队推出的 KwaiCoder-AutoThink-preview 具有里程碑意义——这是首个公开的AutoThink大语言模型&#xff08;LLM&#xff09;。该模型代表着该领域的重大突破&#xff0c;通过独特方式融合思考与非思考…...

编程新知 2025/12/11 20:28:10

JVM虚拟机：内存结构、垃圾回收、性能优化

1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...

编程新知 2025/12/15 2:10:04

【Linux】Linux 系统默认的目录及作用说明

博主介绍&#xff1a;✌全网粉丝23W&#xff0c;CSDN博客专家、Java领域优质创作者&#xff0c;掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围&#xff1a;SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物…...

编程新知 2025/12/12 10:32:08

并发编程 - go版

1.并发编程基础概念 进程和线程 A. 进程是程序在操作系统中的一次执行过程&#xff0c;系统进行资源分配和调度的一个独立单位。B. 线程是进程的一个执行实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位。C.一个进程可以创建和撤销多个线程;同一个进程中…...

编程新知 2025/12/13 10:22:33

抽象类和接口（全）

一、抽象类 1.概念&#xff1a;如果⼀个类中没有包含⾜够的信息来描绘⼀个具体的对象&#xff0c;这样的类就是抽象类。 像是没有实际⼯作的⽅法,我们可以把它设计成⼀个抽象⽅法&#xff0c;包含抽象⽅法的类我们称为抽象类。 2.语法 在Java中&#xff0c;⼀个类如果被 abs…...

编程新知 2025/12/14 11:53:19

在golang中如何将已安装的依赖降级处理，比如：将 go-ansible/v2@v2.2.0 更换为 go-ansible/@v1.1.7

在 Go 项目中降级 go-ansible 从 v2.2.0 到 v1.1.7 具体步骤&#xff1a; 第一步&#xff1a; 修改 go.mod 文件 // 原 v2 版本声明 require github.com/apenella/go-ansible/v2 v2.2.0 替换为&#xff1a; // 改为 v…...

编程新知 2025/10/20 16:05:17

如何在Windows本机安装Python并确保与Python.NET兼容

✅作者简介&#xff1a;2022年博客新星 第八。热爱国学的Java后端开发者&#xff0c;修心和技术同步精进。 &#x1f34e;个人主页&#xff1a;Java Fans的博客 &#x1f34a;个人信条&#xff1a;不迁怒&#xff0c;不贰过。小知识&#xff0c;大智慧。 &#x1f49e;当前专栏…...

编程新知 2025/12/14 7:53:24