当前位置：首页 > news >正文

大数据技术基础

news 2025/11/5 16:57:54

一、大数据平台

1.大数据平台方案步骤：

①市场上有哪些大数据平台

②硬件、系统、业务增长等方面

③方案是否通过

通过后：按照一期目标投入

先虚拟环境部署联系，再实际部署

《大数据架构介绍》《Hadoop架构解析》《Hadoop集群规划》

《Hadoop安装部署》，《实验：Hadoop集群搭建》

《Hadoop核心组件-HDFS》，《实验：HDFS查看元数据》《高可用HDFS》

十分的事情，完成十二分！！！比预期完成的更好

因为需求、业务需求，所以上大数据

2.数据库管理员 (DBA) 是指负责维护、保护和运营数据库，确保正确存储和检索数据的专业人员。

3.大数据：大量、多样、快速、价值密度低的数据

4.传统服务器架构：单机、主备、主从-----数据之间需要同步，例如：一人一本完整的书，得复印十本书

现有服务器架构：分片式架构，将数据分散在多个节点，多个节点合成一个数据，例如：查找一本书中的页数，每10页分给一个人，合起来，就是页码数

二、主流大数据平台---Hadoop

1.Hadoop常用组件：

2.结构

主节点：领导，从节点：员工

3.版本

一版本无Yarn,只能通过MapReduce进行资源管理和数据处理，只有一个leader

二版本好处：以下三个好处 ---加入了yarn，有两个leader

4.运行模式

三、集群-----不是某一个人的任务，而是一群人的任务

集群考虑：组件分配、硬件、虚拟化和节点配置等；

大数据技术基础

一、大数据平台 1.大数据平台方案步骤： ①市场上有哪些大数据平台 ②硬件、系统、业务增长等方面 ③方案是否通过通过后：按照一期目标投入先虚拟环境部署联系，再实际部署《大数据架构介绍》《Hadoop架构解析》《Hadoop集群规划》《H…...

编程日记 2024/7/17 19:04:43

【文心智能体】前几天百度热搜有一条非常有趣的话题《00后疯感工牌》，看看如何通过低代码工作流方式实现图片显示

00后疯感工牌体验：https://mbd.baidu.com/ma/s/6yA90qtM 目录前言比赛推荐工作流创建工作流入口创建工作流界面工作流界面HTTP工具卡点地方总结推荐文章前言前几天百度热搜有一条非常有有趣《00后疯感工牌》。想着通过文心智能体去一键生成00后疯感工牌是不是…...

编程日记 2024/7/17 19:02:42

C++20中的constinit说明符

constinit说明符断言(assert)变量具有静态初始化，即零初始化和常量初始化(zero initialization and constant initialization)，否则程序格式不正确(program is ill-formed)。 constinit说明符声明具有静态或线程存储持续时间(thread storage duration)的…...

编程日记 2024/7/17 19:00:40

Java 中的正则表达式

转义字符由反斜杠\x组成，用于实现特殊功能当想取消这些特殊功能时可以在前面加上反斜杠\ 例如在Java中当\出现时是转义字符的一部分，具有特殊意义，前面加一个反斜可以取消其特殊意义，表示1个普通的反斜杠\，\\\\表示2个…...

编程日记 2024/7/17 18:56:35

华为配置蓝牙终端定位实验

个人主页：知孤云出岫目录配置蓝牙终端定位示例业务需求组网需求数据规划配置思路配置注意事项操作步骤配置文件配置蓝牙终端定位示例组网图形图1 配置蓝牙终端定位示例组网图业务需求组网需求数据规划配置思路配置注意事项操作步骤配置文件业…...

编程日记 2024/7/17 18:55:34

搭建hadoop+spark完全分布式集群环境

目录一、集群规划二、更改主机名三、建立主机名和ip的映射四、关闭防火墙（master，slave1，slave2）五、配置ssh免密码登录六、安装JDK 七、hadoop之hdfs安装与配置 1）解压Hadoop 2）修改hadoop-env.sh 3）修改 core-site.xml 4)修改hdfs-site.xml 5) 修改s…...

编程日记 2024/7/17 18:54:33

pytorch-pytorch之LSTM

目录 1. nn.LSTM2. nn.LSTMCell 1. nn.LSTM 初始化函数输入参数与RNN相同，分别是input_size，hidden_size和num_layer foward函数也与RNN类似，只不过返回值除了out外，ht变为(ht,ct) 代码见下图： 2. nn.LSTMCell 初…...

编程日记 2024/7/17 18:52:32

jvm优化

1.jvm组成什么是jvm，java是跨平台语言，对不同的平台（windos，linux），有不同的jvm版本。jvm屏蔽了平台的不同，提供了统一的运行环境，让java代码无需考虑平台的差异。 jdk包含jre包含…...

编程日记 2024/7/17 18:51:31

网络安全——防御课实验二

在实验一的基础上，完成7-11题拓扑图 7、办公区设备可以通过电信链路和移动链路上网(多对多的NAT，并且需要保留一个公网IP不能用来转换) 首先，按照之前的操作，创建新的安全区（电信和移动）分别表示两个外网…...

编程日记 2024/7/17 18:50:30

朴素模式匹配算法与KMP算法（非重点）

目录一. 朴素模式匹配算法1.1 什么是字符串的匹配模式1.2 朴素模式匹配算法1.3 通过数组下标实现朴素模式匹配算法二. KMP算法2.1 算法分析2.2 用代码实现（只会出现在选择题，考察代码的概率不大） 三. 手算next数组四. KMP算法的进一步优化4…...

编程日记 2024/7/17 18:48:28

[k8s源码]2.CURD deployment

加载kubernetes配置使用 clientcmd方法，是通过"k8s.io/client-go/tools/clientcmd"包加载的。这个函数返回的是config和error两个值。可以看到返回的config是一个指针变量。 func clientcmd.BuildConfigFromFlags(masterUrl string, kubeconfigPath str…...

编程日记 2024/7/17 18:46:25

使用base64通用文件上传

编写一个上传文件的组件 tuku,点击图片上传后使用FileReader异步读取文件的内容，读取完成后获得文件名和base64码，调用后端uploadApi,传入姓名和base64文件信息，后端存入nginx中，用于访问 tuku.ts组件代码： <templa…...

编程日记 2024/7/17 18:42:22

Python深度学习

python深度学习，python代码定制， 可做创新点创新思路代码改进跑通深度学习 Python代跑时间序列预测分析代码编写 python编程深度学习算法自然语言处理神经网络跑通指导爬虫调试代做项目指导定制帮做改进提升创新优化 Python Matlab C…...

编程日记 2024/7/17 18:41:20

django报错（三）：No crontab program或got an unexpected keyword argument ‘user’

Crontab是linux系统上的定时管理模块，简单配置，灵活使用。但是要在windows使用必须借助Cygwin等虚拟工具，否则会报错“No crontab program”。如下图： python-crontab是其提供了python模块对crontab的访问，即可以通过p…...

编程日记 2024/7/17 18:40:20

数据库（创建数据库和表）

目录一：创建数据库二：创建表 2.1：创建employees表 2.2：创建orders表 2.3：创建invoices表一：创建数据库 mysql> create database mydb6_product; Query OK, 1 row affected (0.01 sec) mysql&g…...

编程日记 2024/7/17 18:38:17

Log4j的原理及应用详解（一）

本系列文章简介： 在软件开发的广阔领域中，日志记录是一项至关重要的活动。它不仅帮助开发者追踪程序的执行流程，还在问题排查、性能监控以及用户行为分析等方面发挥着不可替代的作用。随着软件系统的日益复杂，对日志管理的需求也日…...

编程日记 2024/7/17 18:36:15

1.查看docker是否开机启动 sudo systemctl list-unit-files | grep enable|grep docker 2.设置开机启动 sudo systemctl enable docker 3.关闭docker开机启动 sudo systemctl disable docker 4.开启docker服务 sudo service docker start 5.关闭docker服务 sudo servi…...

编程日记 2024/7/17 18:28:09

韦东山嵌入式linux系列-驱动设计的思想（面向对象/分层/分离）

1 面向对象字符设备驱动程序抽象出一个 file_operations 结构体； 我们写的程序针对硬件部分抽象出 led_operations 结构体。 2 分层上下分层，比如我们前面写的 LED 驱动程序就分为 2 层： ① 上层实现硬件无关的操作，比如注册…...

编程日记 2024/7/17 18:27:08

0/1背包

0/1背包背包问题是DP最经典的类型之一，而0/1背包是最经典最基础的背包问题。背包体积为 V V V， n n n种物品，每种物品只有1个，第 i i i种物品对应体积为 c i c_i ci，价值为 w i w_i wi，怎样装填能使…...

编程日记 2024/7/17 18:25:07

Linux的进程和权限的基本命令

目录基本命令 man find date cal du ln exit grep 基本命令-帮助查询： wc cat more less head tail echo alias unalias 基本命令-进程管理： ps kill top 操作系统负载查看用户分类： 程序用户普通用户&#x…...

编程日记 2024/7/17 18:22:04