当前位置：首页 > news >正文

【2023Hadoop大数据技术应用期末复习】填空题题型整理

news 2026/3/28 7:14:51

大数据的 4V 特征包含（）（）（）（）
```
答案：大量、多样、高速、价值
```
Hadoop 三大组件包含（）（）（）
```
答案：HDFS、MapReduce、Yarn
```
Hadoop2.x 版本中的 HDFS 是由（）（）（）组成
```
答案：NameNode、DataNode、Secondary NameNode
```
Hadoop 发行版本分为
```
答案：开源社区版、商业版
```
目前 Hadoop 发布的版本主要有（）（）（）
```
答案：Hadoop1.x、Hadoop2.x、Hadoop3.x
```

Hadoop 集群部署方式分别是（）（）和（）

答案：独立模式、伪分布模式、完全分布模式

加载环境变量配置文件需要使用（）命令
```
答案：source /etc/profile
```
格式化 HDFS 集群命令是（）
```
答案：hadoop namenode -format
```
脚本一键启动 Hadoop 集群服务命令是（）
```
答案：start-all.sh
```
Hadoop 默认开设 HDFS 文件系统端口号（）和监控 Yarn 集群端口号（）
```
答案：50070、8088
```
（）用于维护文件系统名称并管理客户端对文件的访问，（）存储真实的数据块
```
答案：NameNode、DataNode
```
NameNode 与 DataNode 通过（）机制互相通信
```
答案：心跳检测
```
NameNode 以元数据维护着（）（）文件
```
答案：fsimage、EditLog
```
在 MapReduce 中，（）阶段负责将任务分解，（）阶段将任务合并
```
答案：Map、Reduce
```

MapReduce 工作流程分为（）（）（）（）（）（）

答案：分片、格式化数据源、执行MapTask、执行Shuffle过程、执行ReduceTask、写入文件

Partitioner 组件的目的是（）

答案：将key均匀分布在 ReduceTask 上

Zookeeper 集群主要有（）（）（）三种角色
```
答案：Leader、Follower、Observer
```
Znode有两种节点，分别是（）（）
```
答案：永久节点、临时节点
```
Zookeeper引入（）机制实现分布式的通知功能
```
答案：Watch
```

Yarn 的核心组件包含（）（）（）

答案：ResourceManager、NodeManager、ApplicationMaster

ResourceManager 内部包含了两个组件，分别是（）（）
```
答案：调度器、应用程序管理器
```
数据仓库是面向（）（）（）和时变的数据集合，用于支持管理决策
```
答案：主题的、集成的、非易失的
```
Hive 默认元数据存储在（）数据库中
```
答案：Derby
```

Hive建表时设置分割字符命令（）

答案：row format delimited fields terminated by char

Hive查询语句 select ceil(2.34) 输出内容是（）
```
答案：3
```
Hive创建桶表关键字（），且Hive默认分桶数量是（）。
```
答案：clustered by、 -1
```
Flume 分为两个版本，分别是（）（）
```
答案：Flume-og、Flume-ng
```
Flume的核心是把数据从数据源通过（）收集过来，再将收集的数据通过（）汇集到指定的（）
```
答案：数据采集器、缓冲通道、接收器
```
Flume采用三层架构，分别为（）（）（），每一层均可以水平扩展
```
答案：agent、collector、storage
```
Flume的负载均衡接收器处理器支持使用（）（）机制进行流量分配，其默认选择机制为（）
```
答案：轮询、随机、轮询
```
Azkaban是由Linkedin公司开源的一个（），用于在一个工作流内以一个特定的顺序运行一组工作和流程。
```
答案：批量工作流任务调度器
```
Azkaban定义了一种（）格式来建立任务之间的依赖关系，并提供一个易于使用的（）维护和跟踪工作流。
```
答案：KV文件、UI界面
```
Azkaban工作流管理器的特点是所有的任务资源文件都需要（）上传
```
答案：压缩
```
Azkaban工作流管理器由三个核心部分组成，具体分别是（）（）（）
```
答案：Relational Database、AzkabanWebServer、AzkabanExecutorServer
```

Azkaban提供三种部署模式：轻量级的（）重量级（）的和（）

答案：独立服务器模式、双服务器模式、分布多执行器模式

.Sqoop主要用于在（）和（）之间进行传输数据
```
答案：Hadoop、关系型数据库
```
Sqoop底层利用（）技术以（）方式加快了数据传输速度，并且具有较好的容错性功能
```
答案：MapReduce、批处理
```
从数据库导入HDFS时，指定以制表符作为字段分隔符参数是（）
```
答案：--fields-terminated-by '\t'
```

【2023Hadoop大数据技术应用期末复习】填空题题型整理

大数据的 4V 特征包含（）（）（）（） 答案：大量、多样、高速、价值Hadoop 三大组件包含（）（）（） 答案&…...

编程日记 2024/1/1 8:05:09

劫持 PE 文件：新建节表并插入指定 DLL 文件

PE格式简介 PE(Portable Executable)格式，是微软Win32环境可移植可执行文件(如exe、dll、vxd、sys和vdm等)的标准文件格式。PE格式衍生于早期建立在VAX(R)VMS(R)上的COFF(Common Object File Format)文件格式。 Portable 是指对于不同的Windows版本和不同的CPU类型上…...

编程日记 2024/1/1 8:01:05

HTTP分数排行榜

HTTP分数排行榜介绍一、创建数据库二、创建PHP脚本三、上传下载分数四、测试介绍 Unity中向服务器发送用户名和得分，并存入数据库，再讲数据库中的得分按照降序的方式下载到Unity中。一、创建数据库首先，我们要在MySQL数据库中建立一个…...

编程日记 2024/1/1 7:49:57

Android 实现 Slots 游戏旋转效果

文章目录前言一、效果展示二、代码实现1.UI布局2.SlotAdapter2.SlotsActivity 总结前言 slots游戏： Slots游戏是一种极具流行度的赌博和娱乐形式，通常被称为老虎机或水果机。它们在赌场、线上游戏平台和手机应用中广泛存在。一般这类游戏都使用Unity…...

编程日记 2024/1/1 7:47:55

AI产品经理 - 如何做一款软硬协同AI产品

【背景】从0做一款软硬协同的AI产品，以智能医药保温箱 1.以智能医药保温箱 2.调研定义市场方向地点：医药、实验室场景：长宽高/装箱/运输/实验室 3.需求挖掘 4.如何进行软硬件AI产品工作软硬件产品设计：功能/硬件外观设计、…...

编程日记 2024/1/1 7:46:54

拒绝采样（算法）总结

先说说什么是拒绝采样算法：就类似于数学上的求阴影面积的方法，直接求求不出来，就用大面积 - 小面积阴影面积的办法。所谓拒绝和采样 ：就像是撒豆子计个数，计算概率问题一样，大桶里面套小桶&#xff0c…...

编程日记 2024/1/1 7:45:54

分布式数据库事务故障恢复的原理与实践

关系数据库中的事务故障恢复并不是一个新问题，自70年代关系数据库诞生之后就一直伴随着数据库技术的发展，并且在分布式数据库的场景下又遇到了一些新的问题。本文将会就事务故障恢复这个问题，分别讲述单机数据库、分布式数据库中遇到的问题和…...

编程日记 2024/1/1 7:42:51

Spark中的数据加载与保存

Apache Spark是一个强大的分布式计算框架，用于处理大规模数据。在Spark中，数据加载与保存是数据处理流程的关键步骤之一。本文将深入探讨Spark中数据加载与保存的基本概念和常见操作，包括加载不同数据源、保存数据到不同格式以及性能优化等方…...

编程日记 2024/1/1 7:36:46

2023-12-20 LeetCode每日一题（判别首字母缩略词）

2023-12-20每日一题一、题目编号 2828. 判别首字母缩略词二、题目链接点击跳转到题目位置三、题目描述给你一个字符串数组 words 和一个字符串 s ，请你判断 s 是不是 words 的首字母缩略词。如果可以按顺序串联 words 中每个字符串的第一个字符形成字符…...

编程日记 2024/1/1 7:28:37

C# 事件（Event）

C# 事件（Event） C# 事件（Event）通过事件使用委托声明事件（Event）实例 C# 事件（Event） 事件（Event） 基本上说是一个用户操作，如按键、点击、鼠标移…...

编程日记 2024/1/1 7:26:35

2312d,d的sql构建器

原文项目该项目在我工作项目中广泛使用,它允许自动处理联接方式动态构建SQL语句. 还会自动直接按表示数据库行结构序化.它在dconf2022在线演讲中介绍了:建模一切. 刚刚添加了对sqlite的支持.该API还不稳定,但仍非常有用.这是按需构建,所以虽然有个计划外表,但满足了我的需要…...

编程日记 2024/1/1 7:24:32

以太网二层交换机实验

实验目的： （1）理解二层交换机的原理及工作方式； （2）利用交换机组建小型交换式局域网。实验器材： Cisco packet 实验内容： 本实验可用一台主机去ping另一台主机，并…...

编程日记 2024/1/1 7:22:29

启封涂料行业ERP需求分析和方案分享

涂料制造业是一个庞大而繁荣的行业它广泛用于建筑、汽车、电子、基础设施和消费品。涂料行业生产不同的涂料，如装饰涂料、工业涂料、汽车涂料和防护涂料。除此之外，对涂料出口的需求不断增长，这增加了增长和扩张的机会。近年来，…...

编程日记 2024/1/1 7:21:29

网络拓扑图地址分配表 vlan端口分配表需求 The device is running!<Huawei>sys Enter system view, return user view with CtrlZ. [Huawei]un in en Info: Information center is disabled. [Huawei]sys S1 [S1]vlan 99 [S1-vlan99]vlan 100 [S1-vlan100]des IT [S1-…...

编程日记 2024/1/1 7:19:27

Dockerfile： WORKDIR vs VOLUME

WORKDIR WORKDIR指令为Dockerfile中的任何RUN、CMD、ENTRYPOINT、COPY和ADD指令设置工作目录。如果WORKDIR不存在，它将被创建，即使它没有在任何后续Dockerfile指令中使用。语法 : WORKDIR dirpath WORKDIR指令可以在Dockerfile中多次使用。如果提供了…...

编程日记 2024/1/1 7:17:23

spring ioc源码-refresh()；

主要作用是刷新应用上下文 Override public void refresh() throws BeansException, IllegalStateException {synchronized (this.startupShutdownMonitor) {// 启动刷新的性能跟踪步骤StartupStep contextRefresh this.applicationStartup.start("spring.context.refre…...

编程日记 2024/1/1 7:12:19

使用递归实现深拷贝

文章目录为什么要使用递归什么深拷贝具体实现基础实现处理函数处理 Symbol处理 Set处理 Map处理循环引用结语-源码为什么要使用递归什么深拷贝我们知道在 JavaScript 中可以通过使用JSON序列化来完成深拷贝，但是这种方法存在一些缺陷，比如对于函数…...

编程日记 2024/1/1 7:10:17

工程（十七）——自己数据集跑R2live

博主创建了一个科研互助群Q：772356582，欢迎大家加入讨论。 r2live是比较早的算法，编译过程有很多问题，通过以下两个博客可以解决编译R2LIVE问题&解决方法-CSDN博客 r2live process has died 问题解决了_required process …...

编程日记 2024/1/1 7:07:14

【python高级用法】迭代器、生成器、装饰器、闭包

迭代器可迭代对象：可以使用for循环来遍历的，可以使用isinstance()来测试。迭代器：同时实现了__iter__()方法和__next__()方法，可以使用isinstance()方法来测试是否是迭代器对象 from collections.abc import Iterable, Iterat…...

编程日记 2024/1/1 7:04:11