【2023Hadoop大数据技术应用期末复习】填空题题型整理
-
大数据的 4V 特征包含（）（）（）（）
答案：大量、多样、高速、价值 -
Hadoop 三大组件包含（）（）（）
答案：HDFS、MapReduce、Yarn -
Hadoop2.x 版本中的 HDFS 是由（）（）（）组成
答案：NameNode、DataNode、Secondary NameNode -
Hadoop 发行版本分为
答案：开源社区版、商业版 -
目前 Hadoop 发布的版本主要有（）（）（）
答案：Hadoop1.x、Hadoop2.x、Hadoop3.x -
Hadoop 集群部署方式分别是（）（）和（）
答案：独立模式、伪分布模式、完全分布模式 -
加载环境变量配置文件需要使用（）命令
答案：source /etc/profile -
格式化 HDFS 集群命令是（）
答案：hadoop namenode -format -
脚本一键启动 Hadoop 集群服务命令是（）
答案：start-all.sh -
Hadoop 默认开设 HDFS 文件系统端口号（）和监控 Yarn 集群端口号（）
答案：50070、8088 -
（）用于维护文件系统名称并管理客户端对文件的访问，（）存储真实的数据块
答案：NameNode、DataNode -
NameNode 与 DataNode 通过（）机制互相通信
答案：心跳检测 -
NameNode 以元数据维护着（）（）文件
答案：fsimage、EditLog -
在 MapReduce 中，（）阶段负责将任务分解，（）阶段将任务合并
答案：Map、Reduce -
MapReduce 工作流程分为（）（）（）（）（）（）
答案：分片、格式化数据源、执行MapTask、执行Shuffle过程、执行ReduceTask、写入文件 -
Partitioner 组件的目的是（）
答案：将key均匀分布在 ReduceTask 上 -
Zookeeper 集群主要有（）（）（）三种角色
答案：Leader、Follower、Observer -
Znode有两种节点，分别是（）（）
答案：永久节点、临时节点 -
Zookeeper引入（）机制实现分布式的通知功能
答案：Watch -
Yarn 的核心组件包含（）（）（）
答案：ResourceManager、NodeManager、ApplicationMaster -
ResourceManager 内部包含了两个组件，分别是（）（）
答案：调度器、应用程序管理器 -
数据仓库是面向（）（）（）和时变的数据集合，用于支持管理决策
答案：主题的、集成的、非易失的 -
Hive 默认元数据存储在（）数据库中
答案：Derby -
Hive建表时设置分割字符命令（）
答案：row format delimited fields terminated by char -
Hive查询语句
select ceil(2.34)输出内容是（）答案：3 -
Hive创建桶表关键字（），且Hive默认分桶数量是（）。
答案：clustered by、 -1 -
Flume 分为两个版本，分别是（）（）
答案：Flume-og、Flume-ng -
Flume的核心是把数据从数据源通过（）收集过来，再将收集的数据通过（）汇集到指定的（）
答案：数据采集器、缓冲通道、接收器 -
Flume采用三层架构，分别为（）（）（），每一层均可以水平扩展
答案：agent、collector、storage -
Flume的负载均衡接收器处理器支持使用（）（）机制进行流量分配，其默认选择机制为（）
答案：轮询、随机、轮询 -
Azkaban是由Linkedin公司开源的一个（），用于在一个工作流内以一个特定的顺序运行一组工作和流程。
答案：批量工作流任务调度器 -
Azkaban定义了一种（）格式来建立任务之间的依赖关系，并提供一个易于使用的（）维护和跟踪工作流。
答案：KV文件、UI界面 -
Azkaban工作流管理器的特点是所有的任务资源文件都需要（）上传
答案：压缩 -
Azkaban工作流管理器由三个核心部分组成，具体分别是（）（）（）
答案：Relational Database、AzkabanWebServer、AzkabanExecutorServer -
Azkaban提供三种部署模式：轻量级的（）重量级（）的和（）
答案：独立服务器模式、双服务器模式、分布多执行器模式 -
.Sqoop主要用于在（）和（）之间进行传输数据
答案：Hadoop、关系型数据库 -
Sqoop底层利用（）技术以（）方式加快了数据传输速度，并且具有较好的容错性功能
答案：MapReduce、批处理 -
从数据库导入HDFS时，指定以制表符作为字段分隔符参数是（）
答案：--fields-terminated-by '\t'
相关文章：
【2023Hadoop大数据技术应用期末复习】填空题题型整理
大数据的 4V 特征包含（）（）（）（） 答案：大量、多样、高速、价值Hadoop 三大组件包含（）（）（） 答案&…...
劫持 PE 文件：新建节表并插入指定 DLL 文件
PE格式简介 PE(Portable Executable)格式，是微软Win32环境可移植可执行文件(如exe、dll、vxd、sys和vdm等)的标准文件格式。PE格式衍生于早期建立在VAX(R)VMS(R)上的COFF(Common Object File Format)文件格式。 Portable 是指对于不同的Windows版本和不同的CPU类型上…...
HTTP分数排行榜
HTTP分数排行榜 介绍一、创建数据库二、创建PHP脚本三、上传下载分数四、测试 介绍 Unity中向服务器发送用户名和得分，并存入数据库，再讲数据库中的得分按照降序的方式下载到Unity中。 一、创建数据库 首先，我们要在MySQL数据库中建立一个…...
Android 实现 Slots 游戏旋转效果
文章目录 前言一、效果展示二、代码实现1.UI布局2.SlotAdapter2.SlotsActivity 总结 前言 slots游戏： Slots游戏是一种极具流行度的赌博和娱乐形式，通常被称为老虎机或水果机。它们在赌场、线上游戏平台和手机应用中广泛存在。一般这类游戏都使用Unity…...
AI产品经理 - 如何做一款软硬协同AI产品
【背景】从0做一款软硬协同的AI产品，以智能医药保温箱 1.以智能医药保温箱 2.调研定义市场方向 地点：医药、实验室 场景：长宽高/装箱/运输/实验室 3.需求挖掘 4.如何进行软硬件AI产品工作 软硬件产品设计：功能/硬件外观设计、…...
拒绝采样（算法）总结
先说说什么是拒绝采样算法：就类似于数学上的求阴影面积的方法，直接求求不出来，就用大面积 - 小面积 阴影面积的办法。 所谓拒绝 和 采样 ：就像是撒豆子计个数，计算概率问题一样，大桶里面套小桶，…...
分布式数据库事务故障恢复的原理与实践
关系数据库中的事务故障恢复并不是一个新问题，自70年代关系数据库诞生之后就一直伴随着数据库技术的发展，并且在分布式数据库的场景下又遇到了一些新的问题。本文将会就事务故障恢复这个问题，分别讲述单机数据库、分布式数据库中遇到的问题和…...
Spark中的数据加载与保存
Apache Spark是一个强大的分布式计算框架，用于处理大规模数据。在Spark中，数据加载与保存是数据处理流程的关键步骤之一。本文将深入探讨Spark中数据加载与保存的基本概念和常见操作，包括加载不同数据源、保存数据到不同格式以及性能优化等方…...
2023-12-20 LeetCode每日一题（判别首字母缩略词）
2023-12-20每日一题 一、题目编号 2828. 判别首字母缩略词二、题目链接 点击跳转到题目位置 三、题目描述 给你一个字符串数组 words 和一个字符串 s ，请你判断 s 是不是 words 的 首字母缩略词 。 如果可以按顺序串联 words 中每个字符串的第一个字符形成字符…...
C# 事件（Event）
C# 事件（Event） C# 事件（Event）通过事件使用委托声明事件（Event）实例 C# 事件（Event） 事件（Event） 基本上说是一个用户操作，如按键、点击、鼠标移…...
2312d,d的sql构建器
原文 项目 该项目在我工作项目中广泛使用,它允许自动处理联接方式动态构建SQL语句. 还会自动直接按表示数据库行结构序化.它在dconf2022在线演讲中介绍了:建模一切. 刚刚添加了对sqlite的支持.该API还不稳定,但仍非常有用.这是按需构建,所以虽然有个计划外表,但满足了我的需要…...
以太网二层交换机实验
实验目的： （1）理解二层交换机的原理及工作方式； （2）利用交换机组建小型交换式局域网。 实验器材： Cisco packet 实验内容： 本实验可用一台主机去ping另一台主机，并…...
启封涂料行业ERP需求分析和方案分享
涂料制造业是一个庞大而繁荣的行业 它广泛用于建筑、汽车、电子、基础设施和消费品。涂料行业生产不同的涂料，如装饰涂料、工业涂料、汽车涂料和防护涂料。除此之外，对涂料出口的需求不断增长，这增加了增长和扩张的机会。近年来，…...
华为ensp网络设计期末测试题-复盘
网络拓扑图 地址分配表 vlan端口分配表 需求 The device is running!<Huawei>sys Enter system view, return user view with CtrlZ. [Huawei]un in en Info: Information center is disabled. [Huawei]sys S1 [S1]vlan 99 [S1-vlan99]vlan 100 [S1-vlan100]des IT [S1-…...
Dockerfile： WORKDIR vs VOLUME
WORKDIR WORKDIR指令为Dockerfile中的任何RUN、CMD、ENTRYPOINT、COPY和ADD指令设置工作目录。 如果WORKDIR不存在，它将被创建，即使它没有在任何后续Dockerfile指令中使用。 语法 : WORKDIR dirpath WORKDIR指令可以在Dockerfile中多次使用。如果提供了…...
；)
spring ioc源码-refresh()；
主要作用是刷新应用上下文 Override public void refresh() throws BeansException, IllegalStateException {synchronized (this.startupShutdownMonitor) {// 启动刷新的性能跟踪步骤StartupStep contextRefresh this.applicationStartup.start("spring.context.refre…...
使用递归实现深拷贝
文章目录 为什么要使用递归什么深拷贝具体实现基础实现处理 函数处理 Symbol处理 Set处理 Map处理 循环引用 结语-源码 为什么要使用递归什么深拷贝 我们知道在 JavaScript 中可以通过使用JSON序列化来完成深拷贝，但是这种方法存在一些缺陷，比如对于函数…...
工程（十七）——自己数据集跑R2live
博主创建了一个科研互助群Q：772356582，欢迎大家加入讨论。 r2live是比较早的算法，编译过程有很多问题，通过以下两个博客可以解决 编译R2LIVE问题&解决方法-CSDN博客 r2live process has died 问题解决了_required process …...
【python高级用法】迭代器、生成器、装饰器、闭包
迭代器 可迭代对象：可以使用for循环来遍历的，可以使用isinstance()来测试。 迭代器：同时实现了__iter__()方法和__next__()方法，可以使用isinstance()方法来测试是否是迭代器对象 from collections.abc import Iterable, Iterat…...
Nx市工业数据洞察：Flask、MySQL、Echarts的可视化之旅
Nx市工业数据洞察：Flask、MySQL、Echarts的可视化之旅 背景数据集来源技术选型功能介绍创新点总结 背景 随着工业化的不断发展，Nx市工业数据的收集和分析变得愈发重要。本博客将介绍如何利用Flask、MySQL和Echarts等技术，从统计局获取的数据…...
(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)
题目：3442. 奇偶频次间的最大差值 I 思路 ：哈希，时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况，哈希表这里用数组即可实现。 C版本： class Solution { public:int maxDifference(string s) {int a[26]…...
【Linux】shell脚本忽略错误继续执行
在 shell 脚本中，可以使用 set -e 命令来设置脚本在遇到错误时退出执行。如果你希望脚本忽略错误并继续执行，可以在脚本开头添加 set e 命令来取消该设置。 举例1 #!/bin/bash# 取消 set -e 的设置 set e# 执行命令，并忽略错误 rm somefile…...
应用升级/灾备测试时使用guarantee 闪回点迅速回退
1.场景 应用要升级,当升级失败时,数据库回退到升级前. 要测试系统,测试完成后,数据库要回退到测试前。 相对于RMAN恢复需要很长时间， 数据库闪回只需要几分钟。 2.技术实现 数据库设置 2个db_recovery参数 创建guarantee闪回点，不需要开启数据库闪回。…...
Zustand 状态管理库：极简而强大的解决方案
Zustand 是一个轻量级、快速和可扩展的状态管理库，特别适合 React 应用。它以简洁的 API 和高效的性能解决了 Redux 等状态管理方案中的繁琐问题。 核心优势对比 基本使用指南 1. 创建 Store // store.js import create from zustandconst useStore create((set)…...
MySQL 隔离级别：脏读、幻读及不可重复读的原理与示例
一、MySQL 隔离级别 MySQL 提供了四种隔离级别，用于控制事务之间的并发访问以及数据的可见性，不同隔离级别对脏读、幻读、不可重复读这几种并发数据问题有着不同的处理方式，具体如下： 隔离级别脏读不可重复读幻读性能特点及锁机制读未提交（READ UNCOMMITTED）允许出现允许…...
Java 8 Stream API 入门到实践详解
一、告别 for 循环！ 传统痛点： Java 8 之前，集合操作离不开冗长的 for 循环和匿名类。例如，过滤列表中的偶数： List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...
安宝特方案丨XRSOP人员作业标准化管理平台：AR智慧点检验收套件
在选煤厂、化工厂、钢铁厂等过程生产型企业，其生产设备的运行效率和非计划停机对工业制造效益有较大影响。 随着企业自动化和智能化建设的推进，需提前预防假检、错检、漏检，推动智慧生产运维系统数据的流动和现场赋能应用。同时，…...
django filter 统计数量 按属性去重
在Django中，如果你想要根据某个属性对查询集进行去重并统计数量，你可以使用values()方法配合annotate()方法来实现。这里有两种常见的方法来完成这个需求： 方法1：使用annotate()和Count 假设你有一个模型Item，并且你想…...
dedecms 织梦自定义表单留言增加ajax验证码功能
增加ajax功能模块，用户不点击提交按钮，只要输入框失去焦点，就会提前提示验证码是否正确。 一，模板上增加验证码 <input name"vdcode"id"vdcode" placeholder"请输入验证码" type"text&quo…...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序
一、开发环境准备 工具安装： 下载安装DevEco Studio 4.0（支持HarmonyOS 5）配置HarmonyOS SDK 5.0确保Node.js版本≥14 项目初始化： ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...