Hadoop面试重点
文章目录
- 1. Hadoop 常用端口号
- 2.Hadoop特点
- 3.Hadoop1.x、2.x、3.x区别
1. Hadoop 常用端口号
| hadoop2.x | hadoop3.x | |
|---|---|---|
| 访问HDFS 端口 | 50070 | 9870 |
| 访问 MR 执行情况端口 | 8088 | 8088 |
| 历史服务器 | 19888 | 19888 |
| 客户端访问集群端口 | 9000 | 8020 |
2.Hadoop特点
- 高可靠：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
- 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
- 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
- 高容错性：能够自动将失败的任务重新分配。
3.Hadoop1.x、2.x、3.x区别
- 在Hadoop1.x 时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。
- 在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度 ，MapReduce只负责运算。
- Hadoop3.x在组成上没有变化。
相关文章：
Hadoop面试重点
文章目录 1. Hadoop 常用端口号2.Hadoop特点3.Hadoop1.x、2.x、3.x区别 1. Hadoop 常用端口号 hadoop2.xhadoop3.x访问HDFS 端口500709870访问 MR 执行情况端口80888088历史服务器1988819888客户端访问集群端口90008020 2.Hadoop特点 高可靠：Hadoop底层维护多个数…...
【ONE·基础算法 || 分治·快排并归】
总言 主要内容：编程题举例，理解分治的思想（主要是对快排、并归的应用）。 文章目录 总言1、基本介绍2、颜色分类（medium）2.1、题解 3、快速排序（medium）3.1、题解ÿ…...
Python 从0开始 一步步基于Django创建项目（11）注册新用户
1、修改C:\D\Python\Python310\study\snap_gram\users路径下的urls.py 添加‘注册新用户’URL。 #注册新用户 path(register/,views.register,nameregister), 2、修改C:\D\Python\Python310\study\snap_gram\users路径下的views.py 编写URL对应的视图函数register。 def r…...
银行监管报送系统介绍（十二）：非居民金融账户涉税信息报送
国家税务总局、财政部、中国人民银行、中国银行业监督管理委员会、中国证券监督管理委员会、国家金融监督管理总局2017年5月9日发布、2017年7月1日起施行的《非居民金融账户涉税信息尽职调查管理办法》。 一、《管理办法》出台的背景是什么？ 受二十国集团&…...
土壤有机质空间分布数据
土壤有机质（soil organic matter）是土壤中含碳有机化合物的总称，包括土壤固有的和外部加入的所有动植物残体及其分解产物和合成产物。主要来源于动植物及微生物残体，可分为腐殖质和非腐殖物质。一般占土壤固相总重的10%以下&#…...
Unity图集编辑器
图集编辑器 欢迎使用图集编辑器新的改变编辑器图片 欢迎使用图集编辑器 Unity图集操作很是费劲 无法批量删除和添加图集中的图片 新的改变 自己写了一个图集编辑器 客： 支持批量删除 左键点击图片代表选中 右键点击图标定位到资产支持批量添加 选中图片拖拽到编…...
【JS笔记】JavaScript语法 《基础+重点》 知识内容，快速上手（六）
面向对象OOP 首先，我们要明确，面向对象不是语法，是一个思想，是一种 编程模式面向： 面（脸），向（朝着）面向过程： 脸朝着过程 》 关注着过程的编程模…...
hbase启动错误-local host is“master:XXXX“ destination is:master
博主的安装前提： zookeeper安装完成，且启动成功 hdfs高可用安装，yarn高可用安装，且启动成功 报错原因：端口配置不对 解决方案： 输入：hdfs getconf -confKey fs.default.name 然后把相应的…...
基于SpringBoot的“招生管理系统”的设计与实现（源码+数据库+文档+PPT)
基于SpringBoot的“招生管理系统”的设计与实现（源码数据库文档PPT) 开发语言：Java 数据库：MySQL 技术：SpringBoot 工具：IDEA/Ecilpse、Navicat、Maven 系统展示 系统功能结构图 系统首页界面图 学生注册界面图 …...
Chinese-LLaMA-Alpaca-2模型量化部署测试
简介 Chinese-LLaMA-Alpaca-2基于Meta发布的可商用大模型Llama-2开发, 是中文LLaMA&Alpaca大模型的第二期项目. 量化 模型的下载还是应用脚本 bash hfd.sh hfl/chinese-alpaca-2-13b --tool aria2c -x 8应用llama.cpp进行量化, 主要参考该教程. 其中比较折腾的是与BLAS…...
flutter 打包成web应用后怎么通过url跳转页面
在 Flutter 中，如果你想要在打包成 Web 应用后通过 URL 跳转页面，你可以利用 Flutter 提供的路由导航系统和 URL 策略。以下是具体步骤： 1. 配置路由 在 Flutter 应用中定义路由，一种简单的方式是使用 MaterialApp 构造器的 rou…...
【设计模式】中介者模式的应用
文章目录 1.概述2.中介者模式的适用场景2.1.用户界面事件2.2.分布式架构多模块通信 3.总结 1.概述 中介者模式（Mediator Pattern）是一种行为型设计模式，它用于解决对象间复杂、过度耦合的问题。当多个对象（一般是两个以上的对象&…...
【微服务篇】分布式事务方案以及原理详解
分布式事务是指事务参与者、资源服务器、事务管理器分布在不同的分布式系统的多个节点之上的事务。在微服务架构、大型分布式系统和云计算等环境中，由于系统间调用和资源访问的复杂性，分布式事务变得尤为重要。 应用场景 跨系统交易：当交易…...
String 类的常用方法都有那些？
String 类在 Java 中是一个非常重要的类，用于处理文本数据。它提供了许多方法来操作字符串。以下是一些 String 类的常用方法： 构造方法 String(): 创建一个新的空字符串对象。String(byte[] bytes): 使用指定的字节数组来创建一个新的 String 对象。S…...
用XMLHttpRequest发送和接收JSON数据
百度的AI回答了一个案例： var xhr new XMLHttpRequest(); var url "your_endpoint_url"; // 替换为你的API端点 var data JSON.stringify({key1: "value1",key2: "value2" });xhr.open("POST", url, true); xhr.setReq…...
华为云使用指南02
5.使用GitLab进行团队及项目管理 GitLab旨在帮助团队进行项目开发协作，为软件开发和运营生命周期提供了一个完整的DevOps方案。GitLab功能包括：项目源码的管理、计划、创建、验证、集成、发布、配置、监视和保护应用程序等。该镜像基于CentOS操…...
halcon目标检测标注保存
* 创建一个新的字典 create_dict(ObjectDictionary) * 类别名称列表和对应的ID列表 class_names : [Defect1,Defect2,Defect3,Defect4,Defect5,Defect6,Defect7,Defect8,Defect9,Defect10,Defect11,Defect12,Defect13,Defect14,Defect15,Defect16,Defect17,Defect18] class_id…...
Python图像处理——计算机视觉中常用的图像预处理
概述 在计算机视觉项目中，使用样本时经常会遇到图像样本不统一的问题，比如图像质量，并非所有的图像都具有相同的质量水平。在开始训练模型或运行算法之前，通常需要对图像进行预处理，以确保获得最佳的结果。图像预处理…...
编译安装飞桨fastdeploy@FreeBSD（失败）
FastDeploy是一款全场景、易用灵活、极致高效的AI推理部署工具， 支持云边端部署。提供超过 🔥160 Text，Vision， Speech和跨模态模型📦开箱即用的部署体验，并实现🔚端到端的推理性能优化。包括 物…...
java组合总和（力扣Leetcode39）
组合总和 力扣原题链接 问题描述 给定一个无重复元素的整数数组 candidates 和一个目标整数 target，找出 candidates 中可以使数字和为目标数 target 的所有不同组合，并以列表形式返回。你可以按任意顺序返回这些组合。 示例 示例 1： 输…...
冠珠瓷砖×莫氏鸡煲×叠滘东胜东队,德叔有请，莫叔掌勺，“力撑”叠滘龙船传承
5月10日，2026叠滘龙船漂移大赛金牌合作伙伴冠珠瓷砖品牌代表、新明珠集团董事长叶德林“德叔”有请，莫氏鸡煲创始人“莫叔”掌勺，携火爆全网的莫氏祛湿鸡煲、紫洞黄皮酒，探班叠滘东胜东队训练场。当天下午，德叔、莫叔还…...
AGENTS.md：为AI编码助手定制的项目说明书，提升人机协作效率
1. 项目概述：为什么你的项目需要一个“AI专属说明书”？如果你最近在尝试用GitHub Copilot、Cursor或者Claude Code来辅助开发，大概率遇到过这样的场景：你满怀期待地给AI下达一个指令，比如“帮我给这个React组件添加一个…...
联发科与威睿电通合作：深度解析全球模式SoC如何实现CDMA与LTE融合
1. 项目概述：一次芯片设计领域的“握手”每年的国际消费电子展（CES）总是热闹非凡，各种炫目的消费电子产品占据着舞台中央。但作为从业者，我们更关注的是那些隐藏在光鲜产品背后、驱动一切的技术基石。2014年的CES上&am…...
基于Java的教学仪器设备销售网站（10017）
有需要的同学，源代码和配套文档领取，加文章最下方的名片哦 一、项目演示 项目演示视频 二、资料介绍 完整源代码（前后端源代码SQL脚本）配套文档（LWPPT开题报告/任务书）远程调试控屏包运行一键启动项目&…...
一键安装器设计指南：从Shell脚本到自动化部署架构
1. 项目概述与核心价值最近在折腾一些自动化部署和脚本管理时，发现了一个挺有意思的项目：viomat7064/openclaw-installer。乍一看这个仓库名，你可能会联想到某种“爪子”工具，其实它本质上是一个针对特定开源软件或服务的一键式安…...
本地视频怎么去水印？2026实测去水印方法+本地视频去水印软件推荐
本地视频怎么去水印？2026实测去水印方法本地视频去水印软件推荐 视频上有水印，是很多人日常都会碰到的麻烦。录屏时工具自动打上的 Logo、剪辑软件试用期留下的标记、从平台保存下来时带着的角标……这些水印有时候影响不大，但只要你想二次使…...
当AI编程助手成为奢侈品：Cursor Free VIP如何重新定义开发者的数字身份自由
当AI编程助手成为奢侈品：Cursor Free VIP如何重新定义开发者的数字身份自由 【免费下载链接】cursor-free-vip [Support 0.45]（Multi Language 多语言）自动注册 Cursor Ai ，自动重置机器ID ， 免费升级使用Pro 功能: Yo…...
3大实战场景：PX4无人机视觉定位从零部署到工业级应用
3大实战场景：PX4无人机视觉定位从零部署到工业级应用 【免费下载链接】PX4-Autopilot PX4 Autopilot Software 项目地址: https://gitcode.com/gh_mirrors/px/PX4-Autopilot PX4-Autopilot作为开源无人机飞控的标杆，其视觉定位能力正在重塑自主飞…...
如何在5分钟内体验完整的Windows 12网页版：创新系统模拟器终极指南
如何在5分钟内体验完整的Windows 12网页版：创新系统模拟器终极指南 【免费下载链接】win12 Windows 12 网页版，在线体验 点击下面的链接在线体验 项目地址: https://gitcode.com/gh_mirrors/wi/win12 想要在浏览器中运行完整的Windows系统界面吗&…...
从零到跑通：Windows下OTB100数据集与Matlab评测环境保姆级避坑指南
从零到跑通：Windows下OTB100数据集与Matlab评测环境保姆级避坑指南 刚接触目标跟踪领域的研究者，往往需要从经典数据集评测开始。OTB（Object Tracking Benchmark）作为目标跟踪领域的基石数据集，包含100个具有挑战性的视…...