大数据-hadoop
1.hadoop介绍
1.1 起源
1.2 版本
1.3生产环境版本选择
Hadoop三大发行版本:Apache、Cloudera、Hortonworks
Apache版本最原始的版本
Cloudera在大型互联网企业中用的较多
Hortonworks文档较好
1.4架构
hadoop由三个模块组成
分布式存储HDFS
分布式计算MapReduce
资源调度引擎Yarn
分布式文件存储系统HDFS
NameNode主节点主要负责管理集群，保存元数据信息
SecondaryNameNode辅助NameNode做元数据信息备份
DataNode从节点存储数据
资源管理调度系统yarn
ResourceManage主节点主要负责资源调度分配
NodeManager从节点
2.hadoop安装
2.1.关闭防火墙、selinux
### 1.关闭防火墙systemctl stop firewalld
systemctl enable firewalld### 2.关闭selinuxvi /etc/sysconfig/selinux
SELINUX=disabled
2.2配置hostname
2.3.机器时钟同步
1.通过网络进行时钟同步
安装ntpdate
yum -y install ntpdate
阿里云时钟同步服务器
ntpdate ntp4.aliyun.com定时同步
crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com
相关文章：
大数据-hadoop
1.hadoop介绍 1.1 起源 1.2 版本 1.3生产环境版本选择 Hadoop三大发行版本:Apache、Cloudera、Hortonworks Apache版本最原始的版本 Cloudera在大型互联网企业中用的较多 Hortonworks文档较好 1.4架构 hadoop由三个模块组成 分布式存储HDFS 分布式计算MapReduce 资源调度引擎Y…...
容器启动报错
容器启动报错 docker: Error response from daemon: driver failed programming external connectivity on endpoint XXX 如下： 据百度： 在docker启动后在，再对防火墙firewalld进行操作，就会发生上述报错 详细原因：…...
求生之路2服务器搭建插件安装及详细的游戏参数配置教程linux
求生之路2服务器搭建插件安装及详细的游戏参数配置教程linux 大家好我是艾西，在上一篇文章中我用windows系统给搭建演示了一遍怎么搭建自己的L4D2游戏。 那么也有不少小伙伴想知道linux系统的搭建方式以及在这个过程中有什么区别。 那么艾西今天就跟大家分享下用lin…...
IntelliJ IDEA 左侧Commit栏不见了
1.点击File->Settings->Version Control->Commit 2.勾选Use non-modal commit interface...
使用自功率谱、互功率谱估计滤波器幅频特性
这段时间终于对工程中的随机信号的一般处理方式有点头绪了，功率谱密度估计是十分重要的方式之一，仍需继续深入细化相关内容。 示例：使用自功率谱、互功率谱估计滤波器幅频特性，自己实现 & Matlab自带函数实现。 clc;clear;cl…...
51单片机光照强度检测自动路灯开关仿真( proteus仿真+程序+报告+讲解视频）
51单片机光照强度检测自动路灯开关仿真( proteus仿真程序报告讲解视频） 仿真图proteus7.8及以上 程序编译器：keil 4/keil 5 编程语言：C语言 设计编号：S0052 讲解视频 基于51单片机的光照检测自动路灯控制仿真设计( proteus仿…...
socat管理haproxy配置
文章目录 前言一、配置二、简单使用1. 先安装 socat2. 获取 haproxy 的监控数据 总结 前言 我们可以通过 socat 命令 实现对 haproxy 的管理，包括获取监控数据，对后端服务器实现启动停止，服务流量控制等等。 一、配置 要想 haproxy 支持通过…...
Linux发行版X华为鲲鹏openEuler
前言 作为硬件和软件之间的桥梁，我接触的最多的就是Windows和Centos，还记得最初的鸟哥的Linux私房菜，而Centos即将停止维护更新（Centos7维护到2024），对于个人学习来说没有任何影响，但是对于企业…...
计算机网络相关知识点
谈一谈对OSI七层模型和TCP/IP四层模型的理解？ 这两种模型都是网络通信中重要的参考模型,他们的设计和功能有一些区别。 首先OSI，OSI七层模型，也被称为开放系统互联参考模型，是一种在国际标准化组织（ISO）中…...
Jmeter+Ant+Git+Jenkins持续集成介绍
【软件测试面试突击班】如何逼自己一周刷完软件测试八股文教程，刷完面试就稳了，你也可以当高薪软件测试工程师（自动化测试） 一 简介 1.什么是ant? ant是构建工具 2.什么是构建 概念到处可查到，形象来说ÿ…...
Spring Cloud Gateway实战WebFlux解析请求体及抛出指定错误代码和信息
概述 基于Spring Cloud开发微服务时，使用Spring Cloud原生自带的Gateway作为网关，所有请求都需要经过网关服务转发。 为了防止恶意请求刷取数据，对于业务请求需要进行拦截，故而可在网关服务增加拦截过滤器。基于此，有…...
Servlet开发-通过代码案例熟悉HttpServletRequest类
关于Servlet开发的流程推荐看servlet开发-通过Tomcat部署一个简单的webapp Servlet开发与idea集成的插件安装推荐看idea集成tomcat（Smart Tomcate插件安装） postman（第三方创建HTTP请求工具）的安装推荐看创建HTTP请求的几种方式…...
离线环境harbor 搭建及使用
一 摘要 本文主要介绍harbor 的安装及使用。 二 环境信息及部署图 2.1 环境信息 名称版本备注操作系统centos7.9容器docker 23.0.1harbor2.7代理nginx待补充 2.2 架构图 说明： 1.harbor 核心服务里有个nginx ，也可以用该nginx 做代理 2.proxy-ngin…...
华为杯数学建模比赛经验分享
再过一周左右,第二十届华为杯数学建模比赛就要开赛了，所以今天分享一下个人数学建模比赛的经验。 今天给大家分享一期关于华为杯数学建模比赛的经验分享，我将从以下三个方面展开说明： （1）如何准备数学建模比赛&#x…...
c语言 - 实现每隔1秒向文件中写入当前系统时间
实现思路 主要是通过库函数和结构体获取当前系统时间（年月日和时分秒）保存到变量里，然后通过格式化输出函数将当前系统时间输出到文件中去。 但是需要注意的是题目要求每隔 1 s对系统时间进行输出，所以需要加入 sleep()函数进行调…...
使用cpolar端口映射的方法轻松实现在Linux环境下SVN服务器的搭建与公网访问
文章目录 前言1. Ubuntu安装SVN服务2. 修改配置文件2.1 修改svnserve.conf文件2.2 修改passwd文件2.3 修改authz文件 3. 启动svn服务4. 内网穿透4.1 安装cpolar内网穿透4.2 创建隧道映射本地端口 5. 测试公网访问6. 配置固定公网TCP端口地址6.1 保留一个固定的公网TCP端口地址6…...
前后台分离开发 YAPI平台 前端工程化之Vue-cli
目录 YAPI介绍前端工程化之Vue-cli前端工程化简介前端工程化入门——Vue-cli环境准备Vue项目简介创建Vue项目vue项目目录结构介绍vue项目运行方法 Vue项目开发流程 前后台混合开发这种开发模式有如下缺点： 沟通成本高：后台人员发现前端有问题࿰…...
【js/es6】合集
目录 随机生成字符串每十个字符换行 随机生成字符串 function generateRandomAlphaNum(len) {var rdmString "";for (; rdmString.length < len; rdmString Math.random().toString(36).substr(2));return rdmString.substr(0, len); }每十个字符换行 string.…...
Nginx modules build fail:field ‘pkt6’ has incomplete type
前言 最近升级Nginx 1.24.0，编译第三方module出错： /usr/src/nginx_modules/ngx_json_post_module/src/ngx_json_post_module.c In file included from src/event/ngx_event.h:526,from src/http/ngx_http_upstream.h:14,from src/http/ngx_http.h:34,…...
电脑突然提示mfc140u.dll丢失，缺失mfc140u.dll无法运行程序的解决方法
在当今信息化社会，电脑已经成为我们生活和工作中不可或缺的一部分。然而，随着技术的不断发展，电脑也会出现各种问题。其中，最常见的问题之一就是“mfc140u.dll丢失”。那么，当我们遇到这个问题时，应该如何解…...
轴承剩余寿命预测 | 基于BP神经网络的轴承剩余寿命预测MATLAB实现！
研究背景 该代码基于IEEE PHM 2012数据挑战赛的轴承全寿命加速退化实验数据，旨在利用数据驱动方法预测滚动轴承的剩余使用寿命（RUL）。实验中轴承在恒定负载下持续运行至失效，期间通过水平/竖直加速度传感器以25.6 kHz采样频率每隔…...
GLIGEN图像空间控制：用边界框实现像素级精准生成
1. GLIGEN：不是又一个“AI画图玩具”，而是图像生成控制权的真正移交你有没有试过对着 Stable Diffusion 的提示词框反复修改半小时，就为了把一只猫准确地放在沙发左边、让咖啡杯稳稳立在桌面上、让窗外的梧桐树只出现在画面右上角——结果生成…...
Selenium自动化ChatGPT：绕过API限制，实现Web端高效批量交互
1. 项目概述与核心价值最近在GitHub上看到一个挺有意思的项目，叫“Michelangelo27/chatgpt_selenium_automation”。光看名字，你大概能猜到它想做什么：用Selenium自动化操作ChatGPT。这听起来是不是有点“用大炮打蚊子”的感觉？毕…...
计算机视觉模型选型实战：四维战场决策法
1. 项目概述：这不是一场技术选型，而是一次实战能力的现场测验 “计算机视觉的战场：选择你的冠军”——这个标题乍看像游戏海报，实则精准戳中了当前CV工程落地最真实的痛点。它不谈论文指标、不堆模型参数，而是把镜头直…...
使用Taotoken CLI工具一键配置多开发环境下的API访问密钥
🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 使用Taotoken CLI工具一键配置多开发环境下的API访问密钥 在团队协作或个人多设备开发场景中，为不同的AI开发工具&…...
告别混乱XML：Notepad++插件一键美化与智能纠错实战
1. 为什么我们需要XML格式化工具？ 作为一个常年和XML打交道的开发者，我太清楚那种打开一个几千行XML文件时的绝望了——所有标签挤在一起，缩进混乱得像被猫抓过的毛线球，想找个节点得用CtrlF来回搜三遍。更可怕的是，有…...
现代React Native开发：从Expo生态到Redux状态管理的工程实践
1. 项目概述：一个为现代React Native开发量身定制的生产力引擎 如果你和我一样，在过去几年里用React Native做过几个项目，那你一定对项目初始化时那种重复、繁琐的“体力活”深有体会。每次新建一个项目，都要重新安装一堆依赖库&…...
基于OneBot协议与Go语言的QQ机器人框架Samantha开发实践
1. 项目概述：一个开源的QQ机器人框架 最近在折腾QQ机器人，想给自己的社群或者频道加点自动化功能，比如定时提醒、关键词回复、游戏查询什么的。市面上现成的机器人框架不少，但要么功能臃肿，要么配置复杂，要…...
外汇延迟套利检测系统演进：从规则到AI的行为博弈
1. 项目概述：当速度优势不再是护城河 在电子外汇交易的世界里，速度套利一直是一个古老而又充满技术魅力的游戏。它的核心逻辑简单到近乎纯粹：如果你能比你的交易对手更快地获取到市场价格变动的信息，你就能在对手更新其报价之前&a…...
告别软件模拟！用GD32F303硬件I2C驱动AT24C02 EEPROM保姆级教程（附完整代码）
从软件模拟到硬件加速：GD32F303硬件I2C驱动AT24C02全流程解析 当你在嵌入式项目中频繁操作EEPROM时，是否遇到过这样的困扰：软件模拟I2C占用大量CPU资源，时序稳定性受中断影响，传输速率始终无法突破瓶颈？这些…...