企业级大数据平台建设方案
企业级大数据平台建设方案
- 方案简介
- 硬件
- 软件
- 分布式存储：
- Foreman作为集群管理工具
- Spark
- cloudera
方案简介
该方案是多年前在Roadstar.ai任职时的建设方案，现将方案部分细节开源，结合本博客的其他文章，能够建立可靠的企业大数据平台。
硬件
自组双路Xeon E5 + 64GB + SSD（250GB）+ 10TB*24 +万兆电口
峰值功率~800W
软件
OS：Centos7，安装到SSD上
存储方案：ZFS + raidz2(双奇偶校验) + 1 hot spare disk(1热备盘)
注意zfs需要0.7x版本以上，0.7x解决了两个主要问题：
1）hot spare(热备)不能在有盘故障的情况下热接入。
2）resilver(重同步重同步)太慢
分布式存储：
HDFS
需要使用3.x的版本（erasure code）
冗余方案使用EC(纠删码Erasure Coding)，10+4模式(10 个数据块，4 个冗余块)，需要isa-l加速(英特尔存储加速库)，–编译了一个启用native的hadoop。
若机器不足，namenode(名字节点)及其backup(备份节点)都和datanode(数据节点)可共用
Foreman作为集群管理工具
Foreman（集群管理工具）：用来管理和自动化物理和虚拟服务器的工具。
Spark
（Apache Spark，用于大数据处理和分析的快速、通用的分布式计算系统。）
cloudera
使用Cloudera部署和管理hadoop集群
CDH 是 Cloudera 公司发布的一个综合性大数据平台，它包含了经过 Cloudera 企业级优化和增强的 Apache Hadoop 组件。
相关文章：
企业级大数据平台建设方案
企业级大数据平台建设方案 方案简介硬件软件分布式存储：Foreman作为集群管理工具Sparkcloudera 方案简介 该方案是多年前在Roadstar.ai任职时的建设方案，现将方案部分细节开源，结合本博客的其他文章，能够建立可靠的企业大数据平台…...
HTML语义化标签：为何它们如此重要？
HTML语义化标签：为何它们如此重要？ 引言1. HTML语义化标签的基本概念2. HTML语义化标签的作用2.1 提升网页可读性2.2 增强可访问性2.3 优化搜索引擎排名2.4 提高性能 3. 代码示例结尾讨论 引言 在前端开发的世界里，HTML作为构建网页的基础语…...
详细介绍一下Votenet的工作原理及流程
Votenet是一种基于深度学习的三维目标检测和实例分割方法，其工作原理主要包括两个步骤：候选框生成和目标分类与分割。 1.候选框生成： 首先，Votenet通过将三维点云数据转化为连续的坐标网格，将三维目标检测问题转化为二…...
使用Autofit.js和React实现自适应布局
1. 什么是Autofit.js？ Autofit.js是一个用于自适应网页布局的JavaScript库，它可以根据元素的尺寸和屏幕的大小，自动调整布局和排列方式，以适应不同的设备和分辨率。它提供了简单易用的API，可以帮助我们轻松实现各种自…...
Kafka之【存储消息】
Kafka之【存储消息】...
鸿蒙开发配置官方地图
一共需要配置 p12 p7b cer csr 四个文件 p12文件配置 注意创建文件名必须是.p12 到AGC创建项目 AppGallery Connect 添加自己的项目名称 我没有开启 暂时不需要 看个人需求 下载刚创建的cer证书 回到我的项目中 点击刚创建的项目 点击这里 四个文件齐全了 "metadata&qu…...
《天道》丁元英格律诗商业案例完整拆解（上）
目录 公司启动缘由 我们开公司也好、做任何其他事请也罢。 1997 年 3 月： 北京摆摊、租店面、仓库： 1997 年 4 月前： 向斯雷克音响店下订货单； 1997 年 6 月： 格林、伦敦、巴黎三个城市当托； 1998 …...
2024年山东省安全员C证证模拟考试题库及山东省安全员C证理论考试试题
题库来源：安全生产模拟考试一点通公众号小程序 2024年山东省安全员C证证模拟考试题库及山东省安全员C证理论考试试题是由安全生产模拟考试一点通提供，山东省安全员C证证模拟考试题库是根据山东省安全员C证最新版教材，山东省安全员C证大纲整理…...
微软开源多模态大模型Phi-3-vision，微调实战来了
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。 针对大模型& AIGC 技术趋势、大模型& AIGC 落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了…...
架构二。。
1、CAP 只能3选2 1）一致性（Consistency） 客户每次读都是返回最新的写操作结果 2）可用性（Availability） 非故障节点在合理的时间内返回合理的响应 3）分区容忍性（Partition Tolerance…...
《Google 软件工程》读书笔记
1. 写在前面 在图书馆瞎逛，偶然瞄见一本《Google 软件工程》Titus Winters, Tom Manshreck, Hyrum Wright 著。主要是在这一排的书架上就这本书看着挺新的（不知道为什么有一种喜欢看新书的情节），而且最近被领导老批评，…...
研发机构大数据迁移如何保障敏感数据不泄露
随着云计算和大数据技术的飞速进步，越来越多的企业正试图通过数据迁移来提升IT基础设施的效率，减少成本，并增强业务的灵活性。但是，这一过程并非没有它的挑战，尤其是在数据安全方面。数据在转移过程中可能会遭遇黑客攻…...
【Spring Security系列】权限之旅：SpringSecurity小程序登录深度探索
作者：后端小肥肠 创作不易，未经允许严禁转载。 姊妹篇： 【Spring Security系列】Spring SecurityJWTRedis实现用户认证登录及登出_spring security jwt 退出登录-CSDN博客 1. 前言 欢迎来到【Spring Security系列】！在当今数字化…...
【收录 Hello 算法】第 10 章 搜索
目录 第 10 章 搜索 本章内容 第 10 章 搜索 搜索是一场未知的冒险，我们或许需要走遍神秘空间的每个角落，又或许可以快速锁定目标。 在这场寻觅之旅中，每一次探索都可能得到一个未曾料想的答案。 本章内容 10.1 二分查找10.2 二…...
-查询优化(11)-多范围查询优化)
【MySQL精通之路】SQL优化(1)-查询优化(11)-多范围查询优化
主博客： 【MySQL精通之路】SQL优化(1)-查询优化-CSDN博客 上一篇： 【MySQL精通之路】SQL优化(1)-查询优化(10)-外部联接简化-CSDN博客 下一篇： 当基表很大且未存储在存储引擎的缓存中时，使用辅助索引上的范围扫描读取行可能会…...
Mysql之基本架构
1.Mysql简介 mysql是一种关系型数据库，由表结构来存储数据与数据之间的关系，同时为sql(结构化查询语句)来进行数据操作。 sql语句进行操作又分为几个重要的操作类型 DQL: Data Query Language 数据查询语句 DML: Data Manipulation Language 添加、删…...
Python学习---基于正则表达式的简单爬取电影下载信息案例
一、定义函数获取列表页的内容页地址 get_movie_links() 1、定义列表的地址 2、打开url地址，获取数据 3、解码获取到的数据 4、使用正则得到所有的影片内容也地址 4.1 遍历，取出内容页地址 4.2 拼接内容页地址 4.3 打开内容页地址 4.4 获…...
.DS_store文件
感觉mac里的这个.DS_store文件烦人，老是莫名其妙的出现，然后造成困扰 处理方式如下： import os pic_list os.listdir("./mask_pic/") print(len(pic_list)) # 从文件夹中删掉 if(".DS_Store" in pic_list):print(&quo…...
【webrtc】内置opus解码器的移植
m98 ，不知道是什么版本的opus，之前的交叉编译构建： 【mia】ffmpeg + opus 交叉编译 【mia】ubuntu22.04 ： mingw：编译ffmpeg支持opus编解码 看起来是opus是1.3.1 只需要移植libopus和opus的webrtc解码部分即可。 linux构建的windows可运行的opus库 G:\NDDEV\aliply-0.4\C…...
的概念，使用，并展示如何自定义注解，甚至框架级别的使用说明)
Java注解：讲解Java注解(Annotations)的概念，使用，并展示如何自定义注解，甚至框架级别的使用说明
1. 注解的概念 1.1 介绍Annotation的基础概念 Java注解（Annotation）是Java 5.0及更高版本中引入的一种元数据（meta-data），即数据的数据。它以一种形式附着在代码中，但是对代码的运行不产生直接效果。注解可以用于创建文档、追踪代码依赖性、甚至执行编译期版错误检查等…...
MPNet：旋转机械轻量化故障诊断模型详解python代码复现
目录 一、问题背景与挑战 二、MPNet核心架构 2.1 多分支特征融合模块（MBFM） 2.2 残差注意力金字塔模块（RAPM） 2.2.1 空间金字塔注意力（SPA） 2.2.2 金字塔残差块（PRBlock） 2.3 分类器设计 三、关键技术突破 3.1 多尺度特征融合 3.2 轻量化设计策略 3.3 抗噪声…...
Linux链表操作全解析
Linux C语言链表深度解析与实战技巧 一、链表基础概念与内核链表优势1.1 为什么使用链表？1.2 Linux 内核链表与用户态链表的区别 二、内核链表结构与宏解析常用宏/函数 三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势5.1 插入效率5.2 安全…...
Java 8 Stream API 入门到实践详解
一、告别 for 循环！ 传统痛点： Java 8 之前，集合操作离不开冗长的 for 循环和匿名类。例如，过滤列表中的偶数： List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...
3.3.1_1 检错编码（奇偶校验码）
从这节课开始，我们会探讨数据链路层的差错控制功能，差错控制功能的主要目标是要发现并且解决一个帧内部的位错误，我们需要使用特殊的编码技术去发现帧内部的位错误，当我们发现位错误之后，通常来说有两种解决方案。第一…...
1.3 VSCode安装与环境配置
进入网址Visual Studio Code - Code Editing. Redefined下载.deb文件，然后打开终端，进入下载文件夹，键入命令 sudo dpkg -i code_1.100.3-1748872405_amd64.deb 在终端键入命令code即启动vscode 需要安装插件列表 1.Chinese简化 2.ros …...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个生活电费的缴纳和查询小程序
一、项目初始化与配置 1. 创建项目 ohpm init harmony/utility-payment-app 2. 配置权限 // module.json5 {"requestPermissions": [{"name": "ohos.permission.INTERNET"},{"name": "ohos.permission.GET_NETWORK_INFO"…...
Ascend NPU上适配Step-Audio模型
1 概述 1.1 简述 Step-Audio 是业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统，支持多语言对话（如 中文，英文，日语），语音情感（如 开心，悲伤）&#x…...
C++.OpenGL （14/64）多光源（Multiple Lights）
多光源（Multiple Lights） 多光源渲染技术概览 #mermaid-svg-3L5e5gGn76TNh7Lq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-3L5e5gGn76TNh7Lq .error-icon{fill:#552222;}#mermaid-svg-3L5e5gGn76TNh7Lq .erro…...
Golang——6、指针和结构体
指针和结构体 1、指针1.1、指针地址和指针类型1.2、指针取值1.3、new和make 2、结构体2.1、type关键字的使用2.2、结构体的定义和初始化2.3、结构体方法和接收者2.4、给任意类型添加方法2.5、结构体的匿名字段2.6、嵌套结构体2.7、嵌套匿名结构体2.8、结构体的继承 3、结构体与…...
三分算法与DeepSeek辅助证明是单峰函数
前置 单峰函数有唯一的最大值，最大值左侧的数值严格单调递增，最大值右侧的数值严格单调递减。 单谷函数有唯一的最小值，最小值左侧的数值严格单调递减，最小值右侧的数值严格单调递增。 三分的本质 三分和二分一样都是通过不断缩…...