企业级大数据平台建设方案
企业级大数据平台建设方案
- 方案简介
- 硬件
- 软件
- 分布式存储：
- Foreman作为集群管理工具
- Spark
- cloudera
方案简介
该方案是多年前在Roadstar.ai任职时的建设方案，现将方案部分细节开源，结合本博客的其他文章，能够建立可靠的企业大数据平台。
硬件
自组双路Xeon E5 + 64GB + SSD（250GB）+ 10TB*24 +万兆电口
峰值功率~800W
软件
OS：Centos7，安装到SSD上
存储方案：ZFS + raidz2(双奇偶校验) + 1 hot spare disk(1热备盘)
注意zfs需要0.7x版本以上，0.7x解决了两个主要问题：
1）hot spare(热备)不能在有盘故障的情况下热接入。
2）resilver(重同步重同步)太慢
分布式存储：
HDFS
需要使用3.x的版本（erasure code）
冗余方案使用EC(纠删码Erasure Coding)，10+4模式(10 个数据块，4 个冗余块)，需要isa-l加速(英特尔存储加速库)，–编译了一个启用native的hadoop。
若机器不足，namenode(名字节点)及其backup(备份节点)都和datanode(数据节点)可共用
Foreman作为集群管理工具
Foreman（集群管理工具）：用来管理和自动化物理和虚拟服务器的工具。
Spark
（Apache Spark，用于大数据处理和分析的快速、通用的分布式计算系统。）
cloudera
使用Cloudera部署和管理hadoop集群
CDH 是 Cloudera 公司发布的一个综合性大数据平台，它包含了经过 Cloudera 企业级优化和增强的 Apache Hadoop 组件。
相关文章：
企业级大数据平台建设方案
企业级大数据平台建设方案 方案简介硬件软件分布式存储：Foreman作为集群管理工具Sparkcloudera 方案简介 该方案是多年前在Roadstar.ai任职时的建设方案，现将方案部分细节开源，结合本博客的其他文章，能够建立可靠的企业大数据平台…...
HTML语义化标签：为何它们如此重要？
HTML语义化标签：为何它们如此重要？ 引言1. HTML语义化标签的基本概念2. HTML语义化标签的作用2.1 提升网页可读性2.2 增强可访问性2.3 优化搜索引擎排名2.4 提高性能 3. 代码示例结尾讨论 引言 在前端开发的世界里，HTML作为构建网页的基础语…...
详细介绍一下Votenet的工作原理及流程
Votenet是一种基于深度学习的三维目标检测和实例分割方法，其工作原理主要包括两个步骤：候选框生成和目标分类与分割。 1.候选框生成： 首先，Votenet通过将三维点云数据转化为连续的坐标网格，将三维目标检测问题转化为二…...
使用Autofit.js和React实现自适应布局
1. 什么是Autofit.js？ Autofit.js是一个用于自适应网页布局的JavaScript库，它可以根据元素的尺寸和屏幕的大小，自动调整布局和排列方式，以适应不同的设备和分辨率。它提供了简单易用的API，可以帮助我们轻松实现各种自…...
Kafka之【存储消息】
Kafka之【存储消息】...
鸿蒙开发配置官方地图
一共需要配置 p12 p7b cer csr 四个文件 p12文件配置 注意创建文件名必须是.p12 到AGC创建项目 AppGallery Connect 添加自己的项目名称 我没有开启 暂时不需要 看个人需求 下载刚创建的cer证书 回到我的项目中 点击刚创建的项目 点击这里 四个文件齐全了 "metadata&qu…...
《天道》丁元英格律诗商业案例完整拆解（上）
目录 公司启动缘由 我们开公司也好、做任何其他事请也罢。 1997 年 3 月： 北京摆摊、租店面、仓库： 1997 年 4 月前： 向斯雷克音响店下订货单； 1997 年 6 月： 格林、伦敦、巴黎三个城市当托； 1998 …...
2024年山东省安全员C证证模拟考试题库及山东省安全员C证理论考试试题
题库来源：安全生产模拟考试一点通公众号小程序 2024年山东省安全员C证证模拟考试题库及山东省安全员C证理论考试试题是由安全生产模拟考试一点通提供，山东省安全员C证证模拟考试题库是根据山东省安全员C证最新版教材，山东省安全员C证大纲整理…...
微软开源多模态大模型Phi-3-vision，微调实战来了
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。 针对大模型& AIGC 技术趋势、大模型& AIGC 落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了…...
架构二。。
1、CAP 只能3选2 1）一致性（Consistency） 客户每次读都是返回最新的写操作结果 2）可用性（Availability） 非故障节点在合理的时间内返回合理的响应 3）分区容忍性（Partition Tolerance…...
《Google 软件工程》读书笔记
1. 写在前面 在图书馆瞎逛，偶然瞄见一本《Google 软件工程》Titus Winters, Tom Manshreck, Hyrum Wright 著。主要是在这一排的书架上就这本书看着挺新的（不知道为什么有一种喜欢看新书的情节），而且最近被领导老批评，…...
研发机构大数据迁移如何保障敏感数据不泄露
随着云计算和大数据技术的飞速进步，越来越多的企业正试图通过数据迁移来提升IT基础设施的效率，减少成本，并增强业务的灵活性。但是，这一过程并非没有它的挑战，尤其是在数据安全方面。数据在转移过程中可能会遭遇黑客攻…...
【Spring Security系列】权限之旅：SpringSecurity小程序登录深度探索
作者：后端小肥肠 创作不易，未经允许严禁转载。 姊妹篇： 【Spring Security系列】Spring SecurityJWTRedis实现用户认证登录及登出_spring security jwt 退出登录-CSDN博客 1. 前言 欢迎来到【Spring Security系列】！在当今数字化…...
【收录 Hello 算法】第 10 章 搜索
目录 第 10 章 搜索 本章内容 第 10 章 搜索 搜索是一场未知的冒险，我们或许需要走遍神秘空间的每个角落，又或许可以快速锁定目标。 在这场寻觅之旅中，每一次探索都可能得到一个未曾料想的答案。 本章内容 10.1 二分查找10.2 二…...
-查询优化(11)-多范围查询优化)
【MySQL精通之路】SQL优化(1)-查询优化(11)-多范围查询优化
主博客： 【MySQL精通之路】SQL优化(1)-查询优化-CSDN博客 上一篇： 【MySQL精通之路】SQL优化(1)-查询优化(10)-外部联接简化-CSDN博客 下一篇： 当基表很大且未存储在存储引擎的缓存中时，使用辅助索引上的范围扫描读取行可能会…...
Mysql之基本架构
1.Mysql简介 mysql是一种关系型数据库，由表结构来存储数据与数据之间的关系，同时为sql(结构化查询语句)来进行数据操作。 sql语句进行操作又分为几个重要的操作类型 DQL: Data Query Language 数据查询语句 DML: Data Manipulation Language 添加、删…...
Python学习---基于正则表达式的简单爬取电影下载信息案例
一、定义函数获取列表页的内容页地址 get_movie_links() 1、定义列表的地址 2、打开url地址，获取数据 3、解码获取到的数据 4、使用正则得到所有的影片内容也地址 4.1 遍历，取出内容页地址 4.2 拼接内容页地址 4.3 打开内容页地址 4.4 获…...
.DS_store文件
感觉mac里的这个.DS_store文件烦人，老是莫名其妙的出现，然后造成困扰 处理方式如下： import os pic_list os.listdir("./mask_pic/") print(len(pic_list)) # 从文件夹中删掉 if(".DS_Store" in pic_list):print(&quo…...
【webrtc】内置opus解码器的移植
m98 ，不知道是什么版本的opus，之前的交叉编译构建： 【mia】ffmpeg + opus 交叉编译 【mia】ubuntu22.04 ： mingw：编译ffmpeg支持opus编解码 看起来是opus是1.3.1 只需要移植libopus和opus的webrtc解码部分即可。 linux构建的windows可运行的opus库 G:\NDDEV\aliply-0.4\C…...
的概念，使用，并展示如何自定义注解，甚至框架级别的使用说明)
Java注解：讲解Java注解(Annotations)的概念，使用，并展示如何自定义注解，甚至框架级别的使用说明
1. 注解的概念 1.1 介绍Annotation的基础概念 Java注解（Annotation）是Java 5.0及更高版本中引入的一种元数据（meta-data），即数据的数据。它以一种形式附着在代码中，但是对代码的运行不产生直接效果。注解可以用于创建文档、追踪代码依赖性、甚至执行编译期版错误检查等…...
网络六边形受到攻击
大家读完觉得有帮助记得关注和点赞！！！ 抽象 现代智能交通系统 （ITS） 的一个关键要求是能够以安全、可靠和匿名的方式从互联车辆和移动设备收集地理参考数据。Nexagon 协议建立在 IETF 定位器/ID 分离协议 （…...
内存分配函数malloc kmalloc vmalloc
内存分配函数malloc kmalloc vmalloc malloc实现步骤： 1）请求大小调整：首先，malloc 需要调整用户请求的大小，以适应内部数据结构（例如，可能需要存储额外的元数据）。通常，这包括对齐调整，确保分配的内存地址满足特定硬件要求（如对齐到8字节或16字节边界）。 2）空闲…...
论文解读：交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（二）
HoST框架核心实现方法详解 - 论文深度解读（第二部分） 《Learning Humanoid Standing-up Control across Diverse Postures》 系列文章： 论文深度解读 + 算法与代码分析（二） 作者机构： 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学 论文主题： 人形机器人…...
Qt/C++开发监控GB28181系统/取流协议/同时支持udp/tcp被动/tcp主动
一、前言说明 在2011版本的gb28181协议中，拉取视频流只要求udp方式，从2016开始要求新增支持tcp被动和tcp主动两种方式，udp理论上会丢包的，所以实际使用过程可能会出现画面花屏的情况，而tcp肯定不丢包，起码…...
关于iview组件中使用 table , 绑定序号分页后序号从1开始的解决方案
问题描述：iview使用table 中type: "index",分页之后 ，索引还是从1开始，试过绑定后台返回数据的id, 这种方法可行，就是后台返回数据的每个页面id都不完全是按照从1开始的升序，因此百度了下，找到了…...
ESP32读取DHT11温湿度数据
芯片：ESP32 环境：Arduino 一、安装DHT11传感器库 红框的库，别安装错了 二、代码 注意，DATA口要连接在D15上 #include "DHT.h" // 包含DHT库#define DHTPIN 15 // 定义DHT11数据引脚连接到ESP32的GPIO15 #define D…...
React Native在HarmonyOS 5.0阅读类应用开发中的实践
一、技术选型背景 随着HarmonyOS 5.0对Web兼容层的增强，React Native作为跨平台框架可通过重新编译ArkTS组件实现85%以上的代码复用率。阅读类应用具有UI复杂度低、数据流清晰的特点。 二、核心实现方案 1. 环境配置 （1）使用React Native…...
生成 Git SSH 证书
🔑 1. 生成 SSH 密钥对 在终端（Windows 使用 Git Bash，Mac/Linux 使用 Terminal）执行命令： ssh-keygen -t rsa -b 4096 -C "your_emailexample.com" 参数说明： -t rsa&#x…...
蓝桥杯3498 01串的熵
问题描述 对于一个长度为 23333333的 01 串, 如果其信息熵为 11625907.5798， 且 0 出现次数比 1 少, 那么这个 01 串中 0 出现了多少次? #include<iostream> #include<cmath> using namespace std;int n 23333333;int main() {//枚举 0 出现的次数//因…...
C++.OpenGL （14/64）多光源（Multiple Lights）
多光源（Multiple Lights） 多光源渲染技术概览 #mermaid-svg-3L5e5gGn76TNh7Lq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-3L5e5gGn76TNh7Lq .error-icon{fill:#552222;}#mermaid-svg-3L5e5gGn76TNh7Lq .erro…...