企业级大数据平台建设方案
企业级大数据平台建设方案
- 方案简介
- 硬件
- 软件
- 分布式存储：
- Foreman作为集群管理工具
- Spark
- cloudera
方案简介
该方案是多年前在Roadstar.ai任职时的建设方案，现将方案部分细节开源，结合本博客的其他文章，能够建立可靠的企业大数据平台。
硬件
自组双路Xeon E5 + 64GB + SSD（250GB）+ 10TB*24 +万兆电口
峰值功率~800W
软件
OS：Centos7，安装到SSD上
存储方案：ZFS + raidz2(双奇偶校验) + 1 hot spare disk(1热备盘)
注意zfs需要0.7x版本以上，0.7x解决了两个主要问题：
1）hot spare(热备)不能在有盘故障的情况下热接入。
2）resilver(重同步重同步)太慢
分布式存储：
HDFS
需要使用3.x的版本（erasure code）
冗余方案使用EC(纠删码Erasure Coding)，10+4模式(10 个数据块，4 个冗余块)，需要isa-l加速(英特尔存储加速库)，–编译了一个启用native的hadoop。
若机器不足，namenode(名字节点)及其backup(备份节点)都和datanode(数据节点)可共用
Foreman作为集群管理工具
Foreman（集群管理工具）：用来管理和自动化物理和虚拟服务器的工具。
Spark
（Apache Spark，用于大数据处理和分析的快速、通用的分布式计算系统。）
cloudera
使用Cloudera部署和管理hadoop集群
CDH 是 Cloudera 公司发布的一个综合性大数据平台，它包含了经过 Cloudera 企业级优化和增强的 Apache Hadoop 组件。
相关文章：
企业级大数据平台建设方案
企业级大数据平台建设方案 方案简介硬件软件分布式存储：Foreman作为集群管理工具Sparkcloudera 方案简介 该方案是多年前在Roadstar.ai任职时的建设方案，现将方案部分细节开源，结合本博客的其他文章，能够建立可靠的企业大数据平台…...
HTML语义化标签：为何它们如此重要？
HTML语义化标签：为何它们如此重要？ 引言1. HTML语义化标签的基本概念2. HTML语义化标签的作用2.1 提升网页可读性2.2 增强可访问性2.3 优化搜索引擎排名2.4 提高性能 3. 代码示例结尾讨论 引言 在前端开发的世界里，HTML作为构建网页的基础语…...
详细介绍一下Votenet的工作原理及流程
Votenet是一种基于深度学习的三维目标检测和实例分割方法，其工作原理主要包括两个步骤：候选框生成和目标分类与分割。 1.候选框生成： 首先，Votenet通过将三维点云数据转化为连续的坐标网格，将三维目标检测问题转化为二…...
使用Autofit.js和React实现自适应布局
1. 什么是Autofit.js？ Autofit.js是一个用于自适应网页布局的JavaScript库，它可以根据元素的尺寸和屏幕的大小，自动调整布局和排列方式，以适应不同的设备和分辨率。它提供了简单易用的API，可以帮助我们轻松实现各种自…...
Kafka之【存储消息】
Kafka之【存储消息】...
鸿蒙开发配置官方地图
一共需要配置 p12 p7b cer csr 四个文件 p12文件配置 注意创建文件名必须是.p12 到AGC创建项目 AppGallery Connect 添加自己的项目名称 我没有开启 暂时不需要 看个人需求 下载刚创建的cer证书 回到我的项目中 点击刚创建的项目 点击这里 四个文件齐全了 "metadata&qu…...
《天道》丁元英格律诗商业案例完整拆解（上）
目录 公司启动缘由 我们开公司也好、做任何其他事请也罢。 1997 年 3 月： 北京摆摊、租店面、仓库： 1997 年 4 月前： 向斯雷克音响店下订货单； 1997 年 6 月： 格林、伦敦、巴黎三个城市当托； 1998 …...
2024年山东省安全员C证证模拟考试题库及山东省安全员C证理论考试试题
题库来源：安全生产模拟考试一点通公众号小程序 2024年山东省安全员C证证模拟考试题库及山东省安全员C证理论考试试题是由安全生产模拟考试一点通提供，山东省安全员C证证模拟考试题库是根据山东省安全员C证最新版教材，山东省安全员C证大纲整理…...
微软开源多模态大模型Phi-3-vision，微调实战来了
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。 针对大模型& AIGC 技术趋势、大模型& AIGC 落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了…...
架构二。。
1、CAP 只能3选2 1）一致性（Consistency） 客户每次读都是返回最新的写操作结果 2）可用性（Availability） 非故障节点在合理的时间内返回合理的响应 3）分区容忍性（Partition Tolerance…...
《Google 软件工程》读书笔记
1. 写在前面 在图书馆瞎逛，偶然瞄见一本《Google 软件工程》Titus Winters, Tom Manshreck, Hyrum Wright 著。主要是在这一排的书架上就这本书看着挺新的（不知道为什么有一种喜欢看新书的情节），而且最近被领导老批评，…...
研发机构大数据迁移如何保障敏感数据不泄露
随着云计算和大数据技术的飞速进步，越来越多的企业正试图通过数据迁移来提升IT基础设施的效率，减少成本，并增强业务的灵活性。但是，这一过程并非没有它的挑战，尤其是在数据安全方面。数据在转移过程中可能会遭遇黑客攻…...
【Spring Security系列】权限之旅：SpringSecurity小程序登录深度探索
作者：后端小肥肠 创作不易，未经允许严禁转载。 姊妹篇： 【Spring Security系列】Spring SecurityJWTRedis实现用户认证登录及登出_spring security jwt 退出登录-CSDN博客 1. 前言 欢迎来到【Spring Security系列】！在当今数字化…...
【收录 Hello 算法】第 10 章 搜索
目录 第 10 章 搜索 本章内容 第 10 章 搜索 搜索是一场未知的冒险，我们或许需要走遍神秘空间的每个角落，又或许可以快速锁定目标。 在这场寻觅之旅中，每一次探索都可能得到一个未曾料想的答案。 本章内容 10.1 二分查找10.2 二…...
-查询优化(11)-多范围查询优化)
【MySQL精通之路】SQL优化(1)-查询优化(11)-多范围查询优化
主博客： 【MySQL精通之路】SQL优化(1)-查询优化-CSDN博客 上一篇： 【MySQL精通之路】SQL优化(1)-查询优化(10)-外部联接简化-CSDN博客 下一篇： 当基表很大且未存储在存储引擎的缓存中时，使用辅助索引上的范围扫描读取行可能会…...
Mysql之基本架构
1.Mysql简介 mysql是一种关系型数据库，由表结构来存储数据与数据之间的关系，同时为sql(结构化查询语句)来进行数据操作。 sql语句进行操作又分为几个重要的操作类型 DQL: Data Query Language 数据查询语句 DML: Data Manipulation Language 添加、删…...
Python学习---基于正则表达式的简单爬取电影下载信息案例
一、定义函数获取列表页的内容页地址 get_movie_links() 1、定义列表的地址 2、打开url地址，获取数据 3、解码获取到的数据 4、使用正则得到所有的影片内容也地址 4.1 遍历，取出内容页地址 4.2 拼接内容页地址 4.3 打开内容页地址 4.4 获…...
.DS_store文件
感觉mac里的这个.DS_store文件烦人，老是莫名其妙的出现，然后造成困扰 处理方式如下： import os pic_list os.listdir("./mask_pic/") print(len(pic_list)) # 从文件夹中删掉 if(".DS_Store" in pic_list):print(&quo…...
【webrtc】内置opus解码器的移植
m98 ，不知道是什么版本的opus，之前的交叉编译构建： 【mia】ffmpeg + opus 交叉编译 【mia】ubuntu22.04 ： mingw：编译ffmpeg支持opus编解码 看起来是opus是1.3.1 只需要移植libopus和opus的webrtc解码部分即可。 linux构建的windows可运行的opus库 G:\NDDEV\aliply-0.4\C…...
的概念，使用，并展示如何自定义注解，甚至框架级别的使用说明)
Java注解：讲解Java注解(Annotations)的概念，使用，并展示如何自定义注解，甚至框架级别的使用说明
1. 注解的概念 1.1 介绍Annotation的基础概念 Java注解（Annotation）是Java 5.0及更高版本中引入的一种元数据（meta-data），即数据的数据。它以一种形式附着在代码中，但是对代码的运行不产生直接效果。注解可以用于创建文档、追踪代码依赖性、甚至执行编译期版错误检查等…...
大型活动交通拥堵治理的视觉算法应用
大型活动下智慧交通的视觉分析应用 一、背景与挑战 大型活动（如演唱会、马拉松赛事、高考中考等）期间，城市交通面临瞬时人流车流激增、传统摄像头模糊、交通拥堵识别滞后等问题。以演唱会为例，暖城商圈曾因观众集中离场导致周边…...
安宝特方案丨XRSOP人员作业标准化管理平台：AR智慧点检验收套件
在选煤厂、化工厂、钢铁厂等过程生产型企业，其生产设备的运行效率和非计划停机对工业制造效益有较大影响。 随着企业自动化和智能化建设的推进，需提前预防假检、错检、漏检，推动智慧生产运维系统数据的流动和现场赋能应用。同时，…...
centos 7 部署awstats 网站访问检测
一、基础环境准备（两种安装方式都要做） bash # 安装必要依赖 yum install -y httpd perl mod_perl perl-Time-HiRes perl-DateTime systemctl enable httpd # 设置 Apache 开机自启 systemctl start httpd # 启动 Apache二、安装 AWStats࿰…...
Linux相关概念和易错知识点（42）（TCP的连接管理、可靠性、面临复杂网络的处理）
目录 1.TCP的连接管理机制（1）三次握手①握手过程②对握手过程的理解 （2）四次挥手（3）握手和挥手的触发（4）状态切换①挥手过程中状态的切换②握手过程中状态的切换 2.TCP的可靠性&…...
linux 错误码总结
1，错误码的概念与作用 在Linux系统中，错误码是系统调用或库函数在执行失败时返回的特定数值，用于指示具体的错误类型。这些错误码通过全局变量errno来存储和传递，errno由操作系统维护，保存最近一次发生的错误信息。值得注意的是，errno的值在每次系统调用或函数调用失败时…...
Keil 中设置 STM32 Flash 和 RAM 地址详解
文章目录 Keil 中设置 STM32 Flash 和 RAM 地址详解一、Flash 和 RAM 配置界面（Target 选项卡）1. IROM1（用于配置 Flash）2. IRAM1（用于配置 RAM）二、链接器设置界面（Linker 选项卡）1. 勾选“Use Memory Layout from Target Dialog”2. 查看链接器参数（如果没有勾选上面…...
vue3 定时器-定义全局方法 vue+ts
1.创建ts文件 路径：src/utils/timer.ts 完整代码： import { onUnmounted } from vuetype TimerCallback (...args: any[]) > voidexport function useGlobalTimer() {const timers: Map<number, NodeJS.Timeout> new Map()// 创建定时器con…...
html css js网页制作成品——HTML+CSS榴莲商城网页设计（4页）附源码
目录 一、👨🎓网站题目 二、✍️网站描述 三、📚网站介绍 四、🌐网站效果 五、🪓 代码实现 🧱HTML 六、🥇 如何让学习不再盲目 七、🎁更多干货 一、👨…...
LangChain知识库管理后端接口：数据库操作详解—— 构建本地知识库系统的基础《二》
这段 Python 代码是一个完整的 知识库数据库操作模块，用于对本地知识库系统中的知识库进行增删改查（CRUD）操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 📘 一、整体功能概述 该模块…...
Caliper 配置文件解析：fisco-bcos.json
config.yaml 文件 config.yaml 是 Caliper 的主配置文件，通常包含以下内容： test:name: fisco-bcos-test # 测试名称description: Performance test of FISCO-BCOS # 测试描述workers:type: local # 工作进程类型number: 5 # 工作进程数量monitor:type: - docker- pro…...