GlusterFS:开源分布式文件系统的深度解析与应用场景实践
引言
在当今大数据时代背景下,企业对存储系统的容量、性能和可靠性提出了前所未有的挑战。GlusterFS作为一款开源的、高度可扩展的分布式文件系统,以其独特的无中心元数据设计和灵活的卷管理机制,在众多场景中脱颖而出,为解决大规模数据存储难题提供了强有力的支持。
GlusterFS简介与核心概念
GlusterFS简介
GlusterFS 是一款开源、可扩展的分布式文件系统,专为大规模数据存储和管理而设计。它由 Gluster, Inc. 开发,并在2011年被Red Hat公司收购,现已成为Red Hat Storage的一部分。GlusterFS 以其无中心元数据服务器架构以及对横向扩展能力的高度支持而著称,允许组织通过添加更多硬件资源(即存储节点)来轻松扩展存储容量至数PB级别,并能同时处理数千客户端的并发访问。
核心概念
1. **Bricks**:
- 在GlusterFS中,基本的存储单元被称为“Brick”。一个Brick通常是指一个物理或虚拟服务器上的目录或者挂载点,其中包含了实际的数据块。多个Bricks可以组成一个卷(Volume),实现数据的分布、复制或哈希等不同的数据布局策略。
2. **Volumes**:
- 卷是GlusterFS中的逻辑容器,由一个或多个Bricks组成,对外提供统一的命名空间。用户可以通过配置不同类型的卷,如分布式卷、复制卷、条带化卷等,来满足不同的性能、冗余度和可用性需求。
3. **无中心元数据管理**:
- GlusterFS与传统的集中式文件系统不同,没有单独的元数据服务器。每个客户端都具有元数据计算的能力,通过算法直接定位到数据存储的位置,这样大大降低了元数据服务器成为单点故障的风险,同时也提高了系统的扩展性和性能。
4. **全局命名空间**:
- GlusterFS提供了单一的全局命名空间,使得用户可以从一个位置透明地访问集群内的所有数据,无论这些数据如何分布在各个存储节点上。
5. **网络堆叠**:
- GlusterFS基于TCP/IP或InfiniBand RDMA网络连接,能够将分散的存储资源整合在一起,形成一个大的、统一的存储池。
6. **自愈与高可用**:
- GlusterFS具备一定的自我修复功能,在节点故障时能够重新分布数据以保持数据的完整性,并可通过复制和故障切换机制确保服务的高可用性。
总之,GlusterFS的核心理念就是通过去中心化的设计,构建一个高度可扩展且具有容错能力的分布式存储平台,适应大数据时代对于存储基础设施不断增长的需求。
glusterfs的常用命令
GlusterFS的常用命令涵盖了服务管理、集群管理和卷管理等方面。以下是一些基本的GlusterFS命令示例:
### 1. 服务管理
- **启动GlusterFS服务**:
```bash
systemctl start glusterd
```
- **停止GlusterFS服务**:
```bash
systemctl stop glusterd
```
- **重启GlusterFS服务**:
```bash
systemctl restart glusterd
```
- **设置开机自动启动**:
```bash
systemctl enable glusterd
```
- **查看服务状态**:
```bash
systemctl status glusterd
```
### 2. 集群节点操作
- **加入现有集群**:
```bash
gluster peer probe <hostname/IP>
```
- **列出已知集群中的节点**:
```bash
gluster peer status
```
### 3. 卷管理
- **创建卷**(例如分布式卷):
```bash
gluster volume create <volume-name> replica 2 transport tcp <brick1-path> <brick2-path>
```
- **启动卷**:
```bash
gluster volume start <volume-name>
```
- **停止卷**:
```bash
gluster volume stop <volume-name>
```
- **查看卷信息**:
```bash
gluster volume info <volume-name>
```
- **添加或移除Brick**:
```bash
# 添加brick到现有卷
gluster volume add-brick <volume-name> <new-brick>
# 移除brick
gluster volume remove-brick <volume-name> <brick-to-remove> force
```
- **检查卷健康状况**:
```bash
gluster volume heal <volume-name> info
```
- **挂载GlusterFS卷到本地文件系统**:
```bash
mount -t glusterfs localhost:<volume-name> /mnt/glusterfs-mount-point
```
应用案例
环境
防止脑裂,搭建至少三台debian为核心文件服务中心。
server1 : 192.168.3.135
server2 : 192.168.3.136
server3 : 192.168.3.137
文件中心搭建
#每台机器中安装glusterfs服务
apt-get install -y gluster-server
#启动并设置开机启动
systemctl enable glusterd
systemctl start glusterd
#如果是ufw防火墙,放行24007和24008端口
ufw allow 24007/tcp
ufw allow 24008/tcp
#组成集群的节点#在server1上执行
gluster peer probe 192.168.3.136
gluster peer probe 192.168.3.137#在server2上执行
gluster peer probe 192.168.3.135
gluster peer probe 192.168.3.137#在server3上执行
gluster peer probe 192.168.3.135
gluster peer probe 192.168.3.136
#在每台机器上查看peer状态
gluster peer status
#创建Brick:在每台机器上将存储分区作为GlusterFS的brick挂载目录。
mkdir /bricks/mybrick
#创建GlusterFS卷:当所有服务器都成功加入集群后,创建分布式卷或者复制卷等。
gluster volume create my_volume replica 3 transport tcp \
192.168.3.135:/bricks/mybrick \
192.168.3.136:/bricks/mybrick \
192.168.3.137:/bricks/mybrick force
对以上命令的解释:
- `gluster volume create`: 这是GlusterFS客户端或管理节点上的命令,用于创建一个新的存储卷。
- `my_volume`: 这是要创建的卷的名字,您可以自定义这个名称以符合您的命名规范和需求。
- `replica 3`: 指定卷的复制模式(AFR),这意味着数据将在集群中的3个不同的服务器上进行完全复制。在高可用性环境中,即使有单个节点失效,其他节点仍可以提供数据服务。
- `transport tcp`: 指定传输协议为TCP,这是GlusterFS默认的数据传输方式。
- `\`:这是一个续行符,因为在命令行中,如果一行命令太长需要换行时,可以使用它来连接下一行的内容。
- `192.168.3.135:/bricks/mybrick`, `192.168.3.136:/bricks/mybrick`, `192.168.3.137:/bricks/mybrick`: 这些是参与该复制卷的各个服务器及其brick路径。每个IP地址后面跟着的是Brick的位置,一个brick是GlusterFS的基本存储单元,通常是一个目录或分区,实际数据就存储在这个位置。
- `force`: 这个选项意味着即使满足条件的情况下可能会发生冲突或警告,也强制执行volume的创建操作。例如,如果目标目录已存在或者之前有残留的配置信息,不使用`force`可能无法成功创建新的volume。
#开机就启动卷
gluster volume start my_volume
客户挂载
把证客户端也要安装 gluster-server组件
#挂载到哪里
mkdir /home/test1
#开始挂载
mount -t gulsterfs 192.168.3.135:my_volume /home/test1
相关文章:
GlusterFS:开源分布式文件系统的深度解析与应用场景实践
引言 在当今大数据时代背景下,企业对存储系统的容量、性能和可靠性提出了前所未有的挑战。GlusterFS作为一款开源的、高度可扩展的分布式文件系统,以其独特的无中心元数据设计和灵活的卷管理机制,在众多场景中脱颖而出,为解决大规…...
第6个-滚动动画
Day 6 - Scroll Animation 1. 演示效果 2. 分析思路 布局 所有的内容进行水平垂直居中,可以使用**margin:0 auto;,也可以使用flex**布局: body {background-color: #efedd6;display: flex;flex-direction: column;justify-content: center…...
配置oracle连接管理器(cman)
Oracle Connection Manager是一个软件组件,可以在oracle客户端上指定安装这个组件,Oracle连接管理器代理发送给数据库服务器的请求,在连接管理器中,我们可以通过配置各种规则来控制会话访问。 简而言之,不同于专用连接…...
[N-142]基于springboot,vue停车场管理系统
开发工具:IDEA 服务器:Tomcat9.0, jdk1.8 项目构建:maven 数据库:mysql5.7 项目采用前后端分离 前端技术:vueelementUI 服务端技术:springbootmybatis-plus 本项目分为普通用户和管理员…...
DAY53:动态规划(买股票的最佳时机)
Leetcode: 121 买卖股票的最佳时机 代码随想录 1、确定下标和含义 dp[i][0]表示当天持有股票所得的最多现金 do[i][1]表示当天不持有股票的最多现金 2、递推公式 (1)如果第i天持有股票即dp[i][0], 那么可以由两个状态推出来 第i-1天就…...
快速实现用户认证:使用Python和Flask配合PyJWT生成与解密Token的教程及示例代码
生成token 与解密 token 和 拦截器 #学习交流 访问 # https://v.iiar.cnimport jwt import datetime from models import XUser from flask import request, jsonify from functools import wrapsSECRET_KEY XPay# 创建token def generate_token(user_id):try:payload {exp:…...
外汇110:外汇做空是什么意思?如何运作?一文读懂
外汇市场允许卖空,就像众多金融市场一样。但什么是卖空呢?如何外汇做空?在本文中,我们将讨论如何做空货币。什么是外汇做空? 外汇做空(Short Selling)是外汇市场上的一种投资方式。它指的是投资…...
【记录】个人博客或笔记中的数学符号设定
note 这里记录个人博客中常用的数学符号数学格式和对应含义 文章目录 note数与数组索引集合线性代数微积分概率和信息论数据与概率分布函数深度学习中的常用数学表达方式 数与数组 α 标量 α 向量 A 矩阵 A 张量 I n n 行 n 列单位矩阵 v w 单词 w 的分布式向量表示 …...
Redis Sentinel工作原理
Redis Sentinel是Redis的高可用性解决方案。它主要用来监控Redis master和slave服务器的运行状态,并在master宕机时自动进行故障转移,即从slave节点中选举出新的master节点,并让其余的slave节点指向新的master节点。 Redis Sentinel工作原理…...
GEE入门篇|遥感专业术语:理论介绍
本章的目的是介绍遥感图像的一些主要特征,以及如何在Earth Engine中检查它们。我们将讨论空间分辨率、时间分辨率和光谱分辨率,以及如何访问重要的图像元数据。将了解到来自不同卫星平台上的几个传感器的图像数据。在本章的学习完成后,您将能…...
react中如何做到中断diff过程和恢复
workLoop是 实现时间切片 和 可中断渲染的核心,简要说明如下: // 并发任务的入口function workLoopConcurrent() {// Perform work until Scheduler asks us to yield// 有任务 & 是否需要中断while (workInProgress ! null && !shouldYiel…...
python:PyPDF2 从PDF文件中提取目录
我发现 pypdf 和 pypdf2 的作者是同一人:Mathieu Fenniak pip install pypdf2 ; pypdf2-3.0.1-py3-none-any.whl (232 kB) 编写 pdf_read_dir.py 如下 # -*- coding: utf-8 -*- """ pypdf23.0.1 从PDF中提取目录 """ import os…...
Java 2:运算符、表达式和语句
2.1 运算符与表达式 Java提供了丰富的运算符,如算术运算符、关系运算符、逻辑运算符、位运算符等。Java语言中的绝大多数运算符和C语言相同,基本语句如条件分支语句,循环语句等,也和C语言类似。 2.1.1算术运算符与算术表达式 1…...
批量提取word文件中文本框内容的三种方法
一、问题的提出 在日常的办公中,有时需要提取多个word文件中的文字框的内容。有时,文字框的数量比较多,而且处于文档的不同位置,手工提取比较耗时耗力,同时也可能会产生遗漏。 我们也可以通过VBA和Python来解决这个问…...
Leecode之合并两个有序链表
一.题目及剖析 https://leetcode.cn/problems/merge-two-sorted-lists/description/ 二.思路引入 用指针遍历两个链表并实时比较,较小的元素进行尾插,然后较小元素的指针接着向后遍历 三.代码引入 /*** Definition for singly-linked list.* struct ListNode {* int va…...
陶建国教授谈中西方文化的差异与交融
龙年到来,这个春节里,“龙”字的英文翻译引发关注,冲上了热搜,网友发现,“龙”不再翻译为“dragon”,而是龙字的谐音“loong”。原来,在西方人的眼里,龙是凶猛的怪兽,具有…...
Ps:画笔选项
画笔选项 Brush Options提供了对画笔(圆形笔刷)基本属性的控制,比如大小、硬度、间距、角度和圆度等。 Photoshop 中的快速选择工具、污点修复画笔工具、修复画笔工具、颜色替换工具、背景橡皮擦工具等的工具选项栏上提供了这种圆形笔刷选项。…...
嵌入式——Flash(W25Q64)
目录 一、初识W25Q64 1. 基本认识 2. 引脚介绍 编辑 二、W25Q64特性 1. SPI模式 2. 双输出SPI方式 三、状态寄存器 1. BUSY位 2. WEL位 3. BP2、BP1、 BP0位 4. TB位 5. 保留位 6. SRP位 四、常用操作指令 1. 写使能指令(06h) 2. 写禁…...
stm32:pwm output模块,记录一下我是用smt32,输出pwm波的记录--(实现--重要)
我是实现了输出pwm波,频率固定,占空比可以不断调整的方法,将PA0接到示波器上,可以看到是一个标准的PWM波,如图下面示波器图。 1,首先是ioc的配置 我刚开始设置的分频的倍数是7199,使得分频的太大了,示波器显示不了,最后修改为71就可以,我之前设置读取pwm也是一样的…...
phpstrom创建thinkphp项目
安装php和composer 参考 安装phpstrom 创建项目 查看thinkphp版本 https://packagist.org/packages/topthink/think 打开所在项目编辑配置 即可调试运行...
多云管理“拦路虎”:深入解析网络互联、身份同步与成本可视化的技术复杂度
一、引言:多云环境的技术复杂性本质 企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时,基础设施的技术债呈现指数级积累。网络连接、身份认证、成本管理这三大核心挑战相互嵌套:跨云网络构建数据…...
MongoDB学习和应用(高效的非关系型数据库)
一丶 MongoDB简介 对于社交类软件的功能,我们需要对它的功能特点进行分析: 数据量会随着用户数增大而增大读多写少价值较低非好友看不到其动态信息地理位置的查询… 针对以上特点进行分析各大存储工具: mysql:关系型数据库&am…...
相机从app启动流程
一、流程框架图 二、具体流程分析 1、得到cameralist和对应的静态信息 目录如下: 重点代码分析: 启动相机前,先要通过getCameraIdList获取camera的个数以及id,然后可以通过getCameraCharacteristics获取对应id camera的capabilities(静态信息)进行一些openCamera前的…...
Springcloud:Eureka 高可用集群搭建实战(服务注册与发现的底层原理与避坑指南)
引言:为什么 Eureka 依然是存量系统的核心? 尽管 Nacos 等新注册中心崛起,但金融、电力等保守行业仍有大量系统运行在 Eureka 上。理解其高可用设计与自我保护机制,是保障分布式系统稳定的必修课。本文将手把手带你搭建生产级 Eur…...
Axios请求超时重发机制
Axios 超时重新请求实现方案 在 Axios 中实现超时重新请求可以通过以下几种方式: 1. 使用拦截器实现自动重试 import axios from axios;// 创建axios实例 const instance axios.create();// 设置超时时间 instance.defaults.timeout 5000;// 最大重试次数 cons…...
Android15默认授权浮窗权限
我们经常有那种需求,客户需要定制的apk集成在ROM中,并且默认授予其【显示在其他应用的上层】权限,也就是我们常说的浮窗权限,那么我们就可以通过以下方法在wms、ams等系统服务的systemReady()方法中调用即可实现预置应用默认授权浮…...
浅谈不同二分算法的查找情况
二分算法原理比较简单,但是实际的算法模板却有很多,这一切都源于二分查找问题中的复杂情况和二分算法的边界处理,以下是博主对一些二分算法查找的情况分析。 需要说明的是,以下二分算法都是基于有序序列为升序有序的情况…...
学校时钟系统,标准考场时钟系统,AI亮相2025高考,赛思时钟系统为教育公平筑起“精准防线”
2025年#高考 将在近日拉开帷幕,#AI 监考一度冲上热搜。当AI深度融入高考,#时间同步 不再是辅助功能,而是决定AI监考系统成败的“生命线”。 AI亮相2025高考,40种异常行为0.5秒精准识别 2025年高考即将拉开帷幕,江西、…...
Linux离线(zip方式)安装docker
目录 基础信息操作系统信息docker信息 安装实例安装步骤示例 遇到的问题问题1:修改默认工作路径启动失败问题2 找不到对应组 基础信息 操作系统信息 OS版本:CentOS 7 64位 内核版本:3.10.0 相关命令: uname -rcat /etc/os-rele…...
JVM虚拟机:内存结构、垃圾回收、性能优化
1、JVM虚拟机的简介 Java 虚拟机(Java Virtual Machine 简称:JVM)是运行所有 Java 程序的抽象计算机,是 Java 语言的运行环境,实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息,使得 Java 程序只需生成在 JVM 上运行的目标代码(字节码),就可以…...
