当前位置: 首页 > news >正文

存储+调优:存储-Cloud

存储+调优:存储-Cloud


Master Server 配置:
IP=192.168.1.254


useradd mfs
tar zxf mfs-1.6.11.tar.gz.gz 
cd mfs-1.6.11
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib --with-default-user=mfs  --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount  && make && make install


配置文件:
[root@mercury etc]# pwd
/etc
[root@mercury etc]# cp mfsmaster.cfg.dist mfsmaster.cfg
[root@mercury etc]# cp mfsexports.cfg.dist mfsexports.cfg


初始数据文件
[root@mercury etc]# cd /var/lib/mfs
[root@mercury mfs]# ls
metadata.mfs.empty
[root@mercury mfs]# cp metadata.mfs.empty metadata.mfs

启动MFS master:
/usr/sbin/mfsmaster start


日志:
tail -f /var/log/messages


===========================
meta logger 日志服务器
IP=192.168.1.123


tar zxf mfs-1.6.11.tar.gz.gz 
cd mfs-1.6.11
useradd mfs
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib --with-default-user=mfs  --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount  && make && make install

配置:
[root@xen mfs-1.6.17]# cd /etc/
[root@xen etc]# cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
[root@xen etc]# vim mfsmetalogger.cfg
    MASTER_HOST = 192.168.5.254

启动:
/usr/sbin/mfsmetalogger start


=====================
Chunk Server 块服务器
IP=192.168.1.217

useradd mfs
tar zxf mfs-1.6.11.tar.gz.gz 
cd mfs-1.6.11
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib --with-default-user=mfs  --with-default-group=mfs --disable-mfsmaster --disable-mfsmount  && make && make install

配置:
[root@stu159 mfs-1.6.17]# cd /etc/
[root@stu159 etc]# cp mfschunkserver.cfg.dist mfschunkserver.cfg
[root@stu159 etc]# vim mfschunkserver.cfg
    MASTER_HOST = 192.168.1.254
[root@stu159 etc]# cp mfshdd.cfg.dist mfshdd.cfg
[root@stu159 etc]# vim mfshdd.cfg
[root@stu159 etc]# mkdir /mfs
[root@stu159 etc]# chown -R mfs:mfs /mfs/
[root@stu159 etc]# cat mfshdd.cfg
# mount points of HDD drives
#
#/mnt/hd1
#/mnt/hd2
#etc.
/mfs

    
[root@stu159 etc]# fdisk /dev/sda
[root@stu159 etc]# partprobe /dev/sda
[root@stu159 etc]# mkfs.ext3 /dev/sda5 
[root@stu159 etc]# mount /dev/sda5 /mfs/

[root@stu159 etc]# ls -ld /mfs/
drwxr-xr-x 3 root root 4096 11-10 12:18 /mfs/
[root@stu159 etc]# chown -R mfs:mfs /mfs/
[root@stu159 etc]# /usr/sbin/mfschunkserver start


错误:
[root@stu228 ~]# /usr/sbin/mfschunkserver stop
working directory: /var/lib/mfs
can't create lockfile in working directory: Permission denied

drwxr-xr-x  2 root    root     4096 12-01 15:21 mfs
解决:
chown mfs:mfs /var/lib/mfs


=======================
MFS Client 配置:
IP:192.168.1.237

yum install -y fuse fuse-libs fuse-devel
useradd mfs
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib --with-default-user=mfs  --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver  --enable-mfsmount  && make && make install


挂载:
mfsmount /mnt/mfs/ -H 192.168.1.254


使用:
[root@www mfs]# touch 5

检查副本数:
[root@www mfs]# mfscheckfile /mnt/mfs/5 
/mnt/mfs/5:
[root@www mfs]# echo "111" > 6
[root@www mfs]# mfscheckfile /mnt/mfs/6
/mnt/mfs/6:
1 copies: 1 chunks

块在那里?咱多大真实空间?
[root@www mfs]# mfsfileinfo /mnt/mfs/6
/mnt/mfs/6:
        chunk 0: 00000000000002AC_00000001 / (id:684 ver:1)
                copy 1: 192.168.5.3:9422
[root@www mfs]# mfsdirinfo /mnt/mfs/6
/mnt/mfs/6:
 inodes:                          1
  directories:                    0
  files:                          1
 chunks:                          1
 length:                          4
 size:                        70656
 realsize:                    70656


修复:
[root@www mfs]# mfsfilerepair /mnt/mfs/1
/mnt/mfs/1:
 chunks not changed:                  207
 chunks erased:                       236
 chunks repaired:                       0


设定副本数量:
[root@www mfs]# mkdir one
[root@www mfs]# mkdir two
[root@www mfs]# mkdir four
[root@www mfs]# mfssetgoal -r 1 /mnt/mfs/one/
/mnt/mfs/one/:
 inodes with goal changed:                         0
 inodes with goal not changed:                     1
 inodes with permission denied:                    0
[root@www mfs]# mfssetgoal -r 2 /mnt/mfs/two/
/mnt/mfs/two/:
 inodes with goal changed:                         1
 inodes with goal not changed:                     0
 inodes with permission denied:                    0
[root@www mfs]# mfssetgoal -r 4 /mnt/mfs/four/
/mnt/mfs/four/:
 inodes with goal changed:                         1
 inodes with goal not changed:                     0
 inodes with permission denied:                    0
[root@www mfs]# 


[root@www four]# mfsfileinfo file4 
file4:
        chunk 0: 00000000000002E2_00000002 / (id:738 ver:2)
                copy 1: 192.168.5.3:9422
                copy 2: 192.168.5.16:9422
                copy 3: 192.168.5.21:9422
                copy 4: 192.168.5.110:9422
                copy 5: 192.168.5.218:9422
        chunk 1: 00000000000002E3_00000001 / (id:739 ver:1)
                copy 1: 192.168.5.3:9422
                copy 2: 192.168.5.21:9422
                copy 3: 192.168.5.77:9422
                copy 4: 192.168.5.220:9422

[root@www four]# mfsdirinfo file4 
file4:
 inodes:                          1
  directories:                    0
  files:                          1
 chunks:                          2
 length:                   75431944
 size:                     75507712
 realsize:                302030848

相关文章:

存储+调优:存储-Cloud

存储调优:存储-Cloud Master Server 配置: IP192.168.1.254 useradd mfs tar zxf mfs-1.6.11.tar.gz.gz cd mfs-1.6.11 ./configure --prefix/usr --sysconfdir/etc --localstatedir/var/lib --with-default-usermfs --with-default-groupmfs --disabl…...

海山数据库(He3DB)线程池方案详解

前言 对于应用开发人员来说肯定听说过连接池,却不一定听说过线程池,虽然二者都是池化的概念,但还是有所不同的: 连接池面向的是数据库连接,是针对数据库Client侧的优化。连接池可将数据库连接数固定在一定范围内&#…...

K8s 高级调度

文章目录 K8s 高级调度CronJobinitContainerTaint 和 Toleration污点(Taint)容忍(Toleration) AffinityNodeAffinityPodAnffinity 和 PodAntiAffinity 总结 K8s 高级调度 CronJob 在 k8s 中周期性运行计划任务,与 li…...

数据猿携手IDC Directions 2024:探索中国ICT市场新趋势

大数据产业创新服务媒体 ——聚焦数据 改变商业 近日,ICT业界人士、行业数字化专家,以及来自投资机构、协会、智库的近500位嘉宾聚首北京,参加了IDC Directions 2024:中国ICT市场趋势论坛(北京站)活动。活…...

前端开发工程师——ajax

express框架 终端输入 npm init --yes npm i express 请求报文/响应报文 // 1.引入express const express require(express);// 2.创建应用对象 const app express();// 3.创建路由规则 // request:是对请求报文的封装 // response:是对响应报文的封装 app.get(…...

uni-app项目在微信开发者工具打开时报错[ app.json 文件内容错误] app.json: 在项目根目录未找到 app.json

uni-app项目在微信开发者工具打开时报错[ app.json 文件内容错误] app.json: 在项目根目录未找到 app.json 出现这个问题是因为打开的文件地址不对,解决这个问题首先我们要查看是否有unpackage文件夹,如果有,项目直接指向unpackage\dist\dev\…...

最大连续1的个数(滑动窗口)

算法原理: 这道题大眼一看是关于翻转多少个0的问题,但是,如果你按照这种思维去做题,肯定不容易。所以我们要换一种思维去做,这种思维不是一下就能想到的,所以想不到也情有可原。 题目是:给定一…...

Spring Cloud 框架的应用详解

Spring Cloud 框架的应用详解 Spring Cloud 是一个基于 Spring Boot 的微服务架构开发工具,它提供了一系列工具用于快速构建分布式系统中的常见模式,如配置管理、服务发现、断路器、智能路由、微代理、控制总线、全局锁、选举、分布式会话和集群状态管理…...

C语言 数组——向函数传递数组

目录 把数组传给函数(Passing Arrays to Functions) 向函数传递一维数组 向函数传递二维数组 数组在学生成绩管理中的应用 例:计算每个学生的平均分 把数组传给函数(Passing Arrays to Functions) 向函数传递一维…...

数据链路层简单介绍

mac地址(物理地址) mac地址和ip地址,目的都是为了区分网络上的不同设备的,在最开始的时候,mac地址和ip地址是两伙人,独立各自提出的,ip地址是4个字节(早都不够用了)&…...

【软考】设计模式之装饰器模式

目录 1. 说明2. 应用场景3. 结构图4. 构成5. 适用性6. 优点7. 缺点8. java示例 1. 说明 1.动态地给一个对象添加一些额外的职责。2.Decorator Pattern。3.就增加功能而言,装饰器模式比生成子类更加灵活。4.一种在不改变现有对象结构的情况下,动态地给对…...

网络编程day6

IO多路复用的原理 IO多路复用是一种通过同时监视多个文件描述符(通常是套接字)来处理多个I/O操作的机制。它的原理可以简单概括为: 单线程处理多个I/O操作:传统的I/O模型中,每个I/O操作都需要一个线程或进程来处理。而…...

5.23总结

新增功能点 讨论 学生和老师均可发布话题,话题发布后,在该课程的用户可以在发布话题的课程中点击讨论参与课程的讨论,并可以进行评论,回复评论,点赞操作。每个话题发布时可添加多个图片文件,参加讨论的话…...

SQL Server基础学习笔记

一. 什么是SQL Server? SQL Server是由微软公司开发的关系型数据库管理系统(RDBMS),它提供了存储、检索、处理和分析数据的功能。作为一种强大的数据库解决方案,SQL Server被广泛应用于企业级应用程序、Web应用程序、…...

用Vuex存储可配置下载的ip地址(用XML进行ajax请求配置文件)

1.在public文件夹下创建一个名为Configuration的文件在创建一个Configuration.txt里面就放IP地址(这里的名字可以随便命名一定性的被人解读文件含义) 例如: http://172.171.208.1:80032.在store文件夹中创建一个名为 ajaxModule.js 的 Vuex …...

Spring: OncePerRequestFilter

文章目录 一、介绍二、使用 一、介绍 OncePerRequestFilter是Spring Boot中的一个过滤器抽象类,它在Spring Security中也得到了广泛的应用。这个过滤器抽象类的主要目的是确保在每次外部请求时只执行一次过滤操作,对于服务器内部之间的forward等请求&am…...

《Python编程从入门到实践》day37

# 昨日知识点回顾 制定规范、创建虚拟环境并激活,正在虚拟环境创建项目、数据库和应用程序 # 今日知识点学习 18.2.4 定义模型Entry # models.py from django.db import models# Create your models here. class Topic(models.Model):"""用户学习的…...

GBDT、XGBoost、LightGBM算法详解

文章目录 一、GBDT (Gradient Boosting Decision Tree) 梯度提升决策树1.1 回归树1.2 梯度提升树1.3 Shrinkage1.4 调参1.5 GBDT的适用范围1.6 优缺点 二、XGBoost (eXtreme Gradient Boosting)2.1 损失函数2.2 正则项2.3 打分函数计算2.4 分裂节点2.5 算法过程2.6 参数详解2.7…...

【考研数学】李林《880》是什么难度水平强化够用吗

880是公认的质量高,但要是刷的方法不对,心态直接炸裂!🙉 我24年二战就是用的 880660 的黄金搭档,143分逆袭上岸211!(为什么说逆袭呢,因为我23年一战数学83,妥妥的菜鸡&am…...

Flutter 中的 AnimatedAlign 小部件:全面指南

Flutter 中的 AnimatedAlign 小部件:全面指南 在 Flutter 中,动画是增强用户界面和提升用户体验的强大工具。AnimatedAlign 是 Flutter 提供的一个动画组件,它允许你动画化子组件的对齐方式。这在实现动态布局变化、响应式设计或交互式动画时…...

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目:3442. 奇偶频次间的最大差值 I 思路 :哈希,时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况,哈希表这里用数组即可实现。 C版本: class Solution { public:int maxDifference(string s) {int a[26]…...

MPNet:旋转机械轻量化故障诊断模型详解python代码复现

目录 一、问题背景与挑战 二、MPNet核心架构 2.1 多分支特征融合模块(MBFM) 2.2 残差注意力金字塔模块(RAPM) 2.2.1 空间金字塔注意力(SPA) 2.2.2 金字塔残差块(PRBlock) 2.3 分类器设计 三、关键技术突破 3.1 多尺度特征融合 3.2 轻量化设计策略 3.3 抗噪声…...

【网络】每天掌握一个Linux命令 - iftop

在Linux系统中,iftop是网络管理的得力助手,能实时监控网络流量、连接情况等,帮助排查网络异常。接下来从多方面详细介绍它。 目录 【网络】每天掌握一个Linux命令 - iftop工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景…...

2025年能源电力系统与流体力学国际会议 (EPSFD 2025)

2025年能源电力系统与流体力学国际会议(EPSFD 2025)将于本年度在美丽的杭州盛大召开。作为全球能源、电力系统以及流体力学领域的顶级盛会,EPSFD 2025旨在为来自世界各地的科学家、工程师和研究人员提供一个展示最新研究成果、分享实践经验及…...

关于nvm与node.js

1 安装nvm 安装过程中手动修改 nvm的安装路径, 以及修改 通过nvm安装node后正在使用的node的存放目录【这句话可能难以理解,但接着往下看你就了然了】 2 修改nvm中settings.txt文件配置 nvm安装成功后,通常在该文件中会出现以下配置&…...

TRS收益互换:跨境资本流动的金融创新工具与系统化解决方案

一、TRS收益互换的本质与业务逻辑 (一)概念解析 TRS(Total Return Swap)收益互换是一种金融衍生工具,指交易双方约定在未来一定期限内,基于特定资产或指数的表现进行现金流交换的协议。其核心特征包括&am…...

rnn判断string中第一次出现a的下标

# coding:utf8 import torch import torch.nn as nn import numpy as np import random import json""" 基于pytorch的网络编写 实现一个RNN网络完成多分类任务 判断字符 a 第一次出现在字符串中的位置 """class TorchModel(nn.Module):def __in…...

Selenium常用函数介绍

目录 一,元素定位 1.1 cssSeector 1.2 xpath 二,操作测试对象 三,窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四,弹窗 五,等待 六,导航 七,文件上传 …...

Python Einops库:深度学习中的张量操作革命

Einops(爱因斯坦操作库)就像给张量操作戴上了一副"语义眼镜"——让你用人类能理解的方式告诉计算机如何操作多维数组。这个基于爱因斯坦求和约定的库,用类似自然语言的表达式替代了晦涩的API调用,彻底改变了深度学习工程…...

HubSpot推出与ChatGPT的深度集成引发兴奋与担忧

上周三,HubSpot宣布已构建与ChatGPT的深度集成,这一消息在HubSpot用户和营销技术观察者中引发了极大的兴奋,但同时也存在一些关于数据安全的担忧。 许多网络声音声称,这对SaaS应用程序和人工智能而言是一场范式转变。 但向任何技…...