当前位置: 首页 > news >正文

bclinux aarch64 ceph 14.2.10 文件存储 Ceph File System, 需要部署mds: ceph-deploy mds

创建池

[root@ceph-0 ~]# ceph osd pool create cephfs_data 64
pool 'cephfs_data' created
[root@ceph-0 ~]# ceph osd pool create cephfs_metadata 32
pool 'cephfs_metadata' created
 

cephfs_metadata 64 报错

官方说明:

元数据池通常最多可容纳几 GB 的数据。为 因此,通常建议使用较小的PG计数。通常为 64 或 128 在实践中用于大型集群。

pool列表

[root@ceph-0 ~]# ceph osd pool ls
vdbench
cephfs_data
cephfs_metadata

创建文件系统

[root@ceph-0 ~]# ceph fs new cephfs cephfs_metadata cephfs_data
new fs with metadata pool 4 and data pool 3
[root@ceph-0 ~]# ceph fs ls
name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
 

文件系统状态

[root@ceph-0 ~]# ceph fs status cephfs
cephfs - 0 clients
======
+------+-------+-----+----------+-----+------+
| Rank | State | MDS | Activity | dns | inos |
+------+-------+-----+----------+-----+------+
+------+-------+-----+----------+-----+------+
+-----------------+----------+-------+-------+
|       Pool      |   type   |  used | avail |
+-----------------+----------+-------+-------+
| cephfs_metadata | metadata |    0  |  103G |
|   cephfs_data   |   data   |    0  |  103G |
+-----------------+----------+-------+-------+
+-------------+
| Standby MDS |
+-------------+
+-------------+
+---------+---------+
| version | daemons |
+---------+---------+
+---------+---------+
 

集群状态

[root@ceph-0 ~]# ceph -s
  cluster:
    id:     ff72b496-d036-4f1b-b2ad-55358f3c16cb
    health: HEALTH_ERR
            1 filesystem is offline
            1 filesystem is online with fewer MDS than max_mds
            mon ceph-0 is low on available space
 
  services:
    mon: 4 daemons, quorum ceph-3,ceph-1,ceph-0,ceph-2 (age 4h)
    mgr: ceph-0(active, since 45h), standbys: ceph-1, ceph-3, ceph-2
    mds: cephfs:0
    osd: 4 osds: 3 up (since 45h), 3 in (since 44h)
 
  data:
    pools:   3 pools, 224 pgs
    objects: 4.30k objects, 17 GiB
    usage:   53 GiB used, 247 GiB / 300 GiB avail
    pgs:     224 active+clean
 

查看mds状态(x)

[root@ceph-0 ~]# ceph mds stat
cephfs:0


mds没有就绪节点

这个服务没有基于ceph-deploy部署

ceph-deploy 部署 mds

ceph-deploy mds create ceph-0 ceph-1 ceph-2 ceph-3

部署成功日志

[root@ceph-0 ~]# cd /etc/ceph/
[root@ceph-0 ceph]# ceph-deploy mds create ceph-0 ceph-1 ceph-2 ceph-3
[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf
[ceph_deploy.cli][INFO  ] Invoked (2.0.1): /usr/bin/ceph-deploy mds create ceph-0 ceph-1 ceph-2 ceph-3
[ceph_deploy.cli][INFO  ] ceph-deploy options:
[ceph_deploy.cli][INFO  ]  username                      : None
[ceph_deploy.cli][INFO  ]  verbose                       : False
[ceph_deploy.cli][INFO  ]  overwrite_conf                : False
[ceph_deploy.cli][INFO  ]  subcommand                    : create
[ceph_deploy.cli][INFO  ]  quiet                         : False
[ceph_deploy.cli][INFO  ]  cd_conf                       : <ceph_deploy.conf.cephdeploy.Conf instance at 0xffff976c7640>
[ceph_deploy.cli][INFO  ]  cluster                       : ceph
[ceph_deploy.cli][INFO  ]  func                          : <function mds at 0xffff977620d0>
[ceph_deploy.cli][INFO  ]  ceph_conf                     : None
[ceph_deploy.cli][INFO  ]  mds                           : [('ceph-0', 'ceph-0'), ('ceph-1', 'ceph-1'), ('ceph-2', 'ceph-2'), ('ceph-3', 'ceph-3')]
[ceph_deploy.cli][INFO  ]  default_release               : False
[ceph_deploy.mds][DEBUG ] Deploying mds, cluster ceph hosts ceph-0:ceph-0 ceph-1:ceph-1 ceph-2:ceph-2 ceph-3:ceph-3
[ceph-0][DEBUG ] connected to host: ceph-0 
[ceph-0][DEBUG ] detect platform information from remote host
21.10U3 LTS
bclinux
[ceph-0][DEBUG ] detect machine type
[ceph_deploy.mds][INFO  ] Distro info: bclinux 21.10U3 21.10U3 LTS
[ceph_deploy.mds][DEBUG ] remote host will use systemd
[ceph_deploy.mds][DEBUG ] deploying mds bootstrap to ceph-0
[ceph-0][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf
[ceph-0][WARNIN] mds keyring does not exist yet, creating one
[ceph-0][DEBUG ] create a keyring file
[ceph-0][DEBUG ] create path if it doesn't exist
[ceph-0][INFO  ] Running command: ceph --cluster ceph --name client.bootstrap-mds --keyring /var/lib/ceph/bootstrap-mds/ceph.keyring auth get-or-create mds.ceph-0 osd allow rwx mds allow mon allow profile mds -o /var/lib/ceph/mds/ceph-ceph-0/keyring
[ceph-0][INFO  ] Running command: systemctl enable ceph-mds@ceph-0
[ceph-0][WARNIN] Created symlink /etc/systemd/system/ceph-mds.target.wants/ceph-mds@ceph-0.service → /usr/lib/systemd/system/ceph-mds@.service.
[ceph-0][INFO  ] Running command: systemctl start ceph-mds@ceph-0
[ceph-0][INFO  ] Running command: systemctl enable ceph.target
dhclient(1787) is already running - exiting. This version of ISC DHCP is based on the release available
on ftp.isc.org. Features have been added and other changes
have been made to the base software release in order to make
it work better with this distribution.Please report issues with this software via: 
https://gitee.com/src-openeuler/dhcp/issuesexiting.
dhclient(1787) is already running - exiting. This version of ISC DHCP is based on the release available
on ftp.isc.org. Features have been added and other changes
have been made to the base software release in order to make
it work better with this distribution.Please report issues with this software via: 
https://gitee.com/src-openeuler/dhcp/issuesexiting.
[ceph-1][DEBUG ] connected to host: ceph-1 
[ceph-1][DEBUG ] detect platform information from remote host
21.10U3 LTS
bclinux
[ceph-1][DEBUG ] detect machine type
[ceph_deploy.mds][INFO  ] Distro info: bclinux 21.10U3 21.10U3 LTS
[ceph_deploy.mds][DEBUG ] remote host will use systemd
[ceph_deploy.mds][DEBUG ] deploying mds bootstrap to ceph-1
[ceph-1][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf
[ceph-1][WARNIN] mds keyring does not exist yet, creating one
[ceph-1][DEBUG ] create a keyring file
[ceph-1][DEBUG ] create path if it doesn't exist
[ceph-1][INFO  ] Running command: ceph --cluster ceph --name client.bootstrap-mds --keyring /var/lib/ceph/bootstrap-mds/ceph.keyring auth get-or-create mds.ceph-1 osd allow rwx mds allow mon allow profile mds -o /var/lib/ceph/mds/ceph-ceph-1/keyring
[ceph-1][INFO  ] Running command: systemctl enable ceph-mds@ceph-1
[ceph-1][WARNIN] Created symlink /etc/systemd/system/ceph-mds.target.wants/ceph-mds@ceph-1.service → /usr/lib/systemd/system/ceph-mds@.service.
[ceph-1][INFO  ] Running command: systemctl start ceph-mds@ceph-1
[ceph-1][INFO  ] Running command: systemctl enable ceph.target
dhclient(1742) is already running - exiting. This version of ISC DHCP is based on the release available
on ftp.isc.org. Features have been added and other changes
have been made to the base software release in order to make
it work better with this distribution.Please report issues with this software via: 
https://gitee.com/src-openeuler/dhcp/issuesexiting.
dhclient(1742) is already running - exiting. This version of ISC DHCP is based on the release available
on ftp.isc.org. Features have been added and other changes
have been made to the base software release in order to make
it work better with this distribution.Please report issues with this software via: 
https://gitee.com/src-openeuler/dhcp/issuesexiting.
[ceph-2][DEBUG ] connected to host: ceph-2 
[ceph-2][DEBUG ] detect platform information from remote host
21.10U3 LTS
bclinux
[ceph-2][DEBUG ] detect machine type
[ceph_deploy.mds][INFO  ] Distro info: bclinux 21.10U3 21.10U3 LTS
[ceph_deploy.mds][DEBUG ] remote host will use systemd
[ceph_deploy.mds][DEBUG ] deploying mds bootstrap to ceph-2
[ceph-2][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf
[ceph-2][WARNIN] mds keyring does not exist yet, creating one
[ceph-2][DEBUG ] create a keyring file
[ceph-2][DEBUG ] create path if it doesn't exist
[ceph-2][INFO  ] Running command: ceph --cluster ceph --name client.bootstrap-mds --keyring /var/lib/ceph/bootstrap-mds/ceph.keyring auth get-or-create mds.ceph-2 osd allow rwx mds allow mon allow profile mds -o /var/lib/ceph/mds/ceph-ceph-2/keyring
[ceph-2][INFO  ] Running command: systemctl enable ceph-mds@ceph-2
[ceph-2][WARNIN] Created symlink /etc/systemd/system/ceph-mds.target.wants/ceph-mds@ceph-2.service → /usr/lib/systemd/system/ceph-mds@.service.
[ceph-2][INFO  ] Running command: systemctl start ceph-mds@ceph-2
[ceph-2][INFO  ] Running command: systemctl enable ceph.target
dhclient(1722) is already running - exiting. This version of ISC DHCP is based on the release available
on ftp.isc.org. Features have been added and other changes
have been made to the base software release in order to make
it work better with this distribution.Please report issues with this software via: 
https://gitee.com/src-openeuler/dhcp/issuesexiting.
dhclient(1722) is already running - exiting. This version of ISC DHCP is based on the release available
on ftp.isc.org. Features have been added and other changes
have been made to the base software release in order to make
it work better with this distribution.Please report issues with this software via: 
https://gitee.com/src-openeuler/dhcp/issuesexiting.
[ceph-3][DEBUG ] connected to host: ceph-3 
[ceph-3][DEBUG ] detect platform information from remote host
21.10U3 LTS
bclinux
[ceph-3][DEBUG ] detect machine type
[ceph_deploy.mds][INFO  ] Distro info: bclinux 21.10U3 21.10U3 LTS
[ceph_deploy.mds][DEBUG ] remote host will use systemd
[ceph_deploy.mds][DEBUG ] deploying mds bootstrap to ceph-3
[ceph-3][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf
[ceph-3][WARNIN] mds keyring does not exist yet, creating one
[ceph-3][DEBUG ] create a keyring file
[ceph-3][DEBUG ] create path if it doesn't exist
[ceph-3][INFO  ] Running command: ceph --cluster ceph --name client.bootstrap-mds --keyring /var/lib/ceph/bootstrap-mds/ceph.keyring auth get-or-create mds.ceph-3 osd allow rwx mds allow mon allow profile mds -o /var/lib/ceph/mds/ceph-ceph-3/keyring
[ceph-3][INFO  ] Running command: systemctl enable ceph-mds@ceph-3
[ceph-3][WARNIN] Created symlink /etc/systemd/system/ceph-mds.target.wants/ceph-mds@ceph-3.service → /usr/lib/systemd/system/ceph-mds@.service.
[ceph-3][INFO  ] Running command: systemctl start ceph-mds@ceph-3
[ceph-3][INFO  ] Running command: systemctl enable ceph.target
[root@ceph-0 ceph]# 

mds状态正常

准备一台客户端虚拟机

[root@ceph-0 ~]# rsync -avr ceph-14.2.10-rpms root@172.17.158.161:~/

只安装ceph客户端

安装liboath

需要配置外部源,安装成功日志

[root@ceph-client aarch64]# yum install -y ceph-common-14.2.10-0.oe1.bclinux.aarch64.rpm \
> librados2-14.2.10-0.oe1.bclinux.aarch64.rpm \
> libcephfs2-14.2.10-0.oe1.bclinux.aarch64.rpm \
> librbd1-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python-ceph-argparse-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python3-ceph-argparse-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python3-cephfs-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python3-rados-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python3-rbd-14.2.10-0.oe1.bclinux.aarch64.rpm \
> librgw2-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python3-rgw-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python-rgw-14.2.10-0.oe1.bclinux.aarch64.rpm

Unable to connect to Registration Management Service
Last metadata expiration check: 0:08:18 ago on Mon 13 Nov 2023 03:08:56 PM CST.
Dependencies resolved.
===========================================================================================================================================================================================================================================================================
 Package                                                               Architecture                                            Version                                                                  Repository                                                    Size
===========================================================================================================================================================================================================================================================================
Installing:
 ceph-common                                                           aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                  17 M
 libcephfs2                                                            aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                 436 k
 librgw2                                                               aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                 4.5 M
 python-ceph-argparse                                                  aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                  39 k
 python-rgw                                                            aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                  99 k
 python3-ceph-argparse                                                 aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                  39 k
 python3-cephfs                                                        aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                 113 k
 python3-rados                                                         aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                 197 k
 python3-rbd                                                           aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                 181 k
 python3-rgw                                                           aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                  81 k
Installing dependencies:
 jemalloc                                                              aarch64                                                 5.1.0-4.oe1                                                              everything                                                   169 k
 jemalloc-help                                                         aarch64                                                 5.1.0-4.oe1                                                              everything                                                    54 k
 leveldb                                                               aarch64                                                 1.20-4.oe1                                                               everything                                                   150 k
Downgrading:
 librados2                                                             aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                 3.0 M
 librbd1                                                               aarch64                                                 14.2.10-0.oe1.bclinux                                                    @commandline                                                 1.4 M

Transaction Summary
===========================================================================================================================================================================================================================================================================
Install    13 Packages
Downgrade   2 Packages

Total size: 28 M
Total download size: 373 k
Downloading Packages:
(1/3): jemalloc-help-5.1.0-4.oe1.aarch64.rpm                                                                                                                                                                                               3.5 MB/s |  54 kB     00:00    
(2/3): leveldb-1.20-4.oe1.aarch64.rpm                                                                                                                                                                                                      4.1 MB/s | 150 kB     00:00    
(3/3): jemalloc-5.1.0-4.oe1.aarch64.rpm                                                                                                                                                                                                    3.5 MB/s | 169 kB     00:00    

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Total                                                                                                                                                                                                                                      7.3 MB/s | 373 kB     00:00     
Running transaction check
Transaction check succeeded.
Running transaction test
Transaction test succeeded.
Running transaction
  Preparing        :                                                                                                                                                                                                                                                   1/1 
  Downgrading      : librados2-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                          1/17 
  Running scriptlet: librados2-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                          1/17 
  Installing       : python3-rados-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                      2/17 
  Downgrading      : librbd1-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                            3/17 
  Running scriptlet: librbd1-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                            3/17 
  Installing       : libcephfs2-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                         4/17 
  Running scriptlet: libcephfs2-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                         4/17 
  Installing       : librgw2-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                            5/17 
  Running scriptlet: librgw2-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                            5/17 
  Installing       : python3-rgw-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                        6/17 
  Installing       : python3-rbd-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                        7/17 
  Installing       : python3-ceph-argparse-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                              8/17 
  Installing       : python3-cephfs-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                     9/17 
  Installing       : python-ceph-argparse-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                              10/17 
  Installing       : leveldb-1.20-4.oe1.aarch64                                                                                                                                                                                                                      11/17 
  Running scriptlet: leveldb-1.20-4.oe1.aarch64                                                                                                                                                                                                                      11/17 
  Installing       : jemalloc-help-5.1.0-4.oe1.aarch64                                                                                                                                                                                                               12/17 
  Installing       : jemalloc-5.1.0-4.oe1.aarch64                                                                                                                                                                                                                    13/17 
  Running scriptlet: jemalloc-5.1.0-4.oe1.aarch64                                                                                                                                                                                                                    13/17 
  Running scriptlet: ceph-common-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                       14/17 
  Installing       : ceph-common-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                       14/17 
warning: user ceph does not exist - using root
warning: group ceph does not exist - using root
warning: user ceph does not exist - using root
warning: group ceph does not exist - using root

  Running scriptlet: ceph-common-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                       14/17 
  Installing       : python-rgw-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                        15/17 
  Cleanup          : librbd1-2:12.2.8-16.oe1.aarch64                                                                                                                                                                                                                 16/17 
  Running scriptlet: librbd1-2:12.2.8-16.oe1.aarch64                                                                                                                                                                                                                 16/17 
  Cleanup          : librados2-2:12.2.8-16.oe1.aarch64                                                                                                                                                                                                               17/17 
  Running scriptlet: librados2-2:12.2.8-16.oe1.aarch64                                                                                                                                                                                                               17/17 
  Verifying        : librados2-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                          1/17 
  Verifying        : librados2-2:12.2.8-16.oe1.aarch64                                                                                                                                                                                                                2/17 
  Verifying        : librbd1-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                            3/17 
  Verifying        : librbd1-2:12.2.8-16.oe1.aarch64                                                                                                                                                                                                                  4/17 
  Verifying        : jemalloc-5.1.0-4.oe1.aarch64                                                                                                                                                                                                                     5/17 
  Verifying        : jemalloc-help-5.1.0-4.oe1.aarch64                                                                                                                                                                                                                6/17 
  Verifying        : leveldb-1.20-4.oe1.aarch64                                                                                                                                                                                                                       7/17 
  Verifying        : ceph-common-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                        8/17 
  Verifying        : libcephfs2-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                         9/17 
  Verifying        : python-ceph-argparse-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                              10/17 
  Verifying        : python3-ceph-argparse-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                             11/17 
  Verifying        : python3-cephfs-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                    12/17 
  Verifying        : python3-rados-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                     13/17 
  Verifying        : python3-rbd-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                       14/17 
  Verifying        : librgw2-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                           15/17 
  Verifying        : python3-rgw-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                       16/17 
  Verifying        : python-rgw-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                        17/17 

Downgraded:
  librados2-14.2.10-0.oe1.bclinux.aarch64                                                                                               librbd1-14.2.10-0.oe1.bclinux.aarch64                                                                                              

Installed:
  ceph-common-14.2.10-0.oe1.bclinux.aarch64         jemalloc-5.1.0-4.oe1.aarch64                             jemalloc-help-5.1.0-4.oe1.aarch64               leveldb-1.20-4.oe1.aarch64                                libcephfs2-14.2.10-0.oe1.bclinux.aarch64          
  librgw2-14.2.10-0.oe1.bclinux.aarch64             python-ceph-argparse-14.2.10-0.oe1.bclinux.aarch64       python-rgw-14.2.10-0.oe1.bclinux.aarch64        python3-ceph-argparse-14.2.10-0.oe1.bclinux.aarch64       python3-cephfs-14.2.10-0.oe1.bclinux.aarch64      
  python3-rados-14.2.10-0.oe1.bclinux.aarch64       python3-rbd-14.2.10-0.oe1.bclinux.aarch64                python3-rgw-14.2.10-0.oe1.bclinux.aarch64      

Complete!


故障 ImportError: No module named rados

再次安装

[root@ceph-client aarch64]# yum install -y ceph-common-14.2.10-0.oe1.bclinux.aarch64.rpm ceph-base-14.2.10-0.oe1.bclinux.aarch64.rpm \
> librados2-14.2.10-0.oe1.bclinux.aarch64.rpm \
> librados-devel-14.2.10-0.oe1.bclinux.aarch64.rpm \
> libradospp-devel-14.2.10-0.oe1.bclinux.aarch64.rpm \
> librbd1-14.2.10-0.oe1.bclinux.aarch64.rpm \
> librbd-devel-14.2.10-0.oe1.bclinux.aarch64.rpm \
> librgw2-14.2.10-0.oe1.bclinux.aarch64.rpm \
> librgw-devel-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python3-rados-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python3-rbd-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python3-rgw-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python-rados-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python-rbd-14.2.10-0.oe1.bclinux.aarch64.rpm \
> python-rgw-14.2.10-0.oe1.bclinux.aarch64.rpm \
> rados-objclass-devel-14.2.10-0.oe1.bclinux.aarch64.rpm \
> rbd-fuse-14.2.10-0.oe1.bclinux.aarch64.rpm \
> rbd-mirror-14.2.10-0.oe1.bclinux.aarch64.rpm \
> rbd-nbd-14.2.10-0.oe1.bclinux.aarch64.rpm

Unable to connect to Registration Management Service
Last metadata expiration check: 0:14:26 ago on Mon 13 Nov 2023 03:08:56 PM CST.
Package ceph-common-14.2.10-0.oe1.bclinux.aarch64 is already installed.
Package librados2-14.2.10-0.oe1.bclinux.aarch64 is already installed.
Package librbd1-14.2.10-0.oe1.bclinux.aarch64 is already installed.
Package librgw2-14.2.10-0.oe1.bclinux.aarch64 is already installed.
Package python3-rados-14.2.10-0.oe1.bclinux.aarch64 is already installed.
Package python3-rbd-14.2.10-0.oe1.bclinux.aarch64 is already installed.
Package python3-rgw-14.2.10-0.oe1.bclinux.aarch64 is already installed.
Package python-rgw-14.2.10-0.oe1.bclinux.aarch64 is already installed.
Dependencies resolved.
===========================================================================================================================================================================================================================================================================
 Package                                                               Architecture                                             Version                                                                Repository                                                     Size
===========================================================================================================================================================================================================================================================================
Installing:
 ceph-base                                                             aarch64                                                  14.2.10-0.oe1.bclinux                                                  @commandline                                                  4.5 M
 librados-devel                                                        aarch64                                                  14.2.10-0.oe1.bclinux                                                  @commandline                                                   83 k
 libradospp-devel                                                      aarch64                                                  14.2.10-0.oe1.bclinux                                                  @commandline                                                   31 k
 librbd-devel                                                          aarch64                                                  14.2.10-0.oe1.bclinux                                                  @commandline                                                   21 k
 librgw-devel                                                          aarch64                                                  14.2.10-0.oe1.bclinux                                                  @commandline                                                   10 k
 python-rados                                                          aarch64                                                  14.2.10-0.oe1.bclinux                                                  @commandline                                                  227 k
 python-rbd                                                            aarch64                                                  14.2.10-0.oe1.bclinux                                                  @commandline                                                  212 k
 rados-objclass-devel                                                  aarch64                                                  14.2.10-0.oe1.bclinux                                                  @commandline                                                  7.8 k
 rbd-fuse                                                              aarch64                                                  14.2.10-0.oe1.bclinux                                                  @commandline                                                   66 k
 rbd-mirror                                                            aarch64                                                  14.2.10-0.oe1.bclinux                                                  @commandline                                                  2.0 M
 rbd-nbd                                                               aarch64                                                  14.2.10-0.oe1.bclinux                                                  @commandline                                                  130 k

Transaction Summary
===========================================================================================================================================================================================================================================================================
Install  11 Packages

Total size: 7.3 M
Installed size: 31 M
Downloading Packages:
Running transaction check
Transaction check succeeded.
Running transaction test
Transaction test succeeded.
Running transaction
  Preparing        :                                                                                                                                                                                                                                                   1/1 
  Installing       : librados-devel-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                     1/11 
  Installing       : libradospp-devel-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                   2/11 
  Installing       : python-rados-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                       3/11 
  Installing       : ceph-base-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                          4/11 
warning: user ceph does not exist - using root
warning: group ceph does not exist - using root
warning: user ceph does not exist - using root
warning: group ceph does not exist - using root
warning: user ceph does not exist - using root
warning: group ceph does not exist - using root
warning: user ceph does not exist - using root
warning: group ceph does not exist - using root
warning: user ceph does not exist - using root
warning: group ceph does not exist - using root
warning: user ceph does not exist - using root
warning: group ceph does not exist - using root
warning: user ceph does not exist - using root
warning: group ceph does not exist - using root
warning: user ceph does not exist - using root
warning: group ceph does not exist - using root
warning: user ceph does not exist - using root
warning: group ceph does not exist - using root

  Running scriptlet: ceph-base-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                          4/11 
  Installing       : rbd-mirror-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                         5/11 
  Running scriptlet: rbd-mirror-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                         5/11 
  Installing       : python-rbd-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                         6/11 
  Installing       : librbd-devel-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                       7/11 
  Installing       : rados-objclass-devel-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                               8/11 
  Installing       : librgw-devel-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                       9/11 
  Installing       : rbd-nbd-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                           10/11 
  Installing       : rbd-fuse-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                          11/11 
  Running scriptlet: rbd-fuse-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                          11/11 
  Verifying        : ceph-base-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                          1/11 
  Verifying        : librados-devel-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                     2/11 
  Verifying        : libradospp-devel-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                   3/11 
  Verifying        : librbd-devel-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                       4/11 
  Verifying        : librgw-devel-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                       5/11 
  Verifying        : python-rados-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                       6/11 
  Verifying        : python-rbd-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                         7/11 
  Verifying        : rados-objclass-devel-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                               8/11 
  Verifying        : rbd-fuse-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                           9/11 
  Verifying        : rbd-mirror-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                        10/11 
  Verifying        : rbd-nbd-14.2.10-0.oe1.bclinux.aarch64                                                                                                                                                                                                           11/11 

Installed:
  ceph-base-14.2.10-0.oe1.bclinux.aarch64            librados-devel-14.2.10-0.oe1.bclinux.aarch64         libradospp-devel-14.2.10-0.oe1.bclinux.aarch64             librbd-devel-14.2.10-0.oe1.bclinux.aarch64         librgw-devel-14.2.10-0.oe1.bclinux.aarch64        
  python-rados-14.2.10-0.oe1.bclinux.aarch64         python-rbd-14.2.10-0.oe1.bclinux.aarch64             rados-objclass-devel-14.2.10-0.oe1.bclinux.aarch64         rbd-fuse-14.2.10-0.oe1.bclinux.aarch64             rbd-mirror-14.2.10-0.oe1.bclinux.aarch64          
  rbd-nbd-14.2.10-0.oe1.bclinux.aarch64             

Complete!
 

故障 ImportError: No module named prettytable

 yum install python2-prettytable

客户端指令验证ok

ceph.conf 配置

ceph-0上生成最小配置

[root@ceph-0 ~]# ceph config generate-minimal-conf
# minimal ceph.conf for ff72b496-d036-4f1b-b2ad-55358f3c16cb
[global]
    fsid = ff72b496-d036-4f1b-b2ad-55358f3c16cb
    mon_host = [v2:172.17.163.105:3300/0,v1:172.17.163.105:6789/0] [v2:172.17.112.206:3300/0,v1:172.17.112.206:6789/0] [v2:172.17.227.100:3300/0,v1:172.17.227.100:6789/0] [v2:172.17.67.157:3300/0,v1:172.17.67.157:6789/0]

 

ceph-client ceph.conf

编辑/etc/ceph/ceph.conf

# minimal ceph.conf for ff72b496-d036-4f1b-b2ad-55358f3c16cb
[global]fsid = ff72b496-d036-4f1b-b2ad-55358f3c16cbmon_host = [v2:172.17.163.105:3300/0,v1:172.17.163.105:6789/0] [v2:172.17.112.206:3300/0,v1:172.17.112.206:6789/0] [v2:172.17.227.100:3300/0,v1:172.17.227.100:6789/0] [v2:172.17.67.157:3300/0,v1:172.17.67.157:6789/0]

秘钥

ceph-0 上生成密码

[root@ceph-0 ~]# ceph fs authorize cephfs client.foo / rw
[client.foo]
    key = AQDI1FFlhnz6KhAAe3TA0YhZy3I8oW0Fus3WfQ==

ceph-client配置秘钥文件

/etc/ceph/ceph.client.foo.keyring
[client.foo]key = AQDI1FFlhnz6KhAAe3TA0YhZy3I8oW0Fus3WfQ==

配置权限

[root@ceph-client ceph]# chmod 600 ceph.client.foo.keyring 
[root@ceph-client ceph]# chmod 644 ceph.conf 
 

挂载失败

最新官网文档方案报错,估计版本差异大

[root@ceph-client ceph]# mount.ceph ceph@ff72b496-d036-4f1b-b2ad-55358f3c16cb.cephfs=/ /mnt/cephfs -o mon_addr=ceph-0:6789
source mount path was not specified
unable to parse mount source: -22
 

[root@ceph-client ~]# mount -t ceph ceph-0:/ /mnt/cephfs/
unable to get monitor info from DNS SRV with service name: ceph-mon
2023-11-13 16:33:07.761 ffff9a776010 -1 failed for service _ceph-mon._tcp
2023-11-13 16:33:07.761 ffff9a776010 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.guest.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,: (2) No such file or directory
mount error 22 = Invalid argument
 

[root@ceph-client ceph]# mv ceph.client.foo.keyring ceph.keyring
[root@ceph-client ceph]# mount -t ceph ceph-0:/ /mnt/cephfs/
unable to get monitor info from DNS SRV with service name: ceph-mon
2023-11-13 16:35:04.049 ffffa93fe010 -1 failed for service _ceph-mon._tcp
mount error 22 = Invalid argument

 

[root@ceph-client ceph]# mount -t ceph ceph-0:/ /mnt/cephfs/ -o name=client.foo,secret=AQDI1FFlhnz6KhAAe3TA0YhZy3I8oW0Fus3WfQ==
mount error 1 = Operation not permitted
 

挂载成功

mount -t ceph ceph-0:/ /mnt/cephfs/ -o name=foo,secret=AQDI1FFlhnz6KhAAe3TA0YhZy3I8oW0Fus3WfQ==

高可用挂载

mount -t ceph ceph-0,ceph-1,ceph-2,ceph-3:/ /mnt/cephfs/ -o name=foo,secret=AQDI1FFlhnz6KhAAe3TA0YhZy3I8oW0Fus3WfQ==

dd测试

参考:

Ceph Filesystem — Ceph Documentation   nautilus 14.2.10版本文档

Ceph文件系统_mount -t ceph-CSDN博客

相关文章:

bclinux aarch64 ceph 14.2.10 文件存储 Ceph File System, 需要部署mds: ceph-deploy mds

创建池 [rootceph-0 ~]# ceph osd pool create cephfs_data 64 pool cephfs_data created [rootceph-0 ~]# ceph osd pool create cephfs_metadata 32 pool cephfs_metadata created cephfs_metadata 64 报错 官方说明&#xff1a; 元数据池通常最多可容纳几 GB 的数据。为…...

【微前端】micro-app搭建项目实战

主应用 1、安装依赖 npm i micro-zoe/micro-app --save 2、初始化micro-app import microApp from ‘micro-zoe/micro-app’ microApp.start() 项目环境 vue3 ts 主应用实例 // main.ts 1.引入插件 import microApp from ‘micro-zoe/micro-app’ 2.初始化插件 microApp.star…...

C语言——分割单向链表

本文的内容是使用C语言分割单向链表&#xff0c;给出一个链表和一个值&#xff0c;要求链表中小于给定值的节点全都位于大于或等于给定值的节点之前&#xff0c;打印原始链表的所有元素和经此操作之后链表的所有元素。 分析&#xff1a;本题只是单向链表的分割&#xff0c;不涉…...

台式电脑的IP地址在哪里?解密台式电脑网络连接的秘密!

​ 如今智能手机和便携式笔记本电脑盛行的时代&#xff0c;台式电脑似乎逐渐被人们所忽视。然而&#xff0c;对于需要高性能和大容量存储的用户来说&#xff0c;台式电脑依然是最好的选择。而作为一款能够连接网络的设备&#xff0c;台式电脑也有自己独特的IP地址。下面虎观代理…...

设计模式案例 (三)

文章目录 系列文章目录前言一、单例模式懒汉模式case 包饿汉模式case 包懒汉模式枷锁case 包 系列文章目录 第一章 设计模式案例 (一) 第二章 设计模式案例 &#xff08;二) 第三章 设计模式案例 &#xff08;二) 文章目录 系列文章目录前言一、单例模式懒汉模式case 包饿汉模…...

JZ22:链表中倒数第k个结点

JZ22&#xff1a;链表中倒数第k个结点 题目描述&#xff1a; 输入一个链表&#xff0c;输出该链表中倒数第k个结点。 示例1 输入&#xff1a; 1,{1,2,3,4,5} 返回值&#xff1a; {5} 分析&#xff1a; 快慢指针思想&#xff1a; 需要两个指针&#xff0c;快指针fast&…...

python的高性能web应用的开发与测试实验

引言 python语言一直以开发效率高著称&#xff0c;被广泛地应用于自动化领域&#xff1a; 测试自动化运维自动化构建发布自动化 但是因为其也具有如下两个特征&#xff1a; 解释型语言GIL全局解释器锁 前者导致其性能天然就被编译型语言在性能上落后了许多。而后者则在多核…...

除了http还有哪些通信协议?

除了HTTP协议外&#xff0c;还存在许多其他通信协议。以下是一些常见的通信协议&#xff1a; 1&#xff1a;HTTPS&#xff1a;HTTPS&#xff08;HTTP Secure&#xff09;是HTTP的安全版本&#xff0c;通过使用SSL&#xff08;Secure Sockets Layer&#xff09;或TLS&#xff0…...

基于遗传算法的图像重建

图像重建涉及从图像的有限信息中恢复出可能丢失或受损的信息。使用遗传算法进行图像重建的一般思路是调整某些参数或者操作&#xff0c;以使得图像的质量或者特定的性能指标最优化。 以下是一个简单的图像重建的遗传算法示例&#xff0c;以模拟重建一个被模糊的图像。 图像重…...

【Redis】Redis-Key的使用

上一篇&#xff1a; redis-server和redis-cli https://blog.csdn.net/m0_67930426/article/details/134361885?spm1001.2014.3001.5501 官网 命令 |雷迪斯 (redis.io) 设置key set name xxxxx 查看key keys * 再设置一个key并且查看 这里查看了两个key&#xff08;name a…...

为忙碌的软件工程师精心准备的编码面试准备材料,超过 100,000 人受益!

这是一个针对技术面试准备的手册。它收集了大量的面试问题和答案&#xff0c;涵盖了算法、系统设计、前端等主题&#xff0c;并且还在不断更新和完善中。 这个项目是“Tech Interview Handbook”&#xff0c;解决了求职者在技术面试中遇到的各种难题&#xff0c;帮助他们更好地…...

SpringCloud Alibaba(上):注册中心-nacos、负载均衡-ribbon、远程调用-feign

Nacos 概念&#xff1a;Nacos是阿里巴巴推出的一款新开源项目&#xff0c;它是一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。Nacos致力于帮助用户发现、配置和管理微服务&#xff0c;它提供了一组简单易用的特性集&#xff0c;包括动态服务发现、服务配置…...

基于乌鸦算法优化概率神经网络PNN的分类预测 - 附代码

基于乌鸦算法优化概率神经网络PNN的分类预测 - 附代码 文章目录 基于乌鸦算法优化概率神经网络PNN的分类预测 - 附代码1.PNN网络概述2.变压器故障诊街系统相关背景2.1 模型建立 3.基于乌鸦优化的PNN网络5.测试结果6.参考文献7.Matlab代码 摘要&#xff1a;针对PNN神经网络的光滑…...

Jenkins中强制停止停不下来的job

# Script console 执行脚本 Jenkins 的提供了 script console 的功能&#xff0c;允许你写一些脚本&#xff0c;来调度 Jenkins 执行一些任务。 我们就可以利用 script console 来强制停止 job 执行。 首先进入 Jenkins 的 script console 页面&#xff1a; script console 路…...

北邮22级信通院数电:Verilog-FPGA(9)第九周实验(1)实现带同步复位功能、采用上升沿触发的D触发器

北邮22信通一枚~ 跟随课程进度更新北邮信通院数字系统设计的笔记、代码和文章 持续关注作者 迎接数电实验学习~ 获取更多文章&#xff0c;请访问专栏&#xff1a; 北邮22级信通院数电实验_青山如墨雨如画的博客-CSDN博客 目录 一.顶层模块的书写 二.两种验证方法 2.1使用…...

go中的rune类型

go语言中 &#xff0c;rune其实是一种int32的数据类型的别名。 // rune is an alias for int32 and is equivalent to int32 in all ways. It is // used, by convention, to distinguish character values from integer values. type rune int32rune通常用于处理字符串中的单…...

C51--PC通过串口(中断)点亮LED

B4中的&#xff1a;REN允许 / 禁止串行接收控制位 REN 1为允许串行接收状态。 接收数据必须开启。所以SCON&#xff1a;0101 0000 &#xff1b;即0x50 如何知道数据已经接收 RI位&#xff1a;当收到数据后 RI 1&#xff08;由硬件置一&#xff09; 硬件置一后必须用软件…...

使用pixy计算群体遗传学统计量

1 数据过滤 过滤参数&#xff1a;过滤掉次等位基因频率&#xff08;minor allele frequency&#xff0c;MAF&#xff09;低于0.05、哈达-温伯格平衡&#xff08;Hardy– Weinberg equilibrium&#xff0c;HWE&#xff09;对应的P值低于1e-10或杂合率&#xff08;heterozygosit…...

第十九章总结:Java绘图

19.1&#xff1a;Java绘图类 19.2&#xff1a;绘制图形 package nineteentn; import java.awt.*; import javax.swing.*; public class DrawCircle extends JFrame { private final int OVAL_WIDTH 80; // 圆形的宽 private final int OVAL_HEIGHT 80; // 圆形的高…...

Mybatis-Plus条件构造器QueryWrapper

Mybatis-Plus条件构造器QueryWrapper 1、条件构造器关系介绍 介绍 &#xff1a; 上图绿色框为抽象类 蓝色框为正常类&#xff0c;可创建对象 黄色箭头指向为父子类关系&#xff0c;箭头指向为父类 wapper介绍 &#xff1a; Wrapper &#xff1a; 条件构造抽象类&#xff0…...

SciencePlots——绘制论文中的图片

文章目录 安装一、风格二、1 资源 安装 # 安装最新版 pip install githttps://github.com/garrettj403/SciencePlots.git# 安装稳定版 pip install SciencePlots一、风格 简单好用的深度学习论文绘图专用工具包–Science Plot 二、 1 资源 论文绘图神器来了&#xff1a;一行…...

MMaDA: Multimodal Large Diffusion Language Models

CODE &#xff1a; https://github.com/Gen-Verse/MMaDA Abstract 我们介绍了一种新型的多模态扩散基础模型MMaDA&#xff0c;它被设计用于在文本推理、多模态理解和文本到图像生成等不同领域实现卓越的性能。该方法的特点是三个关键创新:(i) MMaDA采用统一的扩散架构&#xf…...

(二)原型模式

原型的功能是将一个已经存在的对象作为源目标,其余对象都是通过这个源目标创建。发挥复制的作用就是原型模式的核心思想。 一、源型模式的定义 原型模式是指第二次创建对象可以通过复制已经存在的原型对象来实现,忽略对象创建过程中的其它细节。 📌 核心特点: 避免重复初…...

使用van-uploader 的UI组件,结合vue2如何实现图片上传组件的封装

以下是基于 vant-ui&#xff08;适配 Vue2 版本 &#xff09;实现截图中照片上传预览、删除功能&#xff0c;并封装成可复用组件的完整代码&#xff0c;包含样式和逻辑实现&#xff0c;可直接在 Vue2 项目中使用&#xff1a; 1. 封装的图片上传组件 ImageUploader.vue <te…...

04-初识css

一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...

C++中string流知识详解和示例

一、概览与类体系 C 提供三种基于内存字符串的流&#xff0c;定义在 <sstream> 中&#xff1a; std::istringstream&#xff1a;输入流&#xff0c;从已有字符串中读取并解析。std::ostringstream&#xff1a;输出流&#xff0c;向内部缓冲区写入内容&#xff0c;最终取…...

BCS 2025|百度副总裁陈洋:智能体在安全领域的应用实践

6月5日&#xff0c;2025全球数字经济大会数字安全主论坛暨北京网络安全大会在国家会议中心隆重开幕。百度副总裁陈洋受邀出席&#xff0c;并作《智能体在安全领域的应用实践》主题演讲&#xff0c;分享了在智能体在安全领域的突破性实践。他指出&#xff0c;百度通过将安全能力…...

uniapp中使用aixos 报错

问题&#xff1a; 在uniapp中使用aixos&#xff0c;运行后报如下错误&#xff1a; AxiosError: There is no suitable adapter to dispatch the request since : - adapter xhr is not supported by the environment - adapter http is not available in the build 解决方案&…...

网站指纹识别

网站指纹识别 网站的最基本组成&#xff1a;服务器&#xff08;操作系统&#xff09;、中间件&#xff08;web容器&#xff09;、脚本语言、数据厍 为什么要了解这些&#xff1f;举个例子&#xff1a;发现了一个文件读取漏洞&#xff0c;我们需要读/etc/passwd&#xff0c;如…...

使用LangGraph和LangSmith构建多智能体人工智能系统

现在&#xff0c;通过组合几个较小的子智能体来创建一个强大的人工智能智能体正成为一种趋势。但这也带来了一些挑战&#xff0c;比如减少幻觉、管理对话流程、在测试期间留意智能体的工作方式、允许人工介入以及评估其性能。你需要进行大量的反复试验。 在这篇博客〔原作者&a…...