Singularity容器安装与使用
Singularity容器技术
docker的缺点:
资源限制问题:Slurm利用cgroups实现资源分配,Docker通过ocker daemon无法实现。
权限问题:Docker daemon使用 root用户启动,HPC场录期望使用普通用户运行容器。
singuiarily主要是适合HPC中的普通用户,因其完全兼容docker,并且具有很好权限隔离,非常适合普通用户使用。docker因大多时候需变管理员的权眼,且普通用户进行数据卷的挂载时,容易导致其他不可访问的日录也被容器内访问,安全性较差。因此对于HPC的普通用户,建议使用singularity运行容器。
1、Singularity安装
step1:安装基础依赖包
apt-get install -y build-essential libssl-dev glib-2.0 libglib2.0-dev libfuse3-dev libfuse-dev uuid-dev libgpgme11-dev squashfs-tools libseccomp-dev wget pkg-config git cryptsetup
step2:安装go
export VERSION=1.20.4 OS=linux ARCH=amd64 # 设置具体的环境变量
wget https://dl.google.com/go/go$VERSION.$OS-$ARCH.tar.gz # 下载GO的安装包
tar -C /opt/software -xzvf go$VERSION.$OS-$ARCH.tar.gz # 解压GO文件
rm go$VERSION.$OS-$ARCH.tar.gz # 删除安装包
export PATH=/opt/software/go/bin:$PATH #设置GO语言环境变量
step3:下载singularity源码包
export VERSION=3.11.3 # 设置版本
wget https://github.com/sylabs/singularity/releases/download/v${VERSION}/singularity-ce-${VERSION}.tar.gz # 下载源码包
tar -xzf singularity-ce-${VERSION}.tar.gz
cd singularity
step4:编译源码包:
./mconfig --prefix=/opt/software/singularityCE-3.11.3
make -C builddir
make -C builddir install
step5:配置modulefle
cd /opt/software/modules/modulefiles
mkdir -p singularity
touch singularity/3.11.3
#%Module1.0proc ModulesHelp {} {global version modrootputs stdout "\t loads singularity 3.11.3\n"
}module-whatis "Singularity 3.11.3"set VERSION 3.11.3
set SINGULARITY_DIR /opt/software/singularityCE-3.11.3prepend-path PATH ${SINGULARITY_DIR}/binif [ module-info mode load ] {system echo "singularity 3.11.3 is loaded"
}
if [ module-info mode switch2 ] {system echo "singularity 3.11.3 is loaded"
}
if [ module-info mode remove ] {system echo "singularity 3.11.3 is unloaded"
}
2、singularty镜像相关命令
官方镜像仓库:hps:/icloud.sylabs,.iomibray,但由于官方仓库镜像较少,一般都是使用docker镜像仓库中的镜像。
Singularity 镜像文件(Singularity lmage File,sif)是一种内容只读的文件格式,其文件内容不能被修改
#搜索镜像
singularity search ubuntu #从官方仓库搜索镜像,注意Ubantu和centos 镜像无法获取,search限制
singularity search mysql
#下载镜像
singularity build ubuntu.sif library://ubuntu #从官方仓库下载并转化成sif格式
singularity build ubuntu.sif docker://ubuntu:18.04 #从docker仓库中下载并转化为isf格式
# 下载编译好的镜像
singularity pull centos #获取编译好的镜像,完成后会在本地生成目录文件<image-name>_<tag>.sif
singularity pull docker://centos
singularity pull docker://ubuntu:18.04#删除镜像
rm -f ubantu.sif
3、singularity容器相关命令
#交互式运行容器,当前目录自动做映射
singularity shell ubuntu_18.04.sif #进入容器内
Singularity> cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=18.04
DISTRIB_CODENAME=bionic
DISTRIB_DESCRIPTION="Ubuntu 18.04.6 LTS"
#运行容器并执行一条命令
singularity exec ubuntu_18.04.sif bash -c "cat /etc/lsb-release"
#运行容器,自动进入交互模式
singularity run ubuntu_18.04.sif
#查看运行的容器实例
singularity instance list
#实例容器内执行命令,不进入容器内执行,instance表示容器内执行,容器名叫ub1 执行cat /etc/lsb-release
singularity exec instance://ub1 cat /etc/lsb-release
#交互进入容器
singularity shell instance://bu1
#停止示列
singularity instance stop ub1
#目录映射-B,挂载目录类似与docker中的-v 参数singularity shell -B /opt:/opt ubuntu_18.04.sif #交互式目录映射 singularity instance start -B /opt:/opt ubuntu_18.04.sif ub1 #后台运行目录映射
4、singularity沙盒模式(重要概念)
#使用-sandbox选项创建沙盒镜像(不推荐此方法进入容器修改文件)singularity build --sandbox ubuntu/ docker://ubuntu:18.04 ls ubuntu
bin boot dev environment etc home lib lib64 media mnt opt proc root run sbin singularity srv sys tmp usr var
#运行容器,添加-writabie参数,使容器变为可写容器,便于修改容器内容,此处需要以管理员身份运行(推荐)
singularity run --writable ubuntu/
Singularity> apt-get update
Singularity> apt install -y vim
#基于修改后的容器制作新的镜像(此处也需要管理员权限,因为上一步是以管理员身份安装的vim)
singularity build ubuntu-2.sif ubuntu/
5、持久化
Singularity 容器退出时,所有修改均丢失,可以通 Overlay 实现文件持久化
Singularity 的 Overay 其实就是一个目录或文件系统,使用 --overiay 指定,支持如下命令:
run
exec
shell
instance sta
#案例:
$ sudo singularity pull centos
$ sudo mkdir demo_overlay #用于存放的修改
$ sudo singularity shell --overlay demo_overlay centos_latest.sif
Singularity> yum install -y vim
Singularity> which vim
/usr/bin/vim#再次执行,查看vim 存在
$ sudo singularity shell --overlay demo_overlay centos_latest.sif
Singularity> which vim
/usr/bin/vim#重新启动改镜像容器,查看vim不存在
sudo singularity shell centos_latest.sif
说明:
Singlarity 不能基于 Overiay日录创建镜像
6、使用singularity运行科学计算软件cpak
#下载镜像
singularity search cp2k
singularity build cp2k.sif library://pgarias/oarc/cp2k:v1.0
#准备输入文件Ce02111.inp,coord.xyZ,BASIS,POTENTIALS
#使用singularity运行计算
singularity exec cp2k.sif /opt/cp2k/exe/local/cp2k.ssmp -i CeO2_111.inp
除了可以命令行运行外,也可以结合脚本或者slurm调度完成作业提交
相关文章:
Singularity容器安装与使用
Singularity容器技术 docker的缺点: 资源限制问题:Slurm利用cgroups实现资源分配,Docker通过ocker daemon无法实现。 权限问题:Docker daemon使用 root用户启动,HPC场录期望使用普通用户运行容器。 singuiarily主要是适合HPC中的普通用户,…...
Linux 文件、重定向、缓冲区
个人主页:仍有未知等待探索-CSDN博客 专题分栏: Linux 目录 一、文件 1、文件的理解(浅层) 1.文件是什么? 2.文件操作的前提 3.文件的存储 4.一个进程可以打开多个文件吗?如果可以怎么管理的…...
WEB漏洞-SQL注入之MYSQL注入
跨库注入的原理:针对同一IP下的不同域名 同一服务器下 网站A对应数据库A 网站B对应数据库B 网站C对应数据库C 如果某网站的存在注入点,注入点的权限恰好是root权限,也就是最高权限,那么可以通过跨库注入获取其他网站的数据库…...
mysql 查询 from a, b 和 a left join b 有什么区别
在MySQL中,from a, b 和 a left join b 有显著的区别,主要体现在查询结果和使用场景上。 基本语法与返回结果: from a, b:这种写法实际上是将两个表作为一个整体来处理,即假设这两个表是同一个表。因此,它…...
禁用ssh 22端口
在Linux系统中,要关闭SSH端口,可以通过修改SSH配置文件或防火墙规则来实现。 方法一:修改SSH配置文件 1. 使用root用户登录Linux系统。 2. 打开SSH配置文件,可以使用任何文本编辑器,如vi或nano。在大多数Linux发行版上…...
C++基础编程的学习3
nullptr关键字 在C11之前,空指针通常用NULL或0表示。然而,这些表示方法存在类型安全问题。C11引入了nullptr关键字,它提供了一个明确的、类型安全的空指针值。 Lambda表达式 Lambda表达式是C11引入的一种便捷的匿名函数定义方式。当Lambda…...
Java中的Optional类:解锁优雅编程的秘密
引言 在Java开发的世界里,空指针异常(NullPointerException)一直是让无数程序员头疼的问题之一。它不仅打断了程序的正常执行流程,还可能隐藏在复杂的业务逻辑之中,难以定位。自Java 8起,一个新的类——Op…...
聆思CSK6大模型开发板语音控制风扇(上)
前言 本文介绍如何实现大模型语音交互对风扇实现开关控制,示例使用的硬件是聆思CSK6大模型开发板,大模型接的是星火大模型。本文将先详细介绍大模型云端从获取交互语音到下发控制指令的全过程,包括整合上下文、配置提示词、语义意图分类、提取…...
代码随想录算法训练营第四十一天 | 121. 买卖股票的最佳时机、122. 买卖股票的最佳时机II、123. 买卖股票的最佳时机III
一、121. 买卖股票的最佳时机 题目链接:121. 买卖股票的最佳时机 - 力扣(LeetCode) 文章讲解:代码随想录 (programmercarl.com)——121. 买卖股票的最佳时机 视频讲解:动态规划之 LeetCode:121.买卖股票的最…...
延时队列与redis and rabbitmq
延时队列是什么 延时队列(Delay Queue)是一种特殊的消息队列,它允许你在添加消息时设置一个延时时间,消息只有在延时时间到达后才能被消费。这种机制在分布式系统中非常有用,常用于处理需要在指定时间后执行的任务&am…...
数据结构--单链
#include "link.h" plink get_head() { plink pmalloc(sizeof(Link)); if(pNULL) { printf("申情节点失败\n"); return NULL; } p->len0; p->nextNULL; return p; } void head_insert(plink L,int a) {…...
春秋云镜CVE-2023-38836
打开靶场环境 点击发现一个登陆框,弱口令试一下 发现账号密码为admin,password 随便点击点击 Media发现这里可以上传文件上传木马试试 <?php eval($_POST["wjq"]); ?> 发现不能上传php文件 php内容 修改他的格式 抓包绕过一下 302就可以其实已经…...
Linux 进程概念
Linux 进程概念 硬件理解冯 诺依曼体系结构五大组成部件强调存储 引子操作系统(Operator System)概念作用认识为什么要有操作系统? 结构 示意图理解操作系统system call库函数概念 进程什么是进程概念误区认识 描述进程 - PCBtask_struct - P…...
【秋招突围】2024届校招-米哈游笔试题-第二套
🍭 大家好这里是 春秋招笔试突围,一起备战大厂笔试 💻 ACM金牌团队🏅️ | 多次AK大厂笔试 | 编程一对一辅导 ✨ 本系列打算持续跟新 春秋招笔试题 👏 感谢大家的订阅➕ 和 喜欢💗 和 手里的小花花🌸 ✨ 笔试合集传送们 -> 🧷春秋招笔试合集 🌰 明晚又有米…...
tklog v0.0.9 :Rust灵活高效日志管理
tklog是rust高性能结构化日志库,支持同步日志,异步日志,支持自定义日志的输出格式,支持按时间,按文件大小分割日志文件,支持日志文件压缩备份,支持官方日志库标准API,支持mod独立参数…...
长安链java-sdk打成jar包部署找不到配置文件,springBoot项目制作Docker镜像
长安链使用sdk_config.yml的形式来引入用户的各种证书文件, 但是打成jar包部署在服务器上会提示找不到文件。 由于国内对镜像的限制,我选用了阿里的龙蜥镜像,里面提供java1.8的环境,因为长安链要1.8的环境 docker pull anolis-…...
AI问答:理解软件开发中的几个概念 / 软件逆向、加密、加固、脱壳、反编译
一、软件逆向 定义软件逆向工程是指从程序系统出发,通过运用解密、反汇编、系统分析、程序理解等多种计算机网络安全技术,对软件的结构、流程、算法、代码等进行逆向的拆解分析,从而推出软件产品的源代码、设计原理、结构、算法、处理过程、…...
第十一届MathorCup高校数学建模挑战赛-C题:基于有限差分法的散热机理建模与海底数据中心优化设计
目录 摘 要 1 问题重述 1.1 问题背景 1.2 问题重述 2 问题分析 3 模型假设 4 符号说明 5 我们的工作 6 模型的建立与求解 6.1 建模前的准备 6.2 问题一的建模与求解 6.3 问题二的建模与求解 6.4 问题三的建模与求解 6.5 问题四的建模与解决 7 结果检验及误差分析 8 模型评价 9 …...
【java】常量
文章目录 什么是常量常量分类 什么是常量 程序运行过程当中,其值不可以发生改变的量。 常量分类 常量类型说明举例字符串常年用双引号括起来的内容“Hello World !” “我是一个常量”整数常量不带小数点的数字666 -888小数常量带小数的数字3.14、-3.19字符常量用…...
react如何使用useContext + TS 自定义hooks
为了在 TypeScript 中为 useContext 提供良好的类型提示,我们需要为 Context 定义类型,并确保在创建和使用 Context 时应用这些类型。这可以帮助我们获得更好的类型检查和智能提示。 示例:在用户认证示例中添加 TypeScript 类型 定义类型 …...
逻辑回归:给不确定性划界的分类大师
想象你是一名医生。面对患者的检查报告(肿瘤大小、血液指标),你需要做出一个**决定性判断**:恶性还是良性?这种“非黑即白”的抉择,正是**逻辑回归(Logistic Regression)** 的战场&a…...
FFmpeg 低延迟同屏方案
引言 在实时互动需求激增的当下,无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作,还是游戏直播的画面实时传输,低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架,凭借其灵活的编解码、数据…...
iPhone密码忘记了办?iPhoneUnlocker,iPhone解锁工具Aiseesoft iPhone Unlocker 高级注册版分享
平时用 iPhone 的时候,难免会碰到解锁的麻烦事。比如密码忘了、人脸识别 / 指纹识别突然不灵,或者买了二手 iPhone 却被原来的 iCloud 账号锁住,这时候就需要靠谱的解锁工具来帮忙了。Aiseesoft iPhone Unlocker 就是专门解决这些问题的软件&…...
1688商品列表API与其他数据源的对接思路
将1688商品列表API与其他数据源对接时,需结合业务场景设计数据流转链路,重点关注数据格式兼容性、接口调用频率控制及数据一致性维护。以下是具体对接思路及关键技术点: 一、核心对接场景与目标 商品数据同步 场景:将1688商品信息…...
Auto-Coder使用GPT-4o完成:在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务
通过akshare库,获取股票数据,并生成TabPFN这个模型 可以识别、处理的格式,写一个完整的预处理示例,并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务,进行预测并输…...
pikachu靶场通关笔记22-1 SQL注入05-1-insert注入(报错法)
目录 一、SQL注入 二、insert注入 三、报错型注入 四、updatexml函数 五、源码审计 六、insert渗透实战 1、渗透准备 2、获取数据库名database 3、获取表名table 4、获取列名column 5、获取字段 本系列为通过《pikachu靶场通关笔记》的SQL注入关卡(共10关࿰…...
大数据学习(132)-HIve数据分析
🍋🍋大数据学习🍋🍋 🔥系列专栏: 👑哲学语录: 用力所能及,改变世界。 💖如果觉得博主的文章还不错的话,请点赞👍收藏⭐️留言Ǵ…...
OPenCV CUDA模块图像处理-----对图像执行 均值漂移滤波(Mean Shift Filtering)函数meanShiftFiltering()
操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 在 GPU 上对图像执行 均值漂移滤波(Mean Shift Filtering),用于图像分割或平滑处理。 该函数将输入图像中的…...
基于 TAPD 进行项目管理
起因 自己写了个小工具,仓库用的Github。之前在用markdown进行需求管理,现在随着功能的增加,感觉有点难以管理了,所以用TAPD这个工具进行需求、Bug管理。 操作流程 注册 TAPD,需要提供一个企业名新建一个项目&#…...
Java编程之桥接模式
定义 桥接模式(Bridge Pattern)属于结构型设计模式,它的核心意图是将抽象部分与实现部分分离,使它们可以独立地变化。这种模式通过组合关系来替代继承关系,从而降低了抽象和实现这两个可变维度之间的耦合度。 用例子…...
