当前位置： 首页 > news >正文

解决容器内deepspeed微调大模型报错

news 2025/12/15 10:53:46

解决容器内deepspeed微调大模型报错：[launch.py:315:sigkill_handler] Killing subprocess

  • 问题描述：
  • 解决办法

问题描述：

在容器中用deepspeed微调百川大模型2时，出现上述错误，错误是由于生成容器时，共享内存没有设置，采用默认值引起的。终端输入ds_report,可以查看shared_memory,（之前是默认63M，现已调整50G）
在这里插入图片描述

解决办法

docker stop 容器名
docker rm 容器名
重新生成容器时加上共享内存参数：–shm-size=1g
例：
docker run -it -d --shm-size=50g --name 容器名–net host --gpus all -v 宿主机路径:容器内路径 -e NVIDIA_DRIVER_CAPABILITIES=compute,utility ubuntu:latest /bin/bash

相关文章：

解决容器内deepspeed微调大模型报错

解决容器内deepspeed微调大模型报错：[launch.py:315:sigkill_handler] Killing subprocess 问题描述：解决办法 问题描述： 在容器中用deepspeed微调百川大模型2时，出现上述错误，错误是由于生成容器时，共享内…...

编程日记 2023/10/18 20:03:37

UE 插件模块引用

如Plugons中的模块A想要引用模块B： 1、模块A中的.uplugin文件加入↓ 2、模块A中的.Build.cs文件加入↓ 3、在模块A需要用到模块B的地方直接include 4、重新generate Project 5、重新编译 注意两个模块之间不能循环引用...

编程日记 2023/10/18 20:02:36

python元组、拆包和装包

注意 元组不能修改元素 元组：如果元素为字符串且元素为1个，必须加一个， ********* t1 (aa,) 下标和切片 in not in for ... in ... 元组转为列表 拆包、装包...

编程日记 2023/10/18 20:01:35

1-Docker安装MySQL8.0

1 背景知识记录 1.1 MySQL 的基本配置记录 MySQL的配置文件目录（/etc/mysql）： root2dd6033b5c17:/etc/mysql# pwd /etc/mysql root2dd6033b5c17:/etc/mysql# ls conf.d my.cnf my.cnf.fallback MySQL的data文件目录（/var/lib/my…...

编程日记 2023/10/18 20:00:34

配电房智能化改造在加油站等的应用

随着科技的发展和智能化趋势的推进，对加油站配电房进行智能化改造成为了一个必然的选择。智能化改造不仅可以提高加油站的工作效率，减少事故发生率，还可以实现能源的合理利用，提高经济效益。 力安科技加油站智能化改造升级是一种高…...

编程日记 2023/10/18 19:59:33

集准测试-架构真题（五十六）

如果数据库单标即可实现业务功能，采用（）方式进行数据交换与处理较为合适。如果通过数据库不同表的连接操作获取数据才能实现业务功能，这时候采用（）方式进行数据交换与处理合适。 主动记录数据网关包装器数…...

编程日记 2023/10/18 19:58:32

木与空间的舞蹈：奥地利住宅的独特设计

国外著名设计师，为一位业主设计了一座住宅，附带有附属建筑和有盖的入口，形成了像庭院一样的建筑群。 这座住宅采用了当地的传统建筑风格，有长方形的平面和陡峭的顶棚，与周围的房屋相符。然而，内部设计别具一…...

编程日记 2023/10/18 19:57:31

性能优化-卡顿优化-tarce抓取及分析

性能优化（卡顿分析） 文章目录 一、抓取trace的方法1.使用systrace抓取trace2.使用atrace抓取3.使用Perfetto抓取trace 二、trace文件的分析1.快捷操作1.1 导航操作1.2 快捷操作 2.chrome trace工具分析trace文件3.Prefetto分析trace文件 一、抓取trace的…...

编程日记 2023/10/18 19:56:30

P5740 【深基7.例9】最厉害的学生

题目描述 现有 N N N 名同学参加了期末考试，并且获得了每名同学的信息：姓名（不超过 8 8 8 个字符的仅有英文小写字母的字符串）、语文、数学、英语成绩（均为不超过 150 150 150 的自然数）。总分最高的学…...

编程日记 2023/10/18 19:53:26

Hive引擎MR、Tez、Spark

Hive引擎包括：默认MR、Tez、Spark 不更换引擎hive默认的就是MR。 MapReduce：是一种编程模型，用于大规模数据集（大于1TB）的并行运算。 Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化&#xff0…...

编程日记 2023/10/18 19:51:24

不写前端代码，curl直接调试sse

不写前端代码，curl直接开两个终端调试sse 过程： 客户端向服务端发送建立连接请求； 服务端向客户端推送内容； 服务端向客户端发送结束信号并结束 注意事项： 只有连接时要求content-type是xxx 其他问题： …...

编程日记 2023/10/18 19:50:23

百分点科技受邀参加“一带一路”国际合作高峰论坛

10月17-18日，第三届“一带一路”国际合作高峰论坛在北京成功举行。作为新一代信息技术出海企业代表，百分点科技董事长兼CEO苏萌受邀出席高峰论坛开场活动——“一带一路”企业家大会，与来自82个国家和地区的企业或机构、有关国际组织、经济机…...

编程日记 2023/10/18 19:49:22

git学习——第4节 时光机穿梭

我们已经成功地添加并提交了一个readme.txt文件，现在，是时候继续工作了，于是，我们继续修改readme.txt文件，改成如下内容： Git is a distributed version control system. Git is free software. 现在&…...

编程日记 2023/10/18 19:48:21

golang 在 Mac、Linux、Window 下交叉编译

目录 交叉编译参数说明CGO_ENABLEDGOOS : 目标操作系统【darwin、linux、windows】GOARCH ：目标架构【386、amd64、arm】 Mac 下编译，Linux / Windows 下执行Linux 下编译，Mac / Windows 下执行Windows 下编译，Mac / Linux 下执行…...

编程日记 2023/10/18 19:46:18

半导体可靠性测试方法都有哪些?

半导体测试是半导体设备中的一种技术，其中半导体组件(芯片、模块等)在组装到系统就会出现故障。在特定电路的监控下，部件被迫经历一定的半导体试验条件，并分析部件的负载能力等性能。这种半导体测试有助于确保系统中使用的组件导体器件&#…...

编程日记 2023/10/18 19:45:16

百度智能云发布AI原生应用工作台，为大模型落地五类需求提供最优

10月17日，百度世界在北京首钢园召开。百度智能云在大会期间的重磅发布，先来个主要内容总结： 首先，百度智能云在百度世界2023大会上宣布了以下重要消息：面向企业客户的文心大模型4.0 API调用服务得到了广泛应用&#x…...

编程日记 2023/10/18 19:44:15

flutter 手机卡住，需要等待，主线程被占用

ANR原理分析 WaitingInMainSignalCatcherLoop log中记录了ANR发生的时间以及具体提示。WaitingInMainSignalCatcherLoop代表了主线程等待异常。The application may be doing too much work on its main thread.同样表示处理时间过多。 traces 刚才的log有第二句Wrote stack …...

编程日记 2023/10/18 19:43:13

微信小程序 onLoad(option) 方法

在微信小程序中，onLoad(option) 是一个生命周期函数，用于监听页面加载。当小程序的页面被加载时，onLoad(option) 函数会被自动调用，并将页面的参数传递给这个函数。 option 参数是一个包含页面参数的对象，其中的每个属…...

编程日记 2023/10/18 19:42:12

Vue3 实现文件预览 Word Excel pdf 图片 视频等格式 大全!!!!

先上效果图 插件安装 先说 word 文件是docx-preview插件 excel文件是用 xlsx 插件 介绍后端返回的数据 因为在拦截器处 做了对数据的处理 最后你调接口拿到的数据是 一个对象 里面包含: url : blob对象转换的用于访问Blob数据的临时链接。这个链接可以被用于在网页中展示…...

编程日记 2023/10/18 19:41:11

GaussDB for openGauss部署形态

前言 华为云数据库GaussDB是华为自主创新研发的分布式关系型数据库，具有高性能、高可用、高安全、低成本的特点，本文带你详细了解GaussDB数据库的部署形态。 1、GaussDB部署形态三种类型 GaussDB部署形态：单机 独立部署是将数据库组件部署…...

编程日记 2023/10/18 19:40:09

8k长序列建模，蛋白质语言模型Prot42仅利用目标蛋白序列即可生成高亲和力结合剂

蛋白质结合剂（如抗体、抑制肽）在疾病诊断、成像分析及靶向药物递送等关键场景中发挥着不可替代的作用。传统上，高特异性蛋白质结合剂的开发高度依赖噬菌体展示、定向进化等实验技术，但这类方法普遍面临资源消耗巨大、研发周期冗长…...

编程新知 2025/12/15 1:24:03

基于uniapp+WebSocket实现聊天对话、消息监听、消息推送、聊天室等功能，多端兼容

基于 ​UniApp + WebSocket​实现多端兼容的实时通讯系统，涵盖WebSocket连接建立、消息收发机制、多端兼容性配置、消息实时监听等功能，适配​微信小程序、H5、Android、iOS等终端 目录 技术选型分析WebSocket协议优势UniApp跨平台特性WebSocket 基础实现连接管理消息收发连接…...

编程新知 2025/12/8 8:46:25

剑指offer20_链表中环的入口节点

链表中环的入口节点 给定一个链表，若其中包含环，则输出环的入口节点。 若其中不包含环，则输出null。 数据范围 节点 val 值取值范围 [ 1 , 1000 ] [1,1000] [1,1000]。 节点 val 值各不相同。 链表长度 [ 0 , 500 ] [0,500] [0,500]。 …...

编程新知 2025/12/12 12:45:08

linux 下常用变更-8

1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行，YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID： YW3…...

编程新知 2025/10/7 15:08:22

大模型多显卡多服务器并行计算方法与实践指南

一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术，以解决单机资源不足的问题。分布式训练主要分为两种模式： 数据并行：将数据分片到不同设备，每个设备拥有完整的模型副本 模型并行：将模型分割到不同设备，每个设备处理部分模型计算 现代大模型训练通常结合…...

编程新知 2025/12/10 20:45:02

SpringTask-03.入门案例

一.入门案例 启动类： package com.sky;import lombok.extern.slf4j.Slf4j; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cache.annotation.EnableCach…...

编程新知 2025/12/5 11:32:28

全面解析各类VPN技术：GRE、IPsec、L2TP、SSL与MPLS VPN对比

目录 引言 VPN技术概述 GRE VPN 3.1 GRE封装结构 3.2 GRE的应用场景 GRE over IPsec 4.1 GRE over IPsec封装结构 4.2 为什么使用GRE over IPsec？ IPsec VPN 5.1 IPsec传输模式（Transport Mode） 5.2 IPsec隧道模式（Tunne…...

编程新知 2025/11/3 0:44:41

智能AI电话机器人系统的识别能力现状与发展水平

一、引言 随着人工智能技术的飞速发展，AI电话机器人系统已经从简单的自动应答工具演变为具备复杂交互能力的智能助手。这类系统结合了语音识别、自然语言处理、情感计算和机器学习等多项前沿技术，在客户服务、营销推广、信息查询等领域发挥着越来越重要…...

编程新知 2025/6/11 3:05:02

Git 3天2K星标：Datawhale 的 Happy-LLM 项目介绍（附教程）

引言 在人工智能飞速发展的今天，大语言模型（Large Language Models, LLMs）已成为技术领域的焦点。从智能写作到代码生成，LLM 的应用场景不断扩展，深刻改变了我们的工作和生活方式。然而，理解这些模型的内部…...

编程新知 2025/12/14 1:43:42

NPOI Excel用OLE对象的形式插入文件附件以及插入图片

static void Main(string[] args) {XlsWithObjData();Console.WriteLine("输出完成"); }static void XlsWithObjData() {// 创建工作簿和单元格,只有HSSFWorkbook,XSSFWorkbook不可以HSSFWorkbook workbook new HSSFWorkbook();HSSFSheet sheet (HSSFSheet)workboo…...

编程新知 2025/10/6 2:06:51