deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住
错误展示：
Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...
Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...
错误表现：
出现在多卡训练过程的pytorch 扩展，deepspeed 长时间卡住（1-2小时）
PyTorch extensions 初次构建需要一定的时间，如果构建失败需要将之前构建的缓存删除，否则就有可能卡住较长的时间
# 跳到用户目录
cd ~
# 展示所有的文件
ls -alh
# 上述步骤可以看到一个.cache的目录，需要删除 .cache 中与torch有关的缓存文件
rm -rf ~/.cache/torch
rm -rf ~/.cache/torch_extensions重新运行训练脚本，程序work
相关文章：
卡住)
deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住
错误展示： Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root... Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root... 错误表现： 出现在多卡训练过程的pytorch 扩展，deepspee…...
Rust 的 HashMap
在 Rust 中，HashMap 是一个从键（key）映射到值（value）的数据结构。它允许你以 O(1) 的平均时间复杂度存储、检索和删除键值对。HashMap 实现了 std::collections::HashMap 结构体，通常通过 use std::collect…...
exporter方式监控达梦数据库
蓝鲸监控 随着国产化和信创的深入，开始普遍使用国产化数据库–如达梦数据库，蓝鲸平台默认没有对其进行监控，但是平台了提供监控告警的能力。比如脚本采集，脚本的是一种灵活和快速的监控采集方式，不同层的监控对象都可…...
供应链安全之被忽略的软件质量管理平台安全
背景 随着我国信息化进程加速，网络安全问题更加凸显。关键信息基础设施和企业单位在满足等保合规的基础上，如何提升网络安全防御能力，降低安全事件发生概率？默安玄甲实验室针对SonarQube供应链安全事件进行分析，强调供…...
python入门（二）
python的安装很方便，我们这里就不再进行讲解，大家可以自己去搜索视频。下面分享一下Python的入门知识点。 执行命令的方式 在安装好python后，有两种方式可以执行命令： 命令行程序文件，后缀名为.py 对于命令行&…...
Mysql，MongoDB,Redis的横纵向对比
一，什么是Mysql Mysql是一款安全，可以跨平台，高效率的数据库系统，运行速度高，安全性能高，支持面向对象，安全性高，并且成本比较低，支持各种开发语言，数据库的存储容量大，有许多的内置函数。 二，什么是MongoDB MongoDB是基于分布式文件存储的数据库，是一个介于关…...
css3 实现html样式蛇形布局
文章目录 1. 实现效果2. 实现代码 1. 实现效果 2. 实现代码 <template><div class"body"><div class"title">CSS3实现蛇形布局</div><div class"list"><div class"item" v-for"(item, index) …...
基于消失点的相机自标定
基于消失点的相机自标定 附赠最强自动驾驶学习资料：直达链接 相机是通过透视投影变换来将3D场景转换为2D图像。在射影变换中，平行线相交于一点称之为消失点。本文详细介绍了两种利用消失点特性的标定方法。目的是为根据实际应用和初始条件选择合适的标…...
Python：filter过滤器
filter() 是 Python 中的一个内置函数，用于过滤序列，过滤掉不符合条件的元素，返回由符合条件元素组成的新列表。该函数接收两个参数，一个是函数，一个是序列，序列的每个元素作为参数传递给函数进行判定&…...
Python函数学习
Python函数学习 1.函数定义 在函数定义阶段只检查函数的语法问题 2.实参形参 总结： （1）位置参数就是经常用的按照位置顺序给出实参的值； （2）关键字实参形式：key123；放在…...
IDEA中的Project工程、Module模块的概念及创建导入
1、IDEA中的层级关系： project(工程) - module(模块) - package(包) - class(类)/接口具体的： 一个project中可以创建多个module一个module中可以创建多个package一个package中可以创建多个class/接口2、Project和Module的概念： 在 IntelliJ …...
如何快速下载并剪辑B站视频
1、B站手机端右上角缓存视频； 2、在手机文件管理助手中找到android/data/80找到两个文件，video.m4s和audio.m4s，将它们发送到电脑，系统会默认保存在你的个人文件夹里，C:\users\用户名 3、下载ffmepg https://blog.cs…...
智慧矿山新趋势：大数据解决方案一览
1. 背景 随着信息技术的快速发展和矿山管理需求的日益迫切，智慧矿山作为一种创新的矿山管理方式应运而生。智慧矿山借助先进的信息技术，实现对矿山生产、管理、安全等各方面的智能化、高效化、协同化，是矿山行业转型升级的必然趋势。 欢迎关…...
Ubuntu使用Docker部署Nginx容器并结合内网穿透实现公网访问本地服务
目录 ⛳️推荐 1. 安装Docker 2. 使用Docker拉取Nginx镜像 3. 创建并启动Nginx容器 4. 本地连接测试 5. 公网远程访问本地Nginx 5.1 内网穿透工具安装 5.2 创建远程连接公网地址 5.3 使用固定公网地址远程访问 ⛳️推荐 前些天发现了一个巨牛的人工智能学习网站&#…...
面试笔记——Redis（使用场景、面临问题、缓存穿透）
Redis的使用场景 Redis（Remote Dictionary Server）是一个内存数据结构存储系统，它以快速、高效的特性闻名，并且它支持多种数据结构，包括字符串、哈希表、列表、集合、有序集合等。它主要用于以下场景： 缓…...
电机学（笔记一）
磁极对数p： 直流电机的磁极对数是指电机定子的磁极对数，也等于电机电刷的对数。它与电机的转速和扭矩有直接关系。一般来说，极对数越多，电机转速越低，扭矩越大，适用于低速、高扭矩的场合；相反&…...
数值分析复习：Newton插值
文章目录 牛顿（Newton）插值引入背景插值条件基函数插值多项式差商差商的基本性质差商估计差商的Leibniz公式 余项估计 本篇文章适合个人复习翻阅，不建议新手入门使用 牛顿（Newton）插值 引入背景 Lagrange插值每引入一…...
金融知识分享系列之：出场信号RSI指标
金融知识分享系列之：出场信号RSI指标 一、出场信号RSI指标二、RSI指标原理三、 指标用法四、RSI指标总结 一、出场信号RSI指标 名称：相对强弱指标参数：(默认14)组成：RSI线以及30轴、50轴、70轴构成 0-30是极弱：0-30的…...
基于Spring Boot的宿舍管理系统
摘 要 随着信息时代的来临，过去的传统管理方式缺点逐渐暴露，对过去的传统管理方式的缺点进行分析，采取计算机方式构建宿舍管理系统。本文通过课题背景、课题目的及意义相关技术，提出了一种楼宇信息、宿舍信息、宿舍安排、缺勤信息…...
全量知识系统“全基因序列”程序构想及SmartChat的回复
感觉上，全量知识系统的程序起点基本确定。下一步就是程序了。程序的整个设计过程都准备同时使用两个AI工具。以下是和“百度AI”同步进行的Q&A。 Q1. 基本假设：“全基因序列”中“基因”的本质是联结collection。 做法是： 对给出的一个…...
多云管理“拦路虎”：深入解析网络互联、身份同步与成本可视化的技术复杂度
一、引言：多云环境的技术复杂性本质 企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时，基础设施的技术债呈现指数级积累。网络连接、身份认证、成本管理这三大核心挑战相互嵌套：跨云网络构建数据…...
深入浅出Asp.Net Core MVC应用开发系列-AspNetCore中的日志记录
ASP.NET Core 是一个跨平台的开源框架，用于在 Windows、macOS 或 Linux 上生成基于云的新式 Web 应用。 ASP.NET Core 中的日志记录 .NET 通过 ILogger API 支持高性能结构化日志记录，以帮助监视应用程序行为和诊断问题。 可以通过配置不同的记录提供程…...
3.3.1_1 检错编码（奇偶校验码）
从这节课开始，我们会探讨数据链路层的差错控制功能，差错控制功能的主要目标是要发现并且解决一个帧内部的位错误，我们需要使用特殊的编码技术去发现帧内部的位错误，当我们发现位错误之后，通常来说有两种解决方案。第一…...
江苏艾立泰跨国资源接力：废料变黄金的绿色供应链革命
在华东塑料包装行业面临限塑令深度调整的背景下，江苏艾立泰以一场跨国资源接力的创新实践，重新定义了绿色供应链的边界。 跨国回收网络：废料变黄金的全球棋局 艾立泰在欧洲、东南亚建立再生塑料回收点，将海外废弃包装箱通过标准…...
WEB3全栈开发——面试专业技能点P2智能合约开发（Solidity）
一、Solidity合约开发 下面是 Solidity 合约开发 的概念、代码示例及讲解，适合用作学习或写简历项目背景说明。 🧠 一、概念简介：Solidity 合约开发 Solidity 是一种专门为 以太坊（Ethereum）平台编写智能合约的高级编…...
)
OpenLayers 分屏对比(地图联动)
注：当前使用的是 ol 5.3.0 版本，天地图使用的key请到天地图官网申请，并替换为自己的key 地图分屏对比在WebGIS开发中是很常见的功能，和卷帘图层不一样的是，分屏对比是在各个地图中添加相同或者不同的图层进行对比查看。…...
ip子接口配置及删除
配置永久生效的子接口，2个IP 都可以登录你这一台服务器。重启不失效。 永久的 [应用] vi /etc/sysconfig/network-scripts/ifcfg-eth0修改文件内内容 TYPE"Ethernet" BOOTPROTO"none" NAME"eth0" DEVICE"eth0" ONBOOT&q…...
【VLNs篇】07：NavRL—在动态环境中学习安全飞行
项目内容论文标题NavRL: 在动态环境中学习安全飞行 (NavRL: Learning Safe Flight in Dynamic Environments)核心问题解决无人机在包含静态和动态障碍物的复杂环境中进行安全、高效自主导航的挑战，克服传统方法和现有强化学习方法的局限性。核心算法基于近端策略优化…...
Kafka入门-生产者
生产者 生产者发送流程： 延迟时间为0ms时，也就意味着每当有数据就会直接发送 异步发送API 异步发送和同步发送的不同在于：异步发送不需要等待结果，同步发送必须等待结果才能进行下一步发送。 普通异步发送 首先导入所需的k…...
【Redis】笔记｜第8节｜大厂高并发缓存架构实战与优化
缓存架构 代码结构 代码详情 功能点： 多级缓存，先查本地缓存，再查Redis，最后才查数据库热点数据重建逻辑使用分布式锁，二次查询更新缓存采用读写锁提升性能采用Redis的发布订阅机制通知所有实例更新本地缓存适用读多…...