大模型部署，运维，测试所需掌握的知识点
python环境部署:
python3 -m site --user-base 返回用户级别的Python安装基础目录
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.8 1 将python3的默认路径/usr/bin/python3替换为/usr/bin/python3.8
sudo update-alternatives --config python 列出当前所有可用的Python版本
python3 --version 查看python版本
python3 -m ensurepip 安装pip3
python3 -m pip install --upgrade pip
sudo python3 -m pip install --upgrade pip -i https://artnj.zte.com.cn/artifactory/api/pypi/public-pypi-virtual/simple 管理员权限中兴镜像下载安装pip3 // python安装库时使用的镜像源
python3 -m site --user-base 查找pip3的安装位置
export PATH="$PATH:/home/yourusername/.local/bin" 将pip3添加到PATH:
pip3 --version 验证pip3是否可用:
python -m venv venv 创建一个venv的虚拟环境：
venv\Scripts\activate windows激活虚拟环境（venv）：
source venv/bin/activate linux激活虚拟环境（venv）：
deactivate 退出虚拟环境：
git常用命令:
git stash
git pull origin dev --rebase
git stash apply
git add .
git commit -m "[keyword](A): 优化：模型市场-导入模型商品(本地导入),大模型仓库-大模型仓库sftp导入模型"
git push origin HEAD:refs/for/dev
cd .git
git reset --soft HEAD^ 用于撤销最后一次提交，但保留该提交所做的更改在暂存区（staging area）中
git checkout xxx 切换分支
git config --list 查看git的配置列表
git branch -d xxx 删除分支
git checkout dev 切换至dev分支
git pull origin dev --rebase 更新dev分支
git checkout -b xxx 创建自己的分支
git stash apply stash@{1} 应用指定分支
git stash apply 应用最新分支
k8s及容器常用命令:
node>deploy>pod
/home/pict/nodecheck 查询节点占用情况 要su RCms@Zte3
kubectl get pv 获取pv信息
kubectl get pvc 获取pvc信息
kubectl get cm 获取configMap信息
kubectl get rs 获取ReplicaSet控制器信息
kubectl get sts 获取statefulSet控制器信息
kubectl get sa 获取serviceaccount信息
kubectl get svc 获取默认命名空间的service
kubectl get svc -n ingress-nginx 获取指定命名空间为ingress-nginx的service
kubectl get secrets 获取secrets信息
kubectl get sts 获取statefulSet控制器信息
kubectl get node -o wide 查询node详细信息
kubectl get pods -n litmus 查询litmus（zchaos集群）下的pod
kubectl get deploy -n litmus 查询litmus下的deploy（控制器）
kubectl edit rs myapp 修改ReplicaSet控制器的yaml清单内容
kubectl exec -it myapp-lmj45 -- /bin/sh 进入pod内的容器
kubectl exec -it myapp-lmj45 -c myapp-container sh 进入pod内指定容器
kubectl logs myapp-lmj45 --tail 300 -f 查看pod内的容器日志
kubectl explain pod 显示各种资源清单的字段解释
kubectl rollout 滚动更新
kubectl cluster-info 查看集群信息
kubectl uncordon node2 标记节点为可调度节点
kubectl api-resources 查看k8s支持的资源类型
kubectl api-resources --api-group=storage.k8s.io 查看指定群组支持的资源类型
kubectl rollout pause deployment myapp-deploy 更新一个pod后暂停更新
kubectl describe pod podname | grep Node 可查看pod运行在哪个节点上
kubectl rollout resume deployment myapp-deploy 解除暂停状态，继续更新
kubectl rollout status deployment myapp-deploy 监控deployment更新状态
kubectl scale sts myapp --replicas=2 Kubernetes 将会确保 myapp StatefulSet 有 2 个 Pod 副本处于运行状态
kubectl set image deployment myapp-deploy myapp=ikubernetes/myapp:v3 修改deployment的镜像版本
kubectl cordon node2 标记节点为不可调度节点
kubectl delete deploy xxx -n aistudio 删除deploy
kubectl delete pod xxx -n aistudio 删除pod
kubectl describe pod dep2411051954400192fc2d4f86-7f44f44958-7pkfj -n aistudio 查看推理pod详情
kubectl describe deploy dep241107162656019305bbd54c -n aistudio 查询推理deploy详情
kubectl label pods pod-demo release=canary 给一个pod打一个没有存在的标签key=value
kubectl label pods pod-demo release=stable --overwrite 给一个pod已经存在的标签重新赋值
kubectl label nodes node1 disktype- 通过key删除标签
kubectl delete svc redis 删除service
kubectl get pods -A 获取所有namespace的Pod信息
kubectl get pods --show-labels 获取Pod的labels
kubectl get pods -L apps,run 查看所有pod对于指定标签的key是否有value，有则显示，没有则空白
kubectl get pods -l apps --show-labels 获取含有指定标签key的pod
kubectl get namespaces kube-system -o json 获取指定namespace名为kube-system的json格式信息
kubectl get pg -A 查看环境上所有组织下申请GPU资源的任务情况
docker常用命令:
docker ps 列出容器
docker run 创建并启动容器
docker create 创建容器（不启动）
docker start 启动容器
docker stop 停止容器
docker restart 重启容器
docker rm 删除容器
docker inspect 查看容器详情
linux常用命令总结（要保持英文状态下输入命令）:
scp -r /path/to/local/directory username@remotehost:/path/to/remote/directory 复制将本地目录及其内容复制到远程主机上（-r递归）
rcp root@218.6.132.5:./testfile testfile 复制远程文件到本地
curl -k -X GET -H "OPENSTACK_REQUEST:internal" http://127.0.0.1:19393/v1/external_ftp_server 查询FTP的地址
cd .. 返回上级目录
pwd 查看当前文件路径
cat filename | tail -n 10 显示文件 filename 的最后 10 行
cat -n filename 显示文件 filename 的内容，并在每行的前面加上行号
chown root /var/run/httpd.pid 把 /var/run/httpd.pid 的所有者设置 root
diff log2014.log log2013.log 比较log2014.log ，log2013.log两个文件
find . -name file.txt 查找当前目录下名为 file.txt 的文件
find /var/log -mtime +7 查找 /var/log 目录下在 7 天前修改过的文件
find /home -size +1M 查找 /home 目录下大于 1MB 的文件
find /path/to/search -atime -7 查找过去 7 天内被访问的文件
sudo systemctl restart containerd 重启容器服务
nvidia-smi 查看GPU信息
brsmi 查看GPU信息
du -sh 显示指定目录或当前目录的总磁盘使用量
df -h 查看磁盘使用量
top 显示容器内部的实时 CPU 和内存使用情况。
find /var -type f -name "log.txt" 查找 /var 目录下所有名为 log.txt 的文件
locate log.txt 数据库来快速查找文件
grep -R "error" /home/*.log 搜索文本内容
which ls 查找可执行文件的位置
ls *.log 列出当前目录下所有以 .log 结尾的文件
find /var/log -type f -exec grep "error" {} \ 查找 /var/log 目录下所有包含 "error" 文本的文件
tail -f tcf_deploy_ccm_tcf_8d1bb00a-f6ee-4c23-a940-a1e0ba81935d.log 用于实时查看并跟踪日志文件的最新内容
touch file 创建一个名为“file”的新的空白文件
mv aaa bbb 将文件 aaa 改名为 bbb
which bash "which"查看指令"bash"的绝对路径
cp –r test/ newtest 将当前目录 test/ 下的所有文件复制到新目录 newtest 下
cp –r test newtest 将test文件复制到新目录 newtest 下
mv /usr/runoob/* . 将 /usr/runoob 下的所有文件和目录移到当前目录下
rm -rf test.txt 删除文件名 test.txt
ln -s log2013.log link2013 给文件创建软链接，为log2013.log文件创建软链接link2013，如果log2013.log丢失，link2013将失效
nc -nvv 192.168.0.1 80 扫描 80端口
kill -15 优雅停机
kill -9 -PID 杀死进程组
kill -l 列出所有可用信号
kill -s SIGSTOP 1234 向 PID 为 1234 的进程发送 SIGSTOP
ps -ef | grep pidname 查询指定pid进程名
shutdown -h 10 指定 10 分钟后关机
shutdown -r now 重新启动计算机
free 显示内存使用信息
free -s 10 每10s 显示内存使用信息
clear 清屏
fdisk -l 显示当前分区情况
vi + filename 打开文件，并将光标置于最后一行首
Ctrl+f 向文件尾翻一屏
i 在光标前插入（文本模式）
dd 删除当前行
yy 复制当前行
Esc 退出插入模式，返回到命令模式
:w 保存文件
:q 不保存文件并退出vi
:wq 或 :x 保存文件并退出vi。
ZZ 修改文件后退出。
Ctrl+z回车 退出
tar -czvf 文件名.tar.gz 目录/ 或 tar -czvf 文件名.tgz 目录/ 创建 .tar.gz 或 .tgz 压缩文件
zip -r 文件名.zip 目录/ 创建 .zip 压缩文件
tar -xzvf 文件名.tar.gz 或 tar -xzvf 文件名.tgz 解压缩 .tar.gz 或 .tgz 文件
unzip 文件名.zip 解压缩 .zip 文件
yum check-update 列出所有可更新的软件清单
yum update 更新所有软件命令
yum list 列出所有可安裝的软件清单
yum remove <package_name> 删除软件包
yum search <keyword> 查找软件包
yum clean packages 清除缓存目录下的软件包
yum clean headers 清除缓存目录下的 headers
sudo apt update 列出所有可更新的软件清单
sudo apt upgrade 升级软件包
apt list --upgradable 列出可更新的软件包及版本信息
apt list --installed 列出所有已安装的包
sudo apt autoremove 清理不再使用的依赖和库文件
sudo apt remove <package_name> 删除软件包命令
re正则表达式命令：
[ABC] 匹配 [...] 中的所有字符，例如 [aeiou] 匹配字符串 "google runoob taobao" 中所有的 aeiou字母
[^ABC] 匹配除了 [...] 中字符的所有字符，例如 [^aeiou] 匹配字符串 "google runoob taobao" 中除了 aeiou 字母的所有字符
[A-Z] [A-Z] 表示一个区间，匹配所有大写字母，[a-z] 表示所有小写字母
. 匹配除换行符（\n、\r）之外的任何单个字符，相等于 [^\n\r]
[\s\S] 匹配所有。\s 是匹配所有空白符，包括换行，\S 非空白符，不包括换行
\w 匹配字母、数字、下划线。等价于 [A-Za-z0-9_]
\d 匹配任意一个阿拉伯数字（0 到 9）。等价于 [0-9]
\cx 匹配由x指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 'c' 字符
\f 匹配一个换页符。等价于 \x0c 和 \cL
\n 匹配一个换行符。等价于 \x0a 和 \cJ
\r 匹配一个回车符
\s 匹配任何空白字符，包括空格、制表符、换页符等等
\S 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]
\t 匹配一个制表符。等价于 \x09 和 \cI
\v 匹配一个垂直制表符。等价于 \x0b 和 \cK
$ 匹配输入字符串的结尾位置
* 匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 \*
+ 匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 \+。
^ 匹配输入字符串的开始位置，除非在方括号表达式中使用，当该符号在方括号表达式中使用时，表示不接受该方括号表达式中的字符集合
^(0|[1-9][0-9]*)$ 匹配零和非零开头的数字，匹配输入字符串的结束位置
相关文章：
大模型部署，运维，测试所需掌握的知识点
python环境部署: python3 -m site --user-base 返回用户级别的Python安装基础目录 sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.8 1 将python3的默认路径/usr/bin/python3替…...
ECharts柱状图-带圆角的堆积柱状图，附视频讲解与代码下载
引言： 在数据可视化的世界里，ECharts凭借其丰富的图表类型和强大的配置能力，成为了众多开发者的首选。今天，我将带大家一起实现一个柱状图图表，通过该图表我们可以直观地展示和分析数据。此外，我还将提供…...
java 并发编程 （2）Thread 类和 Runnable 接口详解
目录 1. Thread 类和 Runnable 接口的设计目的 1.1 为什么有 Thread 类和 Runnable 接口？ 2. Thread 类实现的详细分析 2.1 Thread 类的构造方法 2.2 start() 方法的工作原理 2.3 run() 方法 2.4 join() 方法 3. Runnable 接口的实现和作用 3.1 Runnable 接…...
人工智能之数学基础:线性代数在人工智能中的地位
本文重点 从本文开始，我们将开启线性代数的学习，在线性代数中有向量、矩阵，以及各种性质，那么这些数学知识究竟和人工智能有什么关系呢？ 重要性 机器学习和深度学习的本质就是训练模型，要想训练模型需要使…...
PostgreSQL WITH 子句：提高查询效率和可读性
PostgreSQL WITH 子句：提高查询效率和可读性 PostgreSQL 是一种功能强大的开源关系数据库管理系统，它以其稳定性、可靠性和高级功能而闻名。在 PostgreSQL 中，WITH 子句（也称为公用表表达式，CTE）是一种非常有用的特性，它允许用户在一个大的查询中创建一个临时的结果集，…...
TransFormer--解码器：前馈网络层、叠加和归一组件
TransFormer--解码器：前馈网络层、叠加和归一组件 解码器的下一个子层是前馈网络层，如下图所示。 解码器的前馈网络层的工作原理与我们在编码器中学到的完全相同 叠加和归一组件 和在编码器部分学到的一样，叠加和归一组件连接子层的输入和输…...
2024亚太杯国际赛C题参考文章50页+完整解题思路+数据处理+最终结果
中国宠物食品行业的发展趋势与汇率情景分析：基于多模型的量化预测与决策分析 一 、 摘要 本文针对宠物产业及相关产业的发展分析问题，采用多种数学建模方法和数据 分析技术，构建了一系列预测和评估模型。从宠物数量预测、全球市场分析、产业 …...
Kafka 分区分配及再平衡策略深度解析与消费者事务和数据积压的简单介绍
Kafka：分布式消息系统的核心原理与安装部署-CSDN博客 自定义 Kafka 脚本 kf-use.sh 的解析与功能与应用示例-CSDN博客 Kafka 生产者全面解析：从基础原理到高级实践-CSDN博客 Kafka 生产者优化与数据处理经验-CSDN博客 Kafka 工作流程解析：…...
useEffect、useCallback、useMemo和memo的区别
前言 在构建现代 React 应用时，性能优化是一个关键考虑因素。随着组件的复杂性增加，合理管理状态和副作用变得尤为重要。React 提供了多个工具来帮助开发者优化组件性能，其中最常用的包括 useEffect、useCallback、useMemo 和 React.memo。这…...
layui树形组件点击树节点后高亮的解决方案
效果显示： 代码 //节点高亮var nodes document.getElementsByClassName("layui-tree-txt");for (var i 0; i < nodes.length; i) {if (nodes[i].innerHTML obj.data.title){nodes[i].style.color "#006BF9";nodes[i].style.fontWeight …...
大语言模型（LLM）安全：十大风险、影响和防御措施
一、什么是大语言模型（LLM）安全？ 大语言模型（LLM）安全侧重于保护大型语言模型免受各种威胁，这些威胁可能会损害其功能、完整性和所处理的数据。这涉及实施措施来保护模型本身、它使用的数据以及支持它的基…...
02 —— Webpack 修改入口和出口
概念 | webpack 中文文档 | webpack中文文档 | webpack中文网 修改入口 webpack.config.js （放在项目根目录下） module.exports {//entry设置入口起点的文件路径entry: ./path/to/my/entry/file.js, }; 修改出口 webpack.config.js const path r…...
Go语言进阶依赖管理
1. Go语言进阶 1.1 Goroutine package mainimport ("fmt""time" )func hello(i int) {println("hello goroutine : " fmt.Sprint(i)) }func main() {for i : 0; i < 5; i {go func(j int) { hello(j) }(i) // 启动一个新的 goroutine&…...
集成了高性能ARM Cortex-M0+处理器的一款SimpleLink 2.4 GHz无线模块-RF-BM-2340B1
蓝牙模组 - RF-BM-2340B1是基于美国TI的CC2340R5为核心设计的一款SimpleLink 2.4 GHz 无线模块。支持Bluetooth 5.3 Low Energy、Zigbee 、IEEE 802.15.4g、TI 15.4-Stack (2.4 GHz)及私有协议。集成了高性能ARM Cortex-M0处理器，具有512 KB Flash、32 KB超低泄漏SR…...
ffmpeg本地编译不容易发现的问题 — Error:xxxxx not found!
这里区分电脑CPU架构 本次编译是在Mac笔记本，M1芯片上进行！ 前面大致流程：分为两种（1.仅适用，直接下载编译好的本地安装即可；2.使用并查看源码，自己修改编译运行）。这里介绍的是第…...
mybatis——Mapper代理方式
一、原始DAO开发问题 Dao接口实现类方法中存在大量模板方法，设想能否将这些代码提取出来，大大减轻程序员的工作 量。 调用sqlSession的数据库操作方法需要指定statement的id，这里存在硬编码，不利于开发维护。 调用SqlSession方…...
FreeRTOS——消息队列
目录 一、概念及其作用 1.1概念 1.2特点 1.3工作原理 二、相关API 2.1创建队列 2.2任务中写队列 2.3任务中读队列 2.4中断中写队列 2.5中断中读队列 三、实现原理 3.1消息队列控制块 3.2消息队列的创建 3.3消息的发送 3.3.1任务中发送 3.3.2中断中发送 3.4消息的…...
【题解】—— LeetCode一周小结46
🌟欢迎来到 我的博客 —— 探索技术的无限可能！ 🌟博客的简介（文章目录） 【题解】—— 每日一道题目栏 上接：【题解】—— LeetCode一周小结45 11.切棍子的最小成本 题目链接：1547. 切棍子的最…...
Java项目实战II基于微信小程序的校运会管理系统（开发文档+数据库+源码）
目录 一、前言 二、技术介绍 三、系统实现 四、核心代码 五、源码获取 全栈码农以及毕业设计实战开发，CSDN平台Java领域新星创作者，专注于大学生项目实战开发、讲解和毕业答疑辅导 一、前言 在充满活力与激情的校园生活中，校运会不仅是…...
python里的数据结构
列表（List） 定义和特点： 列表是一种有序的可变序列，可包含不同类型的元素，如整数、字符串、列表等。可以通过索引访问和修改元素，索引从 0 开始。代码示例： my_list [1, 2, apple, [4, 5]] pr…...
[Unity Demo]从零开始制作空洞骑士Hollow Knight第二十一集：制作游戏的金钱系统吉欧Geo和初步制作HUD Canvas的额外内容
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、制作游戏的金钱系统吉欧Geo以及HUD Camera 1.制作金钱系统吉欧2.制作吉欧的脚本Geo Counter逻辑处理3.制作HUD Canvas的吉欧的UI4.在敌人的HealthManager.c…...
底层逻辑之：极大似然方法（Maximum Likelihood Estimation, MLE）
简介： 极大似然方法（Maximum Likelihood Estimation, MLE）是一种用于估计统计模型参数的方法。其核心思想是基于观测数据来寻找最可能产生这些数据的模型参数。 早在1821年，德国数学家高斯（C. F. Gauss）就…...
笔记：Centos Nginx Jdk Mysql OpenOffce KkFile Minio安装部署
远程工具 ToDesk Nginx 解压 tar zxvf nginx-1.20.2.tar.gz进入Nginx 文件夹 cd nginx-1.20.2报错解决 ./configure: error: C compiler cc is not found yum -y install gcc gcc-c autoconf automake make./configure: error: the HTTP rewrite module requires the PC…...
【MARL】深入理解多智能体近端策略优化（MAPPO）算法与调参
📢本篇文章是博主强化学习（RL）领域学习时，用于个人学习、研究或者欣赏使用，并基于博主对相关等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅…...
深入探索Go语言中的sync.Mutex与sync.RWMutex：原理、应用与实践
深入探索Go语言中的sync.Mutex与sync.RWMutex：原理、应用与实践 在并发编程的世界里，Go语言以其独特的并发模型和简洁的语法赢得了广泛的关注。在Go语言的并发控制工具箱中，sync.Mutex和sync.RWMutex是两个至关重要的工具，它们帮助开发者保护共享资源，避免竞态条件，确保…...
15.postgresql--jsonb 数组进行打平，过滤
用jsonb_array_elements函数先展开数组，再用jsonb_each函数遍历元素中的键值对 例如： SELECT * FROM data_table, LATERAL jsonb_array_elements(json_column) WITH ORDINALITY as elem(element, idx) JOIN LATERAL jsonb_each(elem.element) as kv(ke…...
linux下i2c开发与框架源码分析
目录 1 概述 2 I2c子系统框架 3 I2C的使用流程 3.1 在驱动里使用 3.2 在应用层使用 3.3 I2ctool的使用 4 为硬件i2c注册一个适配器 5 i2c子系统源码流程分析 5.1 i2c device与driver绑定过程 5.1.1 Driver的注册与处理 5.1.2 Client device的生成 5.2 I2c的发送与接…...
[ruby on rails] 安装docker
1. docker安装 ubuntu14.04后自带docker安装包，可以直接安装docker.io sudo apt-get updatesudo apt-get install -y docker.io # 安装后启动sudo service docker start最新版本docker 安装docker-ce # 官方源 curl -fsSL https://download.docker.com/linux/ubun…...
I2C学习
详情学习 12. I2C通讯 — [野火]Linux基础与应用开发实战指南——基于LubanCat-RK系列板卡 文档 (embedfire.com) 问题 i2c总线中scl和sda两条线的作用以及区别 在 I2C 总线（Inter-Integrated Circuit）中，SCL 和 SDA 是两条核心信号线&am…...
VUE：基于MVVN的前端js框架
文章目录 vue框架v-show vue框架 注意是 先写函数名，再写function。 handle:function (){}下面是错误的 function:handle(){}3 v-show 本质上等于号后面还是判断条件，所以不能写赋值语句，下面是正确的 下面是错误的 v-show " ge…...