AI Linux运维——项目部署（一）

一、项目介绍中州养老系统为养老院量身定制开发专业的养老管理软件产品涵盖来访管理、入退管理、在住管理、服务管理 、财务管理等功能模块涉及从来访参观到退住办理的完整流程。项目原型访问地址https://codesign.qq.com/s/459277624064324密码FSTI中州养老项目分为两端一个是管理后台另外一个是家属端管理后台养老院员工使用入住、退住给老人服务记录AI智能体体检报告分析百度千帆等等家属端养老院的老人家属使用查看老人信息缴费下订单智能客服等等业务主页效果二、项目部署架构及各节点规划项目部署架构各节点规划总结本次项目部署中, 共需要多少个节点, 每个节点需要部署什么内容?答共需3台节点节点一部署数据服务MySQL、Redis,节点二部署后 端jar包,节点三部署Nginx服务,同时需要开通百度千帆和阿里云OSS。三、各节点初始化环境1-在阿里云申请三台ECS服务器2-使用MX连接三个服务器3-修改主机名字第一个节点hostnamectlset-hostnamenode1.itcast.cn第二个节点hostnamectlset-hostnamenode2.itcast.cn第三个节点hostnamectlset-hostnamenode3.itcast.cn每个服务器修改完名称后执行su重新登录。四、MySQL数据库安装MySQL是一个常用的关系型数据库软件可以用来存储和管理数据比如用户信息、订单记录等。它简单高效适合小到个人网站大到大型应用的需求。常见数据库产品OracleDatabase:商用关系型数据库性能强大适合大型企业应用。PostgreSQL:开源关系型数据库功能丰富支持高级查询和扩展。MicrosoftSQLServer:微软开发的关系型数据库集成性强适合Windows环境安装文档地址:AI Linux运维--阿里云ESC服务器MySQL安装文档-CSDN博客五、项目基础业务数据导入数据导入1-将项目的SQL脚本上传到服务器中:/opt/zzyl/sql导入基础数据2-执行以下MySQL命令完成导入cd/opt/zzyl/sqlmysql-uroot-pAa123456.ry-zzyl.sql数据导入3-校验是否导入成功mysql -uroot -pAa123456.-e show databases;mysql -uroot -pAa123456.-e use ry-zzyl; show tables;六、安装Redis组件Redis是一个超级快的数据存储工具它可以把数据保存在内存里类似于一个高速缓存。它被广泛用于需要快速读写数据的场景。例如缓存数据、实时数据分析、消息队列等。安装单机版本Redis-CSDN博客安装文档:安装单机版本Redis-CSDN博客安装Redis组件大致分为5步下载安装--配置--启动--测试--打开防火墙一般都是关闭状态七、阿里云对象存储OSS阿里云的OSSObjectStorageService是一个云端对象存储服务简单来说它就像是一个网上的硬盘用来存储和管理各种文件比如图片、视频、文档等。你可以把它理解为一个可以随时访问、随时上传文件的网盘不过它比普通网盘更强大专门为大规模的数据存储和管理设计。特点像硬盘但在云上你把文件存到阿里云的OSS上就像把文件放进云端的一个“网盘”中而这个网盘可以存很多很多数据。可以随时随地访问无论你身处哪里只要有网络就可以随时上传、下载、管理这些文件。适合大规模数据存储不仅可以存普通文件还能处理海量数据比如网站的图片、视频甚至是备份文件等。开通流程步骤一在阿里云中开通OSS服务仅需要选择开通服务即可,如果是第一次使用可以直接选择免费试用。步骤二进入到对象存储管理控制台步骤三创建存储backet桶容器步骤四进入bucket设置为公用方便访问步骤五生成访问accessKey用于授权访问OSS服务八、项目接入阿里云OSS步骤一打开生产环境配置文件将配置文件拖到桌面上进行修改步骤二修改配置修改后,记得将配置文件拖拽回去九、开通百度千帆大模型授权项目中,主要是基于百度千帆大模型来分析用户的体检报告,故需要注册百度千帆大模型APK,从而对接百度千帆大模型。生产环境中,一般为公司生产环境的百度千帆账号。注册地址https://qianfan.cloud.baidu.com/注册登录实名认证成功之后我们继续在PC端来访问千帆大模型地址https://cloud.baidu.com/product-s/qianfan_modelbuilder进入到管理平台开通模型服务申请授权key十、项目接入百度千帆大模型步骤一打开生产环境配置文件将配置文件拖到桌面上进行修改步骤二修改配置修改后,记得将配置文件拖拽回去十一、后端服务部署Java是美国sun公司在1995年推出的一门计算机高级编程语言。2009年sun公司被Oracle公司收购。那么Java能做什么呢1-桌面应用开发各种税务管理软件、IDEA等……2-企业级应用开发微服务、大型互联网应用3-移动应用开发Android、医疗设备4-服务器系统应用的后台系统5-大数据开发Hadoop、Flink……6-游戏开发我的世界作为运维开发人员就要把各种Java开发的应用部署到服务器中步骤一安装JAVA程序运行环境JDK安装文档安装Java运行环境JDK11-CSDN博客步骤二上传Jar包到node2节点中mkdir-p/opt/zzyl/backend步骤三执行Jar包运行格式 jar -jar 运行的jar包 实操 cd /opt/zzyl/backend java -jar zzyl-admin.jar问题说明:当前启动后,会占用前台控制窗口,导致无法输入其他命令原因java -jar 运行jar包,本身就是直接在前台运行解决方案通过Linux提供的screen窗口会话的方式,完成稳定挂载到后台运行①安装screen命令安装第三方应用库:dnfinstall-yepel-release安装screen命令:dnfinstall-yscreen②创建并进入新窗口持久会话screen-Szzyl-backend③执行运行java-jarzzyl-admin.jar④运行成功后,执行ctrla然后d退出其他screen操作【扩展】①查看screen窗口screen-ls②恢复screen-r③彻底结束会话窗口ctrld十二、安装Nginx服务Nginx发音为“Engine-X”是一款高性能的Web服务器和反向代理服务器。它最初是为了提供更高效的静态文件处理而设计的但现在广泛应用于负载均衡、反向代理、缓存等多种用途。基于C语言开发在合适的硬件 上如多核CPU和足够的内存Nginx可以处理50,000到100,000个并发连接甚至更多。Nginx能做什么1.Web服务器它可以处理并响应来自用户的HTTP请求展示网站内容。2.反向代理服务器它接收用户的请求然后将请求转发给其他服务器来处理。这对于负载均衡和保护后端服务器很有用。3.负载均衡它可以把用户的请求分配到多个后端服务器上从而减少单一服务器的负担提高网站的稳定性和处理能力。除此之外,还支持缓存、SSL/TLS加密等能力是目前最常用的WEB服务器安装Nginx服务安装地址Nginx服务器基本搭建-CSDN博客十三、前端服务部署步骤一将dist目录上传到/var/www/目录下如果目标路径不存在 手动创建mkdir -p /var/www/ 将disk上传到此目录下步骤二配置Nginx的配置文件(资料中已提供完整的配置)vim /etc/nginx/nginx.conf #添加相关内容 #在HTTP的目录下添加以下三个add_header CORS配置 add_header Access-Control-Allow-Origin *; add_header Access-Control-Allow-Methods GET, POST, OPTIONS, PUT, DELETE; add_header Access-Control-Allow-Headers Origin, X-Requested-With, Content-Type, Accept,Authorization;作用这几行配置用于设置 跨域资源共享CORS它们在 Nginx 中用来允许其他域名访问你的资源。CORS 是一种机制允许通过浏览器发起跨域 HTTP 请求常用于 Web 应用与不同域名的 API 交互时解决浏览器的同源策略限制。# 在server中 添加以下三行内容 删除原有的server_name 和root client_max_body_size 60m; # 限制客户端请求体的最大大小。 client_body_buffer_size 512k; # 设置 Nginx 用于缓冲客户端请求体的内存大小。 client_header_buffer_size 2k; # 设置 Nginx 用于缓冲请求头的内存大小。说明:这些配置项与 Nginx 处理客户端请求的请求体大小、请求头缓冲区等相关主要用于控制 Nginx 在处理上传文件、请求体内容和请求头时的行为在server中继续添加以下内容 注意根据图片 确定放置位置 # 处理 静态页面 location / { root /var/www/dist; index index.html index.htm; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; try_files $uri $uri/ /index.html; } # 处理反向代理 location /prod-api/ { proxy_pass http://192.168.88.102:8080/zzyl-admin/; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; }步骤三重启Nginx服务重启Nginx systemctl restart nginx 或 重新加载Nginx配置不停止服务 nginx -s reload步骤四刷新浏览器访问nginx服务器的公网IP十四、智能客服私有化大模型部署部署说明本次聊天机器人底座采用ChatGLM-6B模型,ChatGLM是由清华大学与智谱AI联合开发的开源双语对话语言模型基于GLMGeneralLanguageModel架构支持中英双语交互尤其针对中文场景优化。其代表版本ChatGLM-6B具备60亿参数融合监督微调、人类反馈强化学习等技术适用于金融、营销、公共服务等多领域智能化应用。部署该模型服务器要求操作系统Linux显存GPU最低4GB建议8GB以上内存大于等于8GBCPU:大于等于4核磁盘空间建议大于40GB一申领服务器a.选择实例与镜像b.存储 建议系统盘的大小调整为60GB以上以确保可以正常安装操作c.带宽与安全组d.管理设置e.下单购买购买成功后进入管理控制台f.通过远程连接工具连接说明此处远程主机IP为云服务器的公网IP此IP随着每次释放可能都会有变化无法使用私有IP访问。二安装GPU驱动第一步验证服务器是否安装显卡驱动查看显卡信息:lspci|grep-invidia运行以下命令验证驱动是否正确加载:nvidia-smi第二步下载驱动根据查看得显卡得知为NVIDIA显卡,下载该显卡的开发版本相关驱动:https://developer.nvidia.com/cuda-downloads下载: cd~ wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run 执行安装: sh cuda_12.6.3_560.35.05_linux.run第三步添加环境变量# 添加CUDA驱动 echo export PATH/usr/local/cuda/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc校验nvidia-smi三基础环境安装由于本次基于chatglm-6b大模型部署采用的Python语言开发的使用大量的Python核心库顾首先需要再服务器中安装 Python环境。本次采用安装Anaconda来安装Anaconda是一款开源的Python发行版本其包含了conda、Python等180多个科学包及其依赖 项同时Anaconda还提供虚拟环境支持隔离不同的Python环境从而减少互相影响。故一般部署Python项目主要安装以Anaconda 版本为主。第一步下载Anacondawget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh第二步安装Anacondabash Anaconda3-2024.10-1-Linux-x86_64.sh等待一会直到出现以下界面请注意不要多次回车以免后续部分默认跳过导致环境没有一次性初始化注意如果没有跳出询问初始化的界面该怎么办cd ~ # 如果你不是root用户切换到自己的家目录下 vim .bashrc 滚到文件的最后面。输入 i 进入插入模式添加以下内容 # conda initialize # !! Contents within this block are managed by conda init !! _ conda setup$(/root/anaconda3/bin/conda shell.bash hook 2 /dev/null) if [ $? -eq 0 ]; then eval $__conda_setup else if [ -f /root/anaconda3/etc/profile.d/conda.sh ]; then . /root/anaconda3/etc/profile.d/conda.sh else export PATH/root/anaconda3/bin:$PATH fi fi unset __conda_setup # conda initialize 添加后 保存退出即可然后退出重新连接下服务器即可四模型部署第一步构建Python虚拟环境隔离各个环境#创建虚拟环境 conda create --name chatglm python3.10 #进入虚拟环境 conda activate chatglm #如果需要离开此虚拟环境可执行以下命令离开当前虚拟环境[无需执行因为后续的操作都是基于这个虚拟环境] conda deactivate第二步下载chatglm-6b模型(知识库)#创建目录创建一个用于放置大模型项目相关内容的目录 mkdir -p /export/data/glm #切换目录 cd /export/data/glm #安装国内模型资源平台 pip install -U huggingface_hub #设置模型资源地址 export HF_ENDPOINThttps://hf-mirror.com #下载对应模型内容以下为一行 huggingface-cli download --resume-download THUDM/chatglm-6b-int4 --local-dir THUDM/chatglm-6b-int4第三步上传ChatGLM-6B代码cd /export/data/glm #直接上传到此目录下上传到 /export/data/glm第四步安装依赖cd /export/data/glm/ChatGLM-6B pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple第五步修改代码在项目中部分的依赖资源可能由于我们项目放置路径问题导致部分资源存在加载不上的问题一般会和开发小伙伴沟通确认资源放置位置从而进行修改调整。修改api.py文件中的模型位置 cd /export/data/glm/ChatGLM-6B vi api.py # 增加一行内容 model_path /export/data/glm/THUDM/chatglm-6b-int4 # 修改部分参数 tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModel.from_pretrained(model_path, trust_remote_codeTrue).half().cuda() model model.eval()第六步运行 api.py启动后即可打开大模型调用接口交由开发人员通过接口调用大模型即可使用安装额外依赖 pip install fastapi uvicorn默认部署在本地的 8000 端口通过 POST 方法进行调用curl -X POST http://127.0.0.1:8000 -H Content-Type: application/json -d {prompt: 你好, history: []}得到的返回值为