运维视角：在统信UOS服务器上部署达梦8数据库的自动化脚本与监控告警配置

企业级自动化统信UOS服务器上达梦8数据库的运维实践在国产化替代浪潮中统信UOS操作系统与达梦8数据库的组合正成为越来越多企业的选择。但传统的手动部署方式在面对大规模生产环境时往往显得力不从心——耗时耗力且难以保证一致性。本文将分享一套经过实战检验的自动化方案从脚本编写到监控告警帮助运维团队实现高效、可靠的数据库部署与管理。1. 环境准备与自动化部署框架在开始编写自动化脚本前需要先搭建一个可重复、可靠的部署环境。与手动安装不同自动化部署要求我们对每一个步骤都进行严格的异常处理和状态检查。1.1 系统环境预检自动化一个健壮的部署脚本应该能够在执行前自动检查系统环境是否满足要求。以下是一个检查系统资源的Shell函数示例check_system_resources() { local mem_needed1000000 # 1GB in KB local disk_needed1000000 # 1GB in KB local open_files_needed65536 # 检查内存 local free_mem$(grep MemAvailable /proc/meminfo | awk {print $2}) if [ $free_mem -lt $mem_needed ]; then echo 错误可用内存不足需要至少1GB return 1 fi # 检查文件描述符限制 local open_files$(ulimit -n) if [ $open_files -lt $open_files_needed ]; then echo 警告文件描述符限制($open_files)低于推荐值($open_files_needed) # 自动尝试设置临时限制 ulimit -n $open_files_needed || { echo 无法设置文件描述符限制可能需要root权限 return 1 } fi # 检查磁盘空间 local install_dir/home/dmdba local free_disk$(df -k --outputavail $install_dir | tail -1) if [ $free_disk -lt $disk_needed ]; then echo 错误安装目录磁盘空间不足 return 1 fi echo 系统资源检查通过 return 0 }提示在实际生产环境中建议将这些检查封装到Ansible的pre-task中这样可以在playbook执行前就发现问题。1.2 用户与权限管理自动化数据库安装用户创建也需要自动化处理以下是一个创建dmdba用户并设置必要权限的Ansible任务示例- name: 创建dinstall用户组 group: name: dinstall state: present - name: 创建dmdba用户 user: name: dmdba group: dinstall home: /home/dmdba shell: /bin/bash append: yes - name: 设置dmdba用户密码 shell: echo dmdba:{{ dm_password }} | chpasswd no_log: true # 避免密码泄露到日志 - name: 配置系统限制 lineinfile: path: /etc/security/limits.conf line: {{ item }} state: present with_items: - * soft nofile 65536 - * hard nofile 65536 - * soft nproc 65536 - * hard nproc 655362. 达梦8数据库自动化安装2.1 安装包处理与校验自动化安装首先要解决的是安装包的获取与验证问题。我们可以通过以下步骤实现下载验证使用wget或curl下载安装包并校验MD5/SHA256挂载处理自动挂载ISO镜像文件权限设置确保安装文件有正确的执行权限#!/bin/bash DM_ISO_URLhttp://example.com/dm8_20220304_x86_rh6_64_ent_8.1.2.114.iso DM_ISO_SHA256a1b2c3d4e5f6... # 实际SHA256值 ISO_FILE/tmp/dm8.iso MOUNT_DIR/media/cdrom # 下载ISO文件 if [ ! -f $ISO_FILE ]; then echo 正在下载达梦8安装包... wget -O $ISO_FILE $DM_ISO_URL || { echo 下载失败; exit 1 } fi # 校验文件完整性 echo 正在校验安装包... sha256sum -c $DM_ISO_SHA256 $ISO_FILE || { echo 校验失败文件可能已损坏; exit 1 } # 准备挂载点 mkdir -p $MOUNT_DIR # 挂载ISO mount -o loop $ISO_FILE $MOUNT_DIR || { echo 挂载失败; exit 1 } # 设置执行权限 DM_INSTALL_BIN$MOUNT_DIR/DMInstall.bin chmod 755 $DM_INSTALL_BIN || { echo 权限设置失败; exit 1 }2.2 静默安装配置达梦8支持静默安装模式我们可以通过响应文件实现完全自动化的安装过程。创建一个安装配置文件dm_install.xml?xml version1.0? DATABASE !-- 安装语言 -- LANGUAGEzh_CN/LANGUAGE !-- 安装类型典型/完全/自定义 -- INSTALL_TYPEtypical/INSTALL_TYPE !-- 安装目录 -- INSTALL_PATH/home/dmdba/dmdbms/INSTALL_PATH !-- 是否初始化数据库 -- INIT_DBtrue/INIT_DB !-- 数据库实例参数 -- DB PORT5236/PORT DB_NAMEDMDB/DB_NAME INSTANCE_NAMEDMSERVER/INSTANCE_NAME CHARSETUTF-8/CHARSET CASE_SENSITIVEY/CASE_SENSITIVE PAGE_SIZE8/PAGE_SIZE SYSDBA_PWDDameng123/SYSDBA_PWD SYSAUDITOR_PWDDameng123/SYSAUDITOR_PWD BUFFER_POOL_SIZE500/BUFFER_POOL_SIZE /DB /DATABASE然后使用以下命令执行静默安装su - dmdba -c $MOUNT_DIR/DMInstall.bin -q $PWD/dm_install.xml3. 数据库参数优化自动化3.1 关键性能参数调优达梦8数据库安装后需要根据服务器配置调整关键参数。我们可以编写一个自动优化脚本#!/bin/bash DM_INI/home/dmdba/dmdbms/data/DAMENG/dm.ini # 备份原始配置文件 cp $DM_INI ${DM_INI}.bak_$(date %Y%m%d) # 根据内存大小自动计算参数值 total_mem$(free -k | awk /Mem:/ {print $2}) buffer_pool$(($total_mem * 70 / 100 / 1024)) # 70%内存用作缓冲池(MB) sort_buffer$(($total_mem * 5 / 100 / 1024)) # 5%内存用作排序区(MB) # 使用sed动态修改参数 sed -i /^BUFFER.*/c\BUFFER $buffer_pool $DM_INI sed -i /^SORT_BUF_SIZE.*/c\SORT_BUF_SIZE $sort_buffer $DM_INI sed -i /^MAX_SESSIONS.*/c\MAX_SESSIONS 1000 $DM_INI sed -i /^CACHE_POOL_SIZE.*/c\CACHE_POOL_SIZE 200 $DM_INI # 重启数据库使配置生效 systemctl restart DmServiceDMSERVER3.2 定期维护任务设置数据库长期稳定运行需要定期维护我们可以通过cron设置自动维护任务# 每天凌晨2点执行统计信息收集 0 2 * * * /home/dmdba/dmdbms/bin/disql SYSDBA/Dameng123localhost:5236 -e SP_REFRESH_SYS_STATS(); # 每周日凌晨3点执行全量备份 0 3 * * 0 /home/dmdba/dmdbms/bin/dmrman CTLSTMTBACKUP DATABASE /home/dmdba/dmdbms/data/DAMENG/dm.ini FULL TO BACKUP_FILE BACKUPSET /home/dmdba/backup/full_$(date \%Y\%m\%d) # 每月1日凌晨4点执行归档日志清理 0 4 1 * * /home/dmdba/dmdbms/bin/dmrman CTLSTMTARCHIVE LOG DELETE BEFORE $(date -d -1 month \%Y-\%m-\%d)4. 监控告警系统集成4.1 Prometheus监控配置达梦8提供了丰富的系统视图我们可以通过PrometheusGrafana实现可视化监控。首先配置Prometheus exporter# dm_exporter.yml global: scrape_interval: 15s scrape_configs: - job_name: dm8 static_configs: - targets: [localhost:5236] metrics_path: /metrics params: user: [SYSDBA] password: [Dameng123]然后创建一个Grafana仪表板监控以下关键指标指标名称告警阈值说明活跃会话数 80%最大连接数可能遭遇连接池耗尽缓冲区命中率 90%内存不足或SQL效率低下磁盘I/O等待时间 50ms存储性能瓶颈CPU使用率 80%持续5分钟需要优化查询或扩展资源锁等待时间 1秒事务冲突或锁资源不足4.2 Zabbix监控模板对于使用Zabbix的企业可以创建达梦8专用监控模板。以下是一些关键监控项数据库可用性监控#!/bin/bash /home/dmdba/dmdbms/bin/disql SYSDBA/Dameng123localhost:5236 -e SELECT 1 FROM DUAL; /dev/null 21 echo 1 || echo 0表空间使用率监控SELECT TABLESPACE_NAME, ROUND(USED_SIZE/1024/1024,2) USED_MB, ROUND(TOTAL_SIZE/1024/1024,2) TOTAL_MB, ROUND(USED_PERCENT,2) USED_PERCENT FROM V$TABLESPACE WHERE USED_PERCENT 80; # 超过80%使用率告警性能指标采集-- 缓冲区命中率 SELECT ROUND((1-PHYSICAL_READS/(MEMORY_READSPHYSICAL_READS))*100,2) BUFFER_HIT_RATIO FROM V$SYSSTAT WHERE NAMEBUFFER HIT RATIO; -- 平均SQL执行时间 SELECT ROUND(AVG(ELAPSED_TIME)/1000,2) AVG_MS FROM V$SQL_STAT WHERE EXECUTIONS0;5. CI/CD流水线集成5.1 Ansible Playbook完整示例将达梦8部署集成到现有CI/CD流程中可以使用以下Ansible playbook--- - name: 部署达梦8数据库 hosts: db_servers become: yes vars: dm_version: 8.1.2.114 dm_install_dir: /home/dmdba/dmdbms dm_data_dir: {{ dm_install_dir }}/data/DAMENG dm_port: 5236 sysdba_password: Dameng123 tasks: - name: 安装依赖包 apt: name: {{ item }} state: present with_items: - libaio1 - libncurses5 - unixodbc - name: 创建安装用户 include_tasks: create_dm_user.yml - name: 下载达梦安装包 get_url: url: http://mirrors.dameng.com/{{ dm_version }}/dm8_{{ dm_version }}_x86_rh6_64_ent.iso dest: /tmp/dm8.iso checksum: sha256:a1b2c3d4e5f6... - name: 挂载ISO mount: path: /mnt/dm8 src: /tmp/dm8.iso fstype: iso9660 opts: loop,ro state: mounted - name: 准备静默安装文件 template: src: templates/dm_install.xml.j2 dest: /home/dmdba/dm_install.xml become_user: dmdba - name: 执行静默安装 command: /mnt/dm8/DMInstall.bin -q /home/dmdba/dm_install.xml become_user: dmdba args: creates: {{ dm_install_dir }}/bin/dmserver - name: 优化数据库参数 template: src: templates/dm_optimize.sql.j2 dest: /home/dmdba/dm_optimize.sql become_user: dmdba - name: 执行优化脚本 command: {{ dm_install_dir }}/bin/disql SYSDBA/{{ sysdba_password }}localhost:{{ dm_port }} /home/dmdba/dm_optimize.sql become_user: dmdba - name: 注册系统服务 template: src: templates/DmServiceDMSERVER.service.j2 dest: /etc/systemd/system/DmServiceDMSERVER.service notify: reload systemd - name: 启动数据库服务 service: name: DmServiceDMSERVER state: started enabled: yes handlers: - name: reload systemd systemd: daemon_reload: yes5.2 数据库变更自动化对于数据库schema变更可以使用Flyway或Liquibase等工具实现版本控制。示例Flyway配置# flyway.conf flyway.urljdbc:dm://localhost:5236 flyway.userSYSDBA flyway.passwordDameng123 flyway.schemasDMDB flyway.locationsfilesystem:/opt/sql/migrations flyway.sqlMigrationPrefixV flyway.sqlMigrationSeparator__ flyway.sqlMigrationSuffix.sql对应的SQL迁移文件示例-- V1__Initial_schema.sql CREATE TABLE users ( id INT PRIMARY KEY, username VARCHAR(50) NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); -- V2__Add_email_column.sql ALTER TABLE users ADD COLUMN email VARCHAR(100); -- V3__Create_indexes.sql CREATE INDEX idx_users_username ON users(username); CREATE INDEX idx_users_email ON users(email);6. 高可用与灾备方案6.1 主从复制配置达梦8支持多种高可用方案以下是配置主从复制的自动化脚本#!/bin/bash # 主库配置 PRIMARY_IP192.168.1.100 STANDBY_IP192.168.1.101 REPL_USERrepl_user REPL_PASSRepl123456 ARCH_DEST/home/dmdba/archivelog # 主库设置 echo 配置主库... /home/dmdba/dmdbms/bin/disql SYSDBA/Dameng123localhost:5236 EOF -- 启用归档 ALTER DATABASE MOUNT; ALTER DATABASE ARCHIVELOG; ALTER DATABASE ADD ARCHIVELOG DEST${ARCH_DEST},TYPELOCAL,FILE_SIZE1024,SPACE_LIMIT10240; ALTER DATABASE OPEN; -- 创建复制用户 CREATE USER ${REPL_USER} IDENTIFIED BY ${REPL_PASS}; GRANT SELECT ON V\$DATABASE TO ${REPL_USER}; GRANT SELECT ON V\$ARCHIVED_LOG TO ${REPL_USER}; GRANT SELECT ON V\$LOG_HISTORY TO ${REPL_USER}; GRANT SELECT ON V\$LOGFILE TO ${REPL_USER}; EOF # 生成备库初始化参数文件 cat /tmp/standby.ini EOF [STANDBY_CONFIG] PRIMARY_IP${PRIMARY_IP} PRIMARY_PORT5236 STANDBY_IP${STANDBY_IP} STANDBY_PORT5236 REPL_USER${REPL_USER} REPL_PASS${REPL_PASS} ARCH_DEST${ARCH_DEST} EOF6.2 自动备份策略结合达梦8的dmrman工具我们可以实现多级备份策略#!/bin/bash # 备份配置 BACKUP_DIR/home/dmdba/backup LOG_DIR/home/dmdba/logs DATA_DIR/home/dmdba/dmdbms/data/DAMENG DATE$(date %Y%m%d) KEEP_DAYS7 # 创建目录 mkdir -p ${BACKUP_DIR}/{full,incr,arch} ${LOG_DIR} # 全量备份(每周日执行) if [ $(date %u) -eq 7 ]; then echo $(date) 开始全量备份... ${LOG_DIR}/backup.log /home/dmdba/dmdbms/bin/dmrman CTLSTMTBACKUP DATABASE ${DATA_DIR}/dm.ini FULL TO FULL_${DATE} BACKUPSET ${BACKUP_DIR}/full/FULL_${DATE} ${LOG_DIR}/backup.log 21 # 清理过期备份 find ${BACKUP_DIR}/full -name FULL_* -mtime ${KEEP_DAYS} -exec rm -rf {} \; fi # 增量备份(每天执行) echo $(date) 开始增量备份... ${LOG_DIR}/backup.log /home/dmdba/dmdbms/bin/dmrman CTLSTMTBACKUP DATABASE ${DATA_DIR}/dm.ini INCREMENT WITH BACKUPDIR ${BACKUP_DIR}/full TO INCR_${DATE} BACKUPSET ${BACKUP_DIR}/incr/INCR_${DATE} ${LOG_DIR}/backup.log 21 # 清理过期增量备份 find ${BACKUP_DIR}/incr -name INCR_* -mtime ${KEEP_DAYS} -exec rm -rf {} \; # 归档日志备份(每小时执行) echo $(date) 开始归档日志备份... ${LOG_DIR}/backup.log /home/dmdba/dmdbms/bin/dmrman CTLSTMTBACKUP ARCHIVELOG ALL TO ARCH_$(date %Y%m%d%H) BACKUPSET ${BACKUP_DIR}/arch/ARCH_$(date %Y%m%d%H) ${LOG_DIR}/backup.log 21 # 清理过期归档备份 find ${BACKUP_DIR}/arch -name ARCH_* -mtime ${KEEP_DAYS} -exec rm -rf {} \;