Windows环境下EMQX守护进程的自动化监控与恢复方案

1. 为什么需要EMQX守护进程监控方案EMQX作为一款开源的MQTT消息中间件在物联网和实时通信领域应用广泛。但在实际生产环境中尤其是在Windows服务器上长期运行时经常会遇到服务意外退出的情况。我自己在运维一个老旧项目时就深有体会——由于历史遗留问题EMQX平均每两三天就会崩溃一次而项目源码早已丢失根本无从排查根本原因。这种情况下最务实的解决方案就是实现服务的自动化监控与恢复。想象一下如果你的EMQX服务在凌晨3点崩溃而你又不可能24小时盯着服务器这时候一个可靠的守护进程就能救你于水火。它就像个不知疲倦的保安时刻检查EMQX的运行状态发现问题立即重启服务确保业务持续运转。Windows系统下的自动化方案尤其重要因为相比LinuxWindows对后台服务的原生支持较弱。很多运维同学习惯用任务计划程序但实测下来发现它不够灵活无法实现秒级的监控频率。而用批处理脚本的方案就轻巧多了资源占用几乎可以忽略不计。2. 监控脚本的核心实现原理2.1 基础监控逻辑设计整个监控脚本的核心逻辑其实很简单就是三个步骤的循环检查EMQX运行状态如果异常就执行重启等待一段时间后重复检查具体到代码实现关键点在于如何准确判断EMQX是否正常运行。经过多次测试我发现最可靠的方式是使用emqx_ctl status命令配合管道过滤。当看到输出中包含Node emqx127.0.0.1 is started时才能确认服务确实在运行。这里有个坑要注意直接判断beam.smp进程是否存在并不可靠。因为EMQX是用Erlang开发的即使主进程还在服务可能已经失去响应。所以一定要用官方提供的控制命令来检测。2.2 后台静默运行技巧为了让脚本能在后台持续运行而不弹出黑窗口我用了段VBScript的魔法代码%1 mshta vbscript:CreateObject(WScript.Shell).Run(%~s0 ::,0,FALSE)(window.close)exit这行代码的原理是通过Windows脚本宿主(mshta)创建一个隐藏的WScript.Shell对象来运行当前脚本。实测在Windows Server 2012及以上版本都能稳定工作而且不会在任务栏留下任何痕迹。2.3 完善的日志记录机制日志功能对运维来说太重要了。我的方案是把所有操作记录都写入到EMQX目录下的emqx_monitor.log文件每条记录都带精确到分钟的时间戳。这样当出现问题时你可以清楚地看到[2023-08-15 14:30] EMQX is running normally. [2023-08-15 14:35] EMQX is not running. Restarting... [2023-08-15 14:35] EMQX has started.日志采用追加模式不会覆盖历史记录。建议定期清理或者按日期分割日志文件避免占用过多磁盘空间。3. 完整脚本实现与配置指南3.1 脚本参数定制化以下是完整可用的监控脚本你需要修改的只有EMQX_PATH这个变量echo off %1 mshta vbscript:CreateObject(WScript.Shell).Run(%~s0 ::,0,FALSE)(window.close)exit set EMQX_PATHE:\emqx set OUTPUT_FILE%EMQX_PATH%\emqx_monitor.log :loop cd /d %EMQX_PATH% for /f tokens1-4 delims/ %%a in (date /t) do ( set year%%a set month%%b set day%%c ) for /f tokens1-3 delims: %%a in (time /t) do ( set hour0%%a set minute%%b ) set timestamp%year%-%month%-%day% %hour:~-2%:%minute% cd bin emqx_ctl status | findstr /C:Node emqx127.0.0.1 | findstr /C:is started NUL IF %ERRORLEVEL%0 ( echo [%timestamp%] EMQX is running normally. %OUTPUT_FILE% ) ELSE ( echo [%timestamp%] EMQX is not running. Restarting... %OUTPUT_FILE% taskkill /f /im beam.smp.exe NUL 21 start /b cmd /c %EMQX_PATH%\bin\emqx start echo [%timestamp%] EMQX has started. %OUTPUT_FILE% ) timeout /t 60 NUL goto loop3.2 关键配置说明EMQX_PATH必须设置为你的EMQX安装目录比如D:\emqx。注意路径中不要包含中文或空格。监控频率脚本默认60秒检查一次这个值可以通过修改timeout /t 60来调整。不建议设置小于30秒避免对系统造成不必要的负担。进程清理我增加了taskkill命令来强制结束残留的beam.smp进程。有些情况下EMQX停止后Erlang虚拟机进程还在会导致重启失败。错误处理所有可能出错的操作都加了NUL来抑制错误输出避免弹出不必要的提示窗口。4. 生产环境部署方案4.1 开机自启动配置要让监控脚本随系统启动最可靠的方法是使用任务计划程序按WinR输入taskschd.msc打开任务计划程序创建基本任务触发器选择当计算机启动时操作选择启动程序指向你的emqx_monitor.bat在条件标签页取消所有勾选特别是电源相关的在设置标签页选择如果任务失败重新启动任务间隔1分钟尝试3次这样即使脚本意外退出系统也会自动重新启动它。我管理的服务器用这个方案已经稳定运行超过180天。4.2 多实例监控方案如果你需要监控多个EMQX实例只需要复制脚本文件修改EMQX_PATH变量指向不同的安装目录即可。建议日志文件也分开存放比如set OUTPUT_FILE%EMQX_PATH%\logs\emqx_monitor_%INSTANCE_NAME%.log每个实例的监控脚本最好也使用不同的文件名方便在任务管理器中区分。4.3 资源监控增强版基础版只监控服务是否运行我们可以进一步扩展功能来监控资源使用情况。比如在ELSE分支前加入以下代码for /f tokens2 delims, %%i in (emqx_ctl status ^| findstr /C:CPU) do ( set cpu%%i ) for /f tokens2 delims, %%i in (emqx_ctl status ^| findstr /C:Memory) do ( set mem%%i ) echo [%timestamp%] CPU:%cpu% Memory:%mem% %OUTPUT_FILE%这样日志中就会记录EMQX的CPU和内存占用情况方便后续分析性能问题。5. 常见问题排查指南5.1 权限问题处理如果脚本无法启动EMQX首先检查运行权限。特别是当脚本通过任务计划程序运行时需要在任务属性中勾选使用最高权限运行确保指定的账户有EMQX目录的完全控制权限如果使用网络驱动器映射时选择登录时重新连接我遇到过最棘手的情况是防病毒软件拦截了脚本操作。可以尝试将EMQX目录添加到杀毒软件的排除列表。5.2 端口冲突问题EMQX重启失败经常是因为端口被占用。可以在重启前增加端口检查netstat -ano | findstr :1883 NUL if %ERRORLEVEL%0 ( for /f tokens5 %%p in (netstat -ano ^| findstr :1883) do ( taskkill /f /pid %%p ) )这段代码会强制结束占用1883端口的进程。根据你的实际配置可能需要检查多个端口。5.3 日志轮转方案长期运行的监控脚本会产生大量日志建议在脚本开头加入日志清理逻辑forfiles /p %EMQX_PATH% /m emqx_monitor.log /d -7 /c cmd /c del path这会自动删除7天前的日志文件。你也可以改用按日期分割日志的方案set logdate%date:~0,4%%date:~5,2%%date:~8,2% set OUTPUT_FILE%EMQX_PATH%\emqx_monitor_%logdate%.log