【2023研电赛】安谋科技企业命题特别奖：面向独居老人的智能居家监护系统

本文为2023年第十八届中国研究生电子设计竞赛安谋科技企业命题特别奖分享，参加极术社区的【有奖活动】分享2023研电赛作品扩大影响力，更有丰富电子礼品等你来领！，分享2023研电赛作品扩大影响力，更有丰富电子礼品等你来领！

面向独居老人的智能居家监护系统

参赛单位：华南理工大学
指导老师：毕盛 董敏
参赛队员：谭皓禹 杨礼铭 沈煜

研究背景

第七次人口普查结果表明，我国人口老龄化程度正在不断加深，处理好全社会的养老问题十分重要。老人身体健康风险较高，而独居老人在生活中更是面临着精神、健康、意外三重困境，因此，我们认为给独居老人提供便利、安全的居家环境尤为重要。

市面上面向老人的监护产品存在的不足有：穿戴式手环容易被遗忘佩戴且不适用于卫生间等潮湿场所；基于视觉检测摔倒的视频监控则不适用于浴室等隐私场所；一键呼叫器或存在穿戴式的局限，或固定在某处，不适合处理突发情况。这些产品功能单一、不成系统，只“监”无“护”，无法为发生危险情况的独居老人及时提供应急服务。针对上述不足，我们设计实现了面向独居老人的智能居家监护系统。

功能介绍

我们的系统基于云-边-端架构实现，由云端服务器、感知模块和应用服务构成。

云端服务器使用MQTT协议为系统内部各模块提供通信服务。

感知控制方面，语音识别模块主要对老人的语音需求进行感知，采用R329开发板作为开发平台实现。该模块可以识别到老人的关键词需求，比如喝水、救命等。

姿态检测模块主要负责以非接触式检测识别老人在房间内的姿态，采用毫米波雷达以及EAIDK610开发平台进行实现。该模块可以识别房间内老人姿态信息。

机器人联动服务模块主要负责根据老人的语音需求提供便利服务，在检测到危险情况时自动导航至老人身边提供急救药物并拍摄现场。我们使用EAIDK610开发平台控制机器人，实现机器人联动服务模块。它可以订阅语音识别模块和姿态检测模块的话题，从云端服务器接收到对应话题的信息，然后控制服务机器人做出对应行动。

应用服务方面，前端交互模块由微信小程序实现，用户可以进入房间页面查看各房间状况、语音需求以及危险情况报警等，使家人能够远程关注老人在对应房间的状态信息。

创新特色

第一，我们采用毫米波雷达实现老人的姿态检测，克服了主流摔倒检测产品的局限性。基于毫米波雷达的姿态检测是非接触式的检测方式，克服了穿戴类设备的不足；同时也解决了基于视觉的视频监控的痛点，既防止隐私泄露，也满足了老人不愿意被监视的心理需求。

第二，我们采用联邦学习提高了姿态检测模型的可扩展性，优化模型性能。新样本训练的模型可以随时加入联邦学习的迭代聚合得到新的全局模型，相比于传统训练方式具有更高的可扩展性；无需融合多方数据，允许不同模型的训练在分布式环境下进行，以减轻模型训练压力，还在隐私保护的基础上完成间接数据共享，从而提高模型准确性、鲁棒性与泛化性。

第三，服务机器人能够根据姿态检测模块和语音识别模块检测到的信息提供相应的服务。机器人提供服务过程中，使用基于单目相机和激光雷达的多传感器融合的方法自动寻找老人并到达老人身边；我们针对居家环境改进全局路径规划以缩短导航时间，提高了对需求的响应速度；实现了导航参数自适应狭窄场景的功能，降低了复杂的居家环境对导航造成的影响。

技术实现

语音识别模块

在R329开发板部署离线语音库，以实现老人对应需求的关键词识别。

姿态检测模块

姿态检测模块具有识别摔倒、单人活动、多人活动三种情况的功能，主要使用TI毫米波雷达与EAIDK610开发者套件。前者通过发射一定频率的电磁波并利用多普勒效应检测区域内物体的运动趋势，即当范围内的物体靠近雷达时会收到频率更高的回波，远离时会收到频率更低的回波，以此计算物体与毫米波雷达之间的位置关系及物体的速度，这类计算在硬件内部即可完成，生成四元组点云数据 ，我们可以直接利用。后者接收前者所发布的话题获得点云数据，并通过数据预处理得到固定大小的网络输入后送入轻量CNN分类网络进行推理。推理结果发送至云端服务器，并通过服务器将该结果发送至应用服务层的微信小程序，以实现提示、报警功能。

提高姿态检测模型的泛化性，要求训练集更为丰富全面，但每次采集新样本并更新模型都需要集中数据重新训练，开销较大，可扩展性差，且存在隐私泄露的风险。因此我们引入联邦学习，其主要步骤包括：初始化模型、本地训练、全局迭代聚合。实验证明，相比于原模型，聚合优化模型准确率更高，具有更好的泛化性。

机器人联动服务模块

机器人寻找老人位置的思路为：通过单目相机推测老人的方向，激光雷达获取老人的距离，从而确定其具体位置。在机器人接收到“送水”“救命”等指令后，导航到对应房间进行分区覆盖式巡逻，过程中单目标检测模型进行实时推理寻找老人；当找到老人时，机器人停下，根据候选框信息计算其相对老人的方向，随后调整角度，使前进方向正对老人；最后通过激光雷达感知与老人的距离，前进并到达老人身边。

针对导航过程不流畅的问题，我们通过改进全局路径规划算法解决，思路为引入角度约束函数抑止多余转向、对生成路径进行平滑处理；针对机器人无法顺利通过狭窄区域的问题，我们通过实现导航参数自适应宽阔、狭窄场景来解决，思路为分别调整两份适用于宽阔、狭窄场景的导航参数，并在地图上标记狭窄路口，当机器人进出狭窄路口时切换导航参数。

前端交互模块

前端交互模块基于微信小程序实现。通过小程序，家人可以看到不同房间的状态信息、房间的历史记录和发生异常状况时的现场照片。

未来展望

我们只是初步设计并实现了该智能监护系统，面对需求的不断变化以及实际应用场景的一些特殊或复杂的情况，该系统还有一些值得改进的地方：

该系统只涉及了姿态检测和语音识别两个感知老人状况和需求的功能模块，未来可以添加更多的感知模块来监测老人的健康指标和需求。语音识别模块也只考虑了老人“喝水”、“救命”、“回去”等需求，未来可以增加更多关键词、为机器人设计更多功能以满足更多样的需求。

该系统的语音识别模块对于距离在0-1m内的语音需求识别成功率较高，但对于超过1m的语音需求识别率很差，考虑到一些房间比较大或者老人的声音有时候可能比较小，未来可以为R329开发板加一个收音器以加强收音效果，降低距离和声音分贝对识别率的影响。

参加极术社区的【有奖活动】分享2023研电赛作品扩大影响力，更有丰富电子礼品等你来领！，分享2023研电赛作品扩大影响力，更有丰富电子礼品等你来领！