ASK-HAR：多尺度特征提取的深度学习模型

一、探索多尺度特征提取方法

在近年来，随着智能家居智能系统和传感技术的快速发展，人类活动识别（HAR）技术已经成为一个备受瞩目的研究领域。HAR技术的核心在于通过各种跟踪设备和测量手段，如传感器和摄像头，自动识别和分类人类的运动和活动。特别是智能手机，作为一种流行的传感器模式，为我们提供了丰富的个人运动数据，包括GPS、加速度计和陀螺仪等。这些数据的丰富性，使得我们能够通过深度学习等技术手段，对人类活动进行更为精确的监测和识别。

然而，传统的卷积神经网络（CNN）在处理HAR任务时存在一定的局限性。在这些网络中，每个特征层的人工神经元通常具有相同的感受野（RF）。这意味着，当面对需要从不同尺度捕捉特征的复杂人类活动时，网络的性能会受到限制。例如，要区分“走路”和“跳跃”这两种活动，就需要不同大小的感受野来强调不同活动的特征。因此，能够自适应调整感受野大小以匹配不同活动特征尺度的能力，对于提高HAR系统的准确性和鲁棒性至关重要。这也意味着，探索多尺度特征提取方法成为了亟待解决的问题。

尽管现有的一些模型，如InceptionNet，通过在特征层内部使用不同大小的多个核来适应性地改变感受野的大小，但这些多尺度数据只能以线性方式组合，这不可避免地降低了神经元的适应性。为了解决这一问题，提出了一种新的深度学习模型——ASK-HAR（Attention-based Multi-Core Selective Kernel Convolution Network for HAR）。该模型通过注意力机制，在具有不同感受野的多个分支之间进行核选择，从而增强了HAR性能。此外，我们还采用了CBAM（Convolutional Block Attention Module）注意力模块，用于时间序列特征提取和活动识别，以提高整体框架的性能。

二、相关工作

在探讨人类活动识别（HAR）领域的相关工作时，首先关注的是深度学习技术在HAR中的应用。近年来，深度学习，尤其是卷积神经网络（CNNs），在图像和视频识别领域取得了巨大成功，这促使研究者开始探索其在HAR任务中的潜力。注意到CNNs在处理时间序列数据方面也显示出了优势，因为它们能够从传感器数据中提取出复杂的特征，这些数据通常用于捕捉人类的日常活动。尽管CNNs在许多任务中表现出色，但在HAR中，固定大小的感受野（RF）成为了一个限制因素，因为不同活动的特征往往分布在不同的时间或空间尺度上。
为了解决这个问题，研究了多尺度特征提取方法。发现一些模型，如InceptionNet，通过在单个特征层中使用不同大小的核来适应性地改变RF大小。然而，这些模型只能线性地组合来自不同分支的多尺度数据，这限制了它们的适应性。此外，还关注了一些非线性技术，它们通过从多个路径学习多尺度特征来提高HAR的适应性。在这些研究的基础上，提出了ASK-HAR模型，这是一个基于注意力机制的多核选择性卷积网络，用于HAR。模型通过在具有不同RF的多个分支之间进行核选择来增强HAR性能，并且引入了CBAM注意力模块来提取时间序列特征并识别活动。这些模块的引入，使得模型能够在整体框架中更有效地处理和识别人类活动。
在评估模型时，选择了五个公共的HAR数据集，包括UCI-HAR、USC-HAD、WISDM、PAMAP2和DSADS。这些数据集包含了从不同传感器和不同场景下收集的活动数据，提供了一个全面的测试平台。通过与现有方法和基线模型的广泛比较，证明了ASK-HAR模型在所有数据集上都能实现高精度的识别结果。

三、ASK-HAR模型介绍

ASK-HAR模型是一种新颖的基于深度学习的人类活动识别（HAR）模型，它通过在具有不同感受野（RF）的多个分支之间进行核选择来增强HAR性能：

1. ASK-HAR模型的核心特点

ASK-HAR模型的核心在于其多核选择性卷积网络，它能够根据不同的输入内容自适应地选择合适大小的感受野。这种设计允许模型捕捉多尺度的特征，这对于理解和识别各种人类活动至关重要。模型使用了包括3×1、5×1、7×1和9×1在内的多个不同大小的卷积核，这些卷积核通过softmax注意力机制合并，以实现多尺度数据的聚合。

2. 注意力机制的应用

ASK-HAR模型采用了注意力机制，这是一种在深度学习中常用的技术，它可以使模型更加关注于输入数据中最重要的部分。在ASK-HAR中，这种机制被用来在多个分支之间进行核选择，从而优化HAR性能。此外，模型还采用了CBAM（Convolutional Block Attention Module）注意力模块：

它结合了通道注意力和空间注意力，以学习和捕获与全局和局部活动特征相关的高级时间序列特征。
通道注意力：

空间注意力：

ASK-HAR模型的一个主要贡献是其对多尺度特征提取的研究。通过重建核心框架，模型能够获得更大的感受野，从而捕获更多的多尺度信息。这种多尺度信息的捕获对于提高模型在不同活动识别任务中的性能至关重要。

四、实验部分

在实验部分，我们对ASK-HAR模型进行了深入的测试和验证，以评估其在人类活动识别（HAR）任务中的表现。以下是实验过程的详细介绍：

数据集和基线模型

实验涉及五个公共的HAR数据集：UCI-HAR、USC-HAD、WISDM、PAMAP2和DSADS。这些数据集包含了从不同传感器和不同场景下收集的活动数据，为我们提供了一个全面的测试平台。为了比较ASK-HAR模型的性能，我们还构建了多个具有不同感受野的基线模型，并采用了不同的架构来增强对多尺度信息的捕获。

实验设计

ASK-HAR模型的主要目的是研究多尺度特征提取方法。我们重建了核心框架，使用softmax注意力机制在多核卷积中获得更多的尺度信息，从而让模型能够获得更大的感受野，捕获更多的多尺度信息。此外，我们还在模型中引入了CBAM注意力模块，以提高模型的表示和预测准确性，该模块结合了空间注意力和通道注意力，以学习和捕获与全局和局部活动特征相关的高级时间序列特征。

UCI-HAR数据集
在UCI-HAR数据集上，ASK-HAR模型取得了非常优异的性能。具体来说，模型的测试准确率达到了97.25%，精确率为97.63%，召回率为99.60%，F1分数为98.60%。这些指标显示了模型具有很高的分类准确性和鲁棒性。同时，较短的推理时间意味着该模型可以有效地应用于需要快速响应的实际问题中。混淆矩阵和雷达图进一步展示了模型在各个类别上的性能，其中“Laying”活动达到了完美的精确率、召回率和F1分数，而“Sitting”和“Standing”活动的F1分数稍低，分别为92.58%和93.73%。

USC-HAD数据集
在USC-HAD数据集上，ASK-HAR模型同样表现出色，准确率达到了89.40%，F1分数为89.40%。模型在“RunningForward”和“Sleeping”活动上表现尤为突出，F1分数分别为96.42%和100%。然而，对于“ElevatorUp”和“ElevatorDown”活动，模型的F1分数较低，分别为43.62%和46.97%，这表明这些活动的分类较为困难。

WISDM数据集
在WISDM数据集上，ASK-HAR模型的准确率为98.46%，F1分数为98.46%。模型在“Sitting”和“Standing”活动上达到了完美的精确率、召回率和F1分数，均为100%。“Walking”和“Jogging”活动的F1分数分别为98.65%和98.91%，而“Upstairs”和“Downstairs”活动的F1分数略低，但仍然高于95%。

PAMAP2数据集
在PAMAP2数据集上，ASK-HAR模型的准确率为94.67%，F1分数为95%。模型在“Walking”和“Cycling”活动上表现优异，F1分数分别为99.20%和97.33%。然而，“Standing”活动的召回率较低，为58.82%，影响了其F1分数，仅为72.46%。

DSADS数据集
在DSADS数据集上，ASK-HAR模型的准确率为89.42%，F1分数为89.42%。模型在多个活动上取得了完美的精确率、召回率和F1分数，如“Sitting”、“LyingBack”、“LyingRight”、“BriskWalking-Treadmill”和“Exercise-Stepper”。但对于“Moving-Elevator”和“PlayingBasketball”活动，模型的F1分数较低，分别为55.26%和75.38%。

总结

通过这些实验，我们可以看到ASK-HAR模型在不同的HAR数据集上都展现出了卓越的性能。模型不仅在动态活动识别上表现出色，如“Walking”和“Running”，在静态活动识别上也有很好的效果，尽管对于一些特定的静态活动，如“Standing”，模型的性能还有待提高。此外，模型在处理一些复杂活动，如“ElevatorUp”和“ElevatorDown”，时也面临挑战。这些结果不仅证明了ASK-HAR模型的有效性，也为我们未来的研究提供了方向，特别是在提高模型对环境变化的鲁棒性以及对更复杂实际活动的识别能力方面。