面向预测性维护的TinyML技术栈全面综述

论文标题：A Holistic Review of the TinyML Stack for Predictive Maintenance（面向预测性维护的TinyML技术栈全面综述）

作者信息：Emil Njor, Mohammad Amin Hasanpour, Jan Madsen, Xenofon Fafoutis，均来自丹麦技术大学应用数学与计算机科学系。

论文出处：该论文发表在IEEE Access期刊上，DOI为10.1109/ACCESS.2024.0429000。

以下是论文的主要内容概述：

摘要： 本文探讨了预测性维护（Predictive Maintenance, PdM）中TinyML技术栈的应用。PdM通过数据预测何时进行维护，对于提高安全性、最大化正常运行时间和最小化成本至关重要。传统的PdM系统主要依赖传感器收集设备信息，然后将信息传输至高性能计算机系统进行处理。这种方法虽然能够实现高质量的预测，但也存在一些限制，比如某些应用因法规或基础设施限制而无法传输数据。TinyML的进步使得在传感器设备上直接处理信息成为可能。本文全面审视了TinyML在PdM中的应用，关注机器学习模型、硬件、工具链、数据和PdM应用的全栈视图。研究发现，TinyML栈的各个部分受到了不同程度的关注，尤其是机器学习模型及其优化，而数据优化和TinyML数据集的贡献较少。研究还发现，大多数TinyML研究集中在图像和音频分类上，对PdM等其他应用领域的关注较少。基于这些观察，文章提出了未来研究的有前景的途径，以扩展和改进TinyML在PdM中的应用。

引言： 介绍了设备故障导致的停机对组织造成的高昂成本，以及PdM策略的重要性。讨论了三种主要的维护策略：反应式维护、预防性维护和预测性维护，并强调了PdM结合低故障率和维护成本的优势。

相关工作： 回顾了TinyML领域的相关文献，指出许多论文集中于特定的应用领域，如医疗保健和环境问题，而对TinyML在PdM中的应用则关注较少。

硬件： 探讨了TinyML栈的硬件层面，包括计算单元、内存、传感能力和能源供应。讨论了不同类型硬件之间的权衡，如能源效率、灵活性、易用性和成本。

工具链： 介绍了开发和部署TinyML模型的工具链，包括TensorFlow Lite Micro、Edge Impulse、Embedded Learning Library等，并比较了它们的特性。

模型： 讨论了适用于TinyML的机器学习模型，包括传统机器学习模型和神经网络模型，以及它们的优化技术。

数据： 强调了数据在TinyML系统中的重要性，并探讨了如何为PdM应用优化数据。

应用： 介绍了PdM系统的目标和TinyML在PdM中的各种应用领域，如制造业、汽车行业、航空航天和医疗保健等。

未来研究方向： 基于观察结果，提出了未来研究的方向，包括TinyML工具链的基准测试、可解释人工智能在TinyML中的应用、TinyML基于PdM的数据集、能量收集和间歇性学习、新的计算范式、TinyML NAS的进步和标准化工作。

1. 基准测试TinyML工具链：

   • 论文提到了对TinyML工具链进行基准测试的重要性，这包括对资源需求和特性的实验评估。这样的研究将有助于新入门者或研究人员更好地理解不同工具链的性能和适用场景。

2. 可解释人工智能（XAI）在TinyML中的应用：

   • 论文强调了可解释人工智能在TinyML系统中的重要性，尤其是在TinyML领域，XAI的研究还相对较少。未来的研究可以探索如何将XAI集成到TinyML中，以提高模型的透明度和可解释性。

3. TinyML基于PdM的数据集：

   • 论文指出，目前TinyML领域特别是PdM方向，缺乏高质量的数据集。未来的研究可以致力于创建新的PdM数据集，这些数据集可以包含多模态数据，以支持多模态TinyML模型的高质量研究。

4. 能量收集和间歇性学习：

   • 论文提到，电池驱动的TinyML设备相比直接连接或能量收集的设备在可持续性方面较差。因此，未来的研究可以更多地关注TinyML的能量收集技术，以及如何在能量不可预测的情况下实现间歇性学习。

5. 新的计算范式：

   • 论文讨论了多种新的计算范式，如近内存计算、神经形态计算、近似计算和模拟计算，这些范式正在被研究以提高TinyML系统的性能和效率。进一步研究这些新的计算范式可能会将TinyML领域推向新的高度。

6. 推进TinyML NAS：

   • 论文提到，神经架构搜索（NAS）已经成为创建TinyML系统的一个重要工具。由于实际部署中的手动劳动需求，当前的NAS系统经常使用不可靠的代理来估计硬件特定的指标，如推理时间、内存消耗和能量消耗。开发可靠的工具来估计这些硬件特定指标，而无需实际部署，可以显著提高TinyML的NAS性能。

7. 标准化工作：

   • 论文最后指出，TinyML从研究和业余项目过渡到大规模专业部署的最大障碍之一是缺乏标准化。标准化工作可以通过简化TinyML解决方案的部署来促进这一转变。论文认为，模型格式（如ONNX）和优化方法（如量化和剪枝）的标准化工作可能特别有益。

结论： 总结了TinyML在PdM中的潜力，并强调了本文提供的全面视角，以帮助新从业者或研究人员快速了解该领域的最新发展。同时指出了本文的局限性，并建议了未来研究的方向。