面向参数高效边缘语言模型的正交基分解映射

正交基分解作者：李金雨标题建议《OBDM: Orthogonal Basis Decomposition Mapping for Parameter-Efficient Edge Language Models》中文标题：《OBDM：面向参数高效边缘语言模型的正交基分解映射》摘要 (Abstract)大型语言模型在移动设备和边缘计算场景中的部署受限于巨大的参数量和计算需求。本文提出正交基动态分解映射（Orthogonal Basis Decomposition Mapping, OBDM），一种通过低维正交基压缩全局特征交互的新型机制。OBDM将序列特征投影到一组可学习的正交基上，在基空间完成特征变换后反投影回原空间，将复杂度从O(n²d)降至O(nkd)，其中k为基数量（k n）。与标准自注意力相比，OBDM减少75%的参数量，在保持95%以上性能的同时实现3-5倍推理加速。实验表明，OBDM在端侧问答、设备端翻译等任务上达到与标准Transformer相当的准确率，为资源受限场景下的大模型部署提供了可行方案。关键词：边缘计算、模型压缩、正交基、轻量化、移动NLP1. 引言 (Introduction)1.1 研究背景大模型在移动设备上的需求增长（手机助手、离线翻译）标准Transformer的参数量和计算开销现有压缩方法的局限性（量化损失、剪枝不稳定）1.2 核心思想从"全连接"到"低维投影"的范式转变正交基的正则化作用可控的复杂度-性能权衡1.3 主要贡献提出OBDM机制，首个基于正交基的序列特征交互方法理论证明正交约束下的特征保持能力在端侧设备上实现3-5倍加速，参数量减少75%开源边缘友好的模型实现2. 相关工作 (Related Work)2.1 模型压缩知识蒸馏 (Hinton et al., 2015)量化 (Jacob et al., 2018)剪枝 (Han et al., 2015)2.2 高效TransformerMobileBERT (Sun et al., 2020)DistilBERT (Sanh et al., 2019)TinyBERT (Jiao et al., 2020)2.3 低秩近似Linformer (Wang et al., 2020)Low-Rank Transformer (Winata et al., 2020)Tensor-Train Decomposition2.4 与现有方法的区别OBDM使用可学习正交基，而非固定投影正交约束提供理论保证支持端到端训练，无需预训练大模型3. 方法 (Method)3.1 问题定义标准自注意力：Attention(Q,K,V) = softmax(QK^T/√d)V 参数: 4d² (Q,K,V,O投影) 计算: O(n²d)OBDM的目标：在O(nkd)复杂度下实现全局交互，k n 减少参数量，保持表达能力3.2 正交基理论基础3.2.1 正交基定义B = [b_1, b_2, ..., b_k] ∈ R^{d×k} 满足: B^T B = I_k (正交性)3.2.2 投影与反投影# 投影到基空间C=X · B# [n, d] @ [d, k] = [n, k]# 在基空间变换C'=Transform(C)# [n, k]# 反投影回原空间Y=C' · B^T# [n, k] @ [k, d] = [n, d]3.3 OBDM架构3.3.1 可学习正交基classOrthogonalBasis(nn.Module):def__init__(self,d_model,num_bases):super().__init__()