论文信息搜集

系列博客目录

---

---

1.秩典型相关分析及其在视觉搜索重排序中的应用《Rank canonical correlation analysis and its application in visual search reranking》

摘要： 排名相关性信息广泛应用于信息检索模型中，如文本和多媒体检索、问答系统和视觉搜索重排序。然而，现有的特征降维方法忽略了这一潜在的有价值的监督信息。本文将传统类别标签中的成对约束扩展到排名相关性度量，提出了一种新的降维方法——Rank-CCA。Rank-CCA有效地将排名相关性约束融入标准的典型相关分析（CCA）算法中，并能够利用未标记和已标记数据的知识。在视觉搜索重排序的应用中，我们通过大量实验验证了该方法。实验结果表明，Rank-CCA优于标准的CCA和半监督CCA（Semi-CCA）算法，在保持低维特征优势的同时，达到了与几种先进重排序方法相当的性能。

结果：与规范秩无关，但可能有用

2.利用边信息的规范秩估计在多维谐波恢复中的应用《Canonical Rank Estimation Using Side Information, Application to Multidimensional Harmonic Retrieval》

摘要—本研究探讨了在多视角情境下对秩-R 典型多项式（Canonical Polyadic，CP）模型的秩估计问题。在这一情境中，我们假设拥有一组带噪声的张量重塑矩阵，并且这些重塑矩阵具有保持秩的性质。这意味着这些重塑矩阵的秩都是R。这在张量分解的背景下是非常典型的。我们的贡献是将问题重新表述为一种替代的、直观的形式，在这种形式下，利用一个特定的重塑矩阵来估计典型秩，并将其余重塑矩阵作为附加信息，在一个二分类程序中进行处理。我们的方法使得能够在带噪声的情境下估计典型秩，并在没有真实标签的情况下“验证”这一估计结果。最后，我们使用最小描述长度（MDL）准则在张量列式-分层奇异值分解（Tensor Train-Hierarchical SVD，TT-HSVD）算法的背景下说明了我们的方法，并将其应用于多维谐波信号恢复问题。

关键词—张量、秩、张量列式、估计、最小描述长度（MDL）、多线性代数、TT-SVD、TT-HSVD

3.ROBUST RANK CANONICAL CORRELATION ANALYSIS FOR MULTIVARIATE SURVIVAL DATA 多变量生存数据的鲁棒秩典型相关分析

全数学方面

3.being 搜索词 Tensor Rank Determination 张量秩确定

4.《具有自动秩确定的贝叶斯 CP 张量分解》Bayesian CP Factorization of Incomplete Tensors with Automatic Rank Determination

摘要：CANDECOMP/PARAFAC (CP) 张量分解在不完全数据中的应用是一种通过显式捕捉多线性潜在因子来进行张量补全的强大技术。现有的 CP 算法要求手动指定张量的秩，然而，张量秩的确定仍然是一个具有挑战性的问题，特别是在 CP 秩的情况下。此外，现有方法没有考虑潜在因子的的不确定性信息以及缺失条目的影响。为了解决这些问题，我们使用层次化概率模型来表述 CP 分解，并通过将稀疏性诱导先验纳入多个潜在因子，并对所有超参数引入适当的超先验，采用完全贝叶斯处理，从而实现自动的秩确定。为了学习该模型，我们开发了一种高效的确定性贝叶斯推理算法，其数据规模呈线性扩展。我们的方法特点是无调参的方式，能够有效地推断具有低秩约束的潜在多线性因子，同时提供对缺失条目的预测分布。通过对合成数据的广泛模拟，证明了我们的方法能够恢复 CP 秩的真实值，并有效防止过拟合问题，即使在缺失大量条目的情况下也能保持良好的性能。此外，来自真实世界应用的结果，包括图像修复和面部图像合成，表明我们的方法在预测性能上优于现有的最先进方法，既在张量分解也在张量补全方面取得了更好的效果。

《Towards Compact Neural Networks via End-to-End Training: A Bayesian Tensor Approach with Automatic Rank Determination 》2022 数学SCI2区

摘要
训练后模型压缩可以减少深度神经网络的推理成本，但未压缩的训练过程仍然消耗巨大的硬件资源和能源。为了在边缘设备上实现低能耗训练，直接从头开始训练一个紧凑型神经网络并且具备低内存消耗是非常理想的目标。低秩张量分解是一种有效的方法，用于减少大规模神经网络的内存和计算成本。然而，直接训练低秩张量化神经网络是一项非常具有挑战性的任务，因为很难事先确定一个合适的张量秩，而张量秩既控制模型的复杂度，也影响准确度。本文提出了一个新的端到端低秩张量化训练框架。我们首先开发了一个贝叶斯模型，支持多种低秩张量格式（如CP、Tucker、张量列式和张量列式矩阵），并在训练过程中自动确定秩，从而减少神经网络参数。接着，我们开发了一个定制的贝叶斯求解器，用于训练大规模张量化神经网络。我们的训练方法在实验中显示了几个数量级的参数减少，并且几乎没有准确度损失（甚至准确度更高）。在一个拥有超过4.2 × 10⁹个模型参数的超大深度学习推荐系统中，我们的方法能够在训练过程中自动将参数数量减少到1.6 × 10⁵（即减少了2.6 × 10⁴倍），同时实现几乎相同的准确度。

代码可在 https://github.com/colehawkins/bayesian-tensor-rank-determination 获取。

1. 引言
尽管深度神经网络在许多应用中取得了成功，但它们通常是过度参数化的，在训练和推理过程中需要大量的计算资源。例如，VGG-19网络在图像识别中需要500M的内存[1]，而现实中的深度学习推荐模型（DLRM）[2]则拥有数十亿个参数。为了在从云服务到嵌入式系统、移动应用等各种场景中部署这些模型，通常会在部署之前减少神经网络的规模。为了降低硬件成本，已经开发了许多在训练后构建紧凑型模型的技术[3, 4, 5]。典型的方法包括剪枝[5, 6]、量化[7, 8, 9]、知识蒸馏[10]以及低秩分解[11, 12, 13, 14, 15]。在这些技术中，低秩张量压缩[13, 14, 16, 17, 18, 19]可能实现了最显著的压缩，从而在减少FLOPS（浮点运算次数）和硬件成本方面取得了令人期待的成果[13, 20]。张量操作的算法/硬件协同设计的最新进展[20, 21]可以进一步降低运行时间并提高边缘设备（例如FPGA和ASIC）上张量化模型的能效。虽然训练后压缩技术可以减少部署深度神经网络的成本，但它们无法降低训练成本。