当前位置：首页 > article >正文

LLM大模型中的基础数学工具—— 信号处理与傅里叶分析

article 2025/9/28 23:07:31

Q51: 推导傅里叶变换 $\hat{f}(\xi) = \int_{-\infty}^{\infty} f(x) e^{-2\pi i x \xi} dx$ 的 Parseval 定理

傅里叶变换的 Parseval 定理揭示了啥关系？

Parseval 定理揭示了傅里叶变换中时域与频域的能量守恒关系，即信号在时域的总能量等于其在频域的总能量。这就好比一个物体无论从哪个角度称重，重量始终不变，确保了信号在不同域表示时的能量一致性。

推导过程

Parseval 定理的数学形式为： $\int_{-\infty}^{\infty} |f(x)|^2 dx = \int_{-\infty}^{\infty} |\hat{f}(\xi)|^2 d\xi$ 。从右边开始推导： $\begin{aligned} \int_{-\infty}^{\infty} |\hat{f}(\xi)|^2 d\xi &= \int_{-\infty}^{\infty} \hat{f}(\xi) \overline{\hat{f}(\xi)} d\xi \\ &= \int_{-\infty}^{\infty} \left( \int_{-\infty}^{\infty} f(x) e^{-2\pi i x \xi} dx \right) \left( \int_{-\infty}^{\infty} \overline{f(y)} e^{2\pi i y \xi} dy \right) d\xi \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \overline{f(y)} f(x) \left( \int_{-\infty}^{\infty} e^{2\pi i (y - x)\xi} d\xi \right) dx dy \\ &= \int_{-\infty}^{\infty} \overline{f(y)} f(x) \delta(x - y) dx dy \\ &= \int_{-\infty}^{\infty} |f(x)|^2 dx \end{aligned}$ 这里利用了 $\int_{-\infty}^{\infty} e^{2\pi i (y - x)\xi} d\xi = \delta(x - y)$ （狄拉克函数，在 $x = y$ 时为无穷大，否则为 0），最终左边等于右边，定理得证。

在 LLM 中的使用

在 LLM 的训练数据预处理中，若输入包含音频，可通过 Parseval 定理检测数据是否异常。例如，某段音频在时域能量正常但频域异常，可能存在噪声或损坏。在文本生成的注意力机制中，该定理可类比为信息在不同表示空间的能量守恒，确保信息完整性。

代码示例

import numpy as np  
import matplotlib.pyplot as plt  
# 生成一个模拟音频信号（假设为某个词的发音片段）  
x = np.linspace(-1, 1, 1000)  
f = np.exp(-(x ** 2) / 0.5)  # 模拟音频的时域信号  
# 计算傅里叶变换  
f_hat = np.fft.fftshift(np.fft.fft(f))  
xi = np.fft.fftshift(np.fft.fftfreq(len(x), x[1] - x[0]))  
# 计算时域能量  
energy_time = np.sum(np.abs(f) ** 2) * (x[1] - x[0])  
# 计算频域能量  
energy_freq = np.sum(np.abs(f_hat) ** 2) * (xi[1] - xi[0])  
print(f"时域能量: {energy_time:.4f}")  
print(f"频域能量: {energy_freq:.4f}")

代码解释：生成一个模拟音频信号 f，通过 FFT 计算其频域表示 $f\_hat$ 。分别计算时域和频域能量，验证 Parseval 定理。这有助于在 LLM 处理音频输入时，确保能量一致性，提升语音识别或生成的准确性。

Q52: 证明卷积定理 $F\{f * g\} = F\{f\} \cdot F\{g\}$

卷积定理在傅里叶变换中有啥关键作用？

卷积定理表明，时域的卷积操作对应频域的乘积操作。这在 LLM 处理序列数据时非常关键，例如文本中的词与词的关联（卷积）可以转换到频域分析，大大简化计算复杂度。

证明过程

设 $(f * g)(x) = \int_{-\infty}^{\infty} f(t) g(x - t) dt$ （卷积的定义，即将 g 翻转后在 f 上滑动相乘积分），对其进行傅里叶变换： $\begin{aligned} F\{f * g\}(\xi) &= \int_{-\infty}^{\infty} (f * g)(x) e^{-2\pi i x \xi} dx \\ &= \int_{-\infty}^{\infty} \left( \int_{-\infty}^{\infty} f(t) g(x - t) dt \right) e^{-2\pi i x \xi} dx \\ &= \int_{-\infty}^{\infty} f(t) \left( \int_{-\infty}^{\infty} g(x - t) e^{-2\pi i x \xi} dx \right) dt \\ &= \int_{-\infty}^{\infty} f(t) e^{-2\pi i t \xi} \left( \int_{-\infty}^{\infty} g(u) e^{-2\pi i u \xi} du \right) dt \\ &= F\{f\}(\xi) \cdot F\{g\}(\xi) \end{aligned}$ 令 $u = x - t$ ，交换积分次序后，就得到了频域相乘的结果，证明了卷积定理。

在 LLM 中的使用

在 LLM 的卷积神经网络（CNN）层处理文本时，卷积核与输入特征的卷积可转换为频域相乘，加速计算。例如，在文本分类中，通过频域分析提取关键特征，提升分类效率。

代码示例

import numpy as np  
import matplotlib.pyplot as plt  
# 生成两个信号（模拟文本特征）  
x = np.linspace(-5, 5, 1000)  
f = np.exp(-(x ** 2) / 2)  
g = np.exp(-(x ** 2) / 8)  
# 计算时域卷积  
conv_time = np.convolve(f, g, 'same')  
# 计算傅里叶变换  
f_hat = np.fft.fft(f)  
g_hat = np.fft.fft(g)  
conv_freq = np.fft.ifft(f_hat * g_hat)  
# 对比结果  
plt.plot(x, conv_time, label='时域卷积')  
plt.plot(x, np.real(conv_freq), label='频域相乘逆变换')  
plt.legend()  
plt.show()

代码解释：生成两个模拟文本特征的信号 f 和 g，分别计算时域卷积和频域相乘逆变换的结果，验证卷积定理。这有助于 LLM 在处理文本特征时，选择更高效的计算方式。

Q53: 分析离散傅里叶变换（DFT）的频域采样性质

DFT 的频域采样在 LLM 中如何助力数据处理？

DFT 的频域采样性质指频域样本对应时域信号的周期延拓。在 LLM 处理变长文本或音频时，可通过频域采样压缩数据，保留关键信息，减少计算量。

分析过程

设 $x[n]$ 是长度为 N 的离散信号，DFT 为 $X[k] = \sum_{n=0}^{N-1} x[n] e^{-2\pi i k n / N}$ 。若频域采样 $X[kM]$ （M 为间隔），相当于 $x[n]$ 周期延拓为 $N/M$ 。频域采样间隔 M 决定时域延拓周期，数学上可通过 DFT 的定义和周期性证明。例如，若 $N = 100$ ， $M = 5$ ，则时域信号会被延拓成周期为 20 的信号。

在 LLM 中的使用

在 LLM 处理音频文本对时，对音频 DFT 频域采样，减少数据量，同时保留关键频率信息，提升处理效率。例如，在语音识别中，先对音频进行频域采样，再输入模型，加快处理速度。

代码示例

import numpy as np  
import matplotlib.pyplot as plt  
# 生成离散信号（模拟音频片段）  
N = 100  
n = np.arange(N)  
x = np.sin(2 * np.pi * 5 * n / N) + 0.5 * np.sin(2 * np.pi * 12 * n / N)  
# 计算DFT  
X = np.fft.fft(x)  
# 频域采样（每隔5点采样）  
M = 5  
X_sampled = X[::M]  
# 计算逆DFT  
x_recon = np.fft.ifft(X_sampled)  
x_recon = np.concatenate([x_recon] * M)[:N]  
plt.plot(n, x, label='原信号')  
plt.plot(n, x_recon, label='频域采样逆变换信号')  
plt.legend()  
plt.show()

代码解释：生成含两个频率成分的离散信号 x，计算 DFT 后频域采样，逆变换观察时域效果。这模拟了 LLM 处理音频时的采样压缩过程，验证频域采样性质的实际应用。

Q54: 推导小波变换（Wavelet Transform）的多分辨率分析公式

小波变换的多分辨率分析如何助力 LLM 特征提取？

小波变换的多分辨率分析可将信号分解为不同频率分辨率的部分，在 LLM 处理图像或音频输入时，先粗后细分析特征，提升模型对细节的捕捉能力。就像用不同倍数的放大镜观察物体，先看整体再看局部。

推导过程

多分辨率分析满足 $V_j \subset V_{j+1}$ ，其中 $V_j$ 由尺度函数 $\phi_{j,k}(x) = 2^{j/2} \phi(2^j x - k)$ 张成（ $\phi$ 是尺度函数，如常见的 Daubechies 尺度函数），而 $W_j$ （ $V_{j+1}$ 中 $V_j$ 的补空间）由小波函数 $\psi_{j,k}(x) = 2^{j/2} \psi(2^j x - k)$ 张成。信号 $f(x) \in V_{j+1}$ 可分解为： $f(x) = \sum_k c_{j,k} \phi_{j,k}(x) + \sum_k d_{j,k} \psi_{j,k}(x)$ 其中 $c_{j,k} = \langle f, \phi_{j,k} \rangle$ （尺度系数，反映粗尺度信息）， $d_{j,k} = \langle f, \psi_{j,k} \rangle$ （小波系数，反映细节信息）。通过尺度函数的双尺度方程 $\phi(x) = \sum_k h_k \phi(2x - k)$ （ $h_k$ 是低通滤波器系数）和小波函数与尺度函数的关系 $\psi(x) = \sum_k g_k \phi(2x - k)$ （ $g_k$ 是高通滤波器系数），可以递推计算不同尺度的系数，实现多分辨率分解。

在 LLM 中的使用

在 LLM 处理图像生成时，小波多分辨率分析可先处理整体图像结构（粗尺度），再细化纹理细节（细尺度）。处理音频时，分离不同频率成分，提升语音识别准确性。例如，在生成高分辨率图像时，先确定大致轮廓，再逐步添加细节；在语音识别中，先捕捉低频的语音轮廓，再分析高频的细节特征。

代码示例

import pywt  
import numpy as np  
import matplotlib.pyplot as plt  
# 生成信号（模拟图像边缘信息或音频特征）  
x = np.linspace(0, 1, 1024)  
signal = np.sin(2 * np.pi * 10 * x) + 0.5 * np.sin(2 * np.pi * 30 * x)  
# 进行小波多分辨率分析（用db1小波，分解3层）  
coeffs = pywt.wavedec(signal, 'db1', level=3)  
# 重构信号  
rec_signal = pywt.waverec(coeffs, 'db1')  
plt.plot(x, signal, label='原信号')  
plt.plot(x, rec_signal, label='重构信号（多分辨率）')  
plt.legend()  
plt.show()

代码解释：使用 PyWavelets 库对信号进行 3 层 db1 小波分解与重构。原信号包含 10Hz 和 30Hz 成分，重构信号会综合各尺度信息。运行代码会发现，重构信号与原信号相似，但经过多分辨率处理后，能更清晰地展示不同尺度的特征，模拟 LLM 处理图像或音频时的特征提取与重建过程。

Q55: 验证 Nyquist - Shannon 采样定理的重构条件

Nyquist - Shannon 采样定理如何保障 LLM 输入质量？

Nyquist - Shannon 采样定理是信号采样的 “黄金法则”：如果采样频率至少是信号最高频率的两倍，那么就可以从采样点无失真地重构原信号。在 LLM 处理音频或图像输入时，遵循此定理可避免信息丢失，确保输入质量。

验证过程

设信号 $f(t)$ 最高频率为 B，采样频率 $f_s = 2B$ ，采样信号 $f_s(t) = \sum_{n=-\infty}^{\infty} f(nT) \delta(t - nT)$ （ $T = 1/f_s$ 是采样间隔）。其傅里叶变换 $F_s(\xi) = \frac{1}{T} \sum_{k=-\infty}^{\infty} F(\xi - kf_s)$ （频谱发生周期延拓）。通过理想低通滤波器 $H(\xi)$ （截止频率 B，增益 T），输出 $F(\xi) H(\xi)$ ，逆变换得： $f(t) = \sum_{n=-\infty}^{\infty} f(nT) \frac{\sin(\pi (t - nT)/T)}{\pi (t - nT)/T}$ 这就是 sinc 插值公式，只要采样频率满足定理，就能无失真重构原信号。

在 LLM 中的使用

音频 CD 的采样率定为 44.1kHz，因为人耳能听到的最高频率约 20kHz，44.1kHz 满足两倍要求。在 LLM 处理音频输入时，按此定理采样确保语音识别准确。处理图像时，避免混叠现象（如摩尔纹），保证图像生成质量。例如，在训练图像生成模型时，确保采样符合定理，避免生成图像出现失真。

代码示例

import numpy as np  
import matplotlib.pyplot as plt  
# 原信号（5Hz正弦波）  
t = np.linspace(-1, 1, 1000)  
f = np.sin(2 * np.pi * 5 * t)  
# 采样频率（12Hz，高于10Hz）  
fs = 12  
Ts = 1 / fs  
n = np.arange(-10, 10)  
t_sampled = n * Ts  
f_sampled = np.sin(2 * np.pi * 5 * t_sampled)  
# 重构信号（sinc插值）  
t_recon = np.linspace(-1, 1, 1000)  
f_recon = np.zeros_like(t_recon)  
for n_val in n:  f_recon += f_sampled[n_val + 10] * np.sin(np.pi * (t_recon - n_val * Ts) / Ts) / (np.pi * (t_recon - n_val * Ts) / Ts)  
plt.figure(figsize=(10, 5))  
plt.plot(t, f, label='原信号')  
plt.plot(t_recon, f_recon, label='重构信号')  
plt.legend()  
plt.show()

代码解释：生成 5Hz 的正弦波，以 12Hz 采样（满足定理）。通过 sinc 插值重构信号，运行代码会发现，重构信号与原信号几乎完全重合，验证了定理的正确性，确保 LLM 处理音频输入时的准确性。

Q56: 分析快速傅里叶变换（FFT）的递归分治复杂度 $O(N log N)$

FFT 的高效复杂度如何助力 LLM 处理大数据？

FFT 是 DFT 的 “快速通道”，它通过分治策略，把原本 $O(N^2)$ 复杂度的 DFT 运算降到 $O(N log N)$ 。在 LLM 处理海量文本或音频数据时，这种高效性至关重要，能大幅减少计算时间。

分析过程

设 $N = 2^m$ （为简化，假设 N 是 2 的幂），FFT 将 N 点 DFT 分解为两个 $N/2$ 点 DFT，递归公式为 $T(N) = 2T(N/2) + O(N)$ 。展开这个递归： $\begin{aligned} T(N) &= 2(2T(N/4) + O(N/2)) + O(N) \\ &= 4T(N/4) + 2O(N) \\ &\vdots \\ &= O(N log N) \end{aligned}$ 每一级递归都需要处理 $O(N)$ 的操作（如蝶形运算），而总共有 log N 级递归（因为每次规模减半），所以总复杂度是 $O(N log N)$ 。

在 LLM 中的使用

在实时音频处理中，FFT 能快速计算音频的频谱，实现实时音效调整，如在语音交互应用中实时分析用户语音的频谱特征。在雷达信号处理或大规模文本的频谱分析中，FFT 的高效性使得实时处理成为可能，例如在文本分类中快速提取文本的频率特征。

代码示例

import numpy as np  
import time  
# 测试不同N下FFT的计算时间  
Ns = [1024, 2048, 4096, 8192]  
for N in Ns:  x = np.random.randn(N)  # 生成随机信号  start = time.time()  np.fft.fft(x)  # 计算FFT  end = time.time()  print(f"N = {N}, 计算时间: {end - start:.6f} 秒")

代码解释：对不同长度 N 的随机信号进行 FFT 计算，记录时间。运行代码会发现，随着 N 翻倍，时间大约增加 log N 倍，验证了 $O(N log N)$ 的复杂度。例如，N 从 1024 到 2048，时间不会翻倍，而是增加约 $log 2 = 1$ 倍左右（实际因系统差异略有不同，但趋势一致），确保 LLM 处理数据的高效性。

Q57: 推导滤波器设计中的 Z 变换极点稳定性条件

Z 变换极点稳定性如何确保 LLM 滤波器可靠？

在滤波器设计中，Z 变换 $H(z) = \sum_{n=0}^{\infty} h(n) z^{-n}$ 的极点位置决定了滤波器是否稳定。稳定的滤波器能保证输入有界信号，输出也有界（BIBO 稳定），这对 LLM 处理音频或图像的滤波操作至关重要。

推导过程

系统稳定要求 $\sum_{n=0}^{\infty} |h(n)| < \infty$ （单位脉冲响应绝对可和）。对于因果系统（输出只取决于当前和过去输入）， $H(z)$ 的收敛域是 $|z| > r$ 。稳定的条件是所有极点都在单位圆内（ $|z| < 1$ ）。假设 $H(z) = \frac{b(z)}{a(z)}$ ，其中 $a(z) = 1 + a_1 z^{-1} + \dots + a_N z^{-N}$ ，极点是 $a(z) = 0$ 的根。如果每个根 $|z_k| < 1$ ，则系统稳定。例如，对于 $H(z) = \frac{1}{1 - 0.5 z^{-1}}$ ，极点 $z = 0.5$ 在单位圆内，系统稳定。

在 LLM 中的使用

设计低通滤波器去除音频噪声时，需检查极点是否在单位圆内，否则滤波器可能会发散，导致降噪失败。在双线性变换法设计 IIR 滤波器时，调整参数确保极点位置正确，避免系统不稳定。例如，在 LLM 处理音频输入时，设计稳定的滤波器去除背景噪声，确保语音清晰。

代码示例

import numpy as np  
import matplotlib.pyplot as plt  
# 定义滤波器分母系数（比如1 - 1.5z^{-1} + 0.7z^{-2}）  
a = [1, -1.5, 0.7]  
# 计算极点  
pole = np.roots(a[::-1])  # 注意系数顺序，np.roots求多项式根  
print(f"极点: {pole}")  
# 检查稳定性  
is_stable = np.all(np.abs(pole) < 1)  
print(f"滤波器是否稳定: {is_stable}")  
# 绘制极点和单位圆  
plt.figure(figsize=(6, 6))  
plt.plot(np.real(pole), np.imag(pole), 'ro', label='极点')  
theta = np.linspace(0, 2 * np.pi, 100)  
plt.plot(np.cos(theta), np.sin(theta), 'b', label='单位圆')  
plt.axis('equal')  
plt.legend()  
plt.show()

代码解释：定义滤波器的分母系数 a，计算极点并判断是否在单位圆内。运行代码会绘制出极点和单位圆，直观展示稳定性。如果极点都在单位圆内，输出 “True”，否则 “False”，确保 LLM 中滤波器设计的可靠性。

Q58: 证明维纳滤波（Wiener Filter）的最小均方误差解

维纳滤波如何提升 LLM 处理噪声数据的能力？

维纳滤波是从含噪信号中恢复原信号的 “魔法镜”，它通过最小化均方误差（MSE）来找到最佳的滤波方式，在 LLM 处理噪声数据（如含噪音频或图像）时，能有效提升输入质量。

证明过程

设含噪信号 $y(t) = x(t) + n(t)$ （ $x(t)$ 是原信号， $n(t)$ 是噪声），维纳滤波器输出 $\hat{x}(t) = \int_{-\infty}^{\infty} h(\tau) y(t - \tau) d\tau$ 。均方误差 $e^2 = E[(x(t) - \hat{x}(t))^2]$ 。在频域中： $\begin{aligned} E[(X(\omega) - H(\omega) Y(\omega))^2] &= \int_{-\infty}^{\infty} |X(\omega) - H(\omega)(X(\omega) + N(\omega))|^2 \frac{d\omega}{2\pi} \\ \end{aligned}$ 对 $H(\omega)$ 求导并令导数为 0（求最小值）： $\frac{\partial e^2}{\partial H(\omega)} = 0 \Rightarrow H(\omega) = \frac{S_{xx}(\omega)}{S_{xx}(\omega) + S_{nn}(\omega)}$ 其中 $S_{xx}(\omega)$ 是原信号功率谱， $S_{nn}(\omega)$ 是噪声功率谱。这表明，维纳滤波器的频域响应由信号和噪声的功率谱决定。

在 LLM 中的使用

在语音通话中，背景噪声会干扰语音，维纳滤波可以根据语音和噪声的功率谱，自动调整滤波系数，去除噪声保留清晰语音，提升 LLM 的语音识别准确率。在图像去噪中，区分图像信号和噪声的功率谱，去除噪声点，保留图像细节，提高 LLM 处理图像的质量。

代码示例

import numpy as np  
import matplotlib.pyplot as plt  
from scipy.signal import wiener  
# 生成原信号（模拟语音）  
t = np.linspace(0, 1, 1000)  
x = np.sin(2 * np.pi * 5 * t)  
# 加噪声（高斯白噪声）  
n = 0.5 * np.random.randn(len(t))  
y = x + n  
# 应用维纳滤波（窗口大小31，可调整）  
x_hat = wiener(y, mysize=31)  
plt.figure(figsize=(10, 5))  
plt.plot(t, y, label='含噪信号')  
plt.plot(t, x_hat, label='维纳滤波输出')  
plt.plot(t, x, label='原信号')  
plt.legend()  
plt.show()

代码解释：生成正弦波 x，加入噪声得到 y。使用 scipy 的 wiener 函数进行滤波，调整窗口大小可以控制去噪效果。运行代码会发现，滤波后的信号 $x\_hat$ 接近原信号 x，噪声被有效去除，展示了维纳滤波在 LLM 处理噪声数据时的实际应用效果。

LLM大模型中的基础数学工具—— 信号处理与傅里叶分析

Q51: 推导傅里叶变换 $\hat{f}(\xi) = \int_{-\infty}^{\infty} f(x) e^{-2\pi i x \xi} dx$ 的 Parseval 定理

Q52: 证明卷积定理 $F\{f * g\} = F\{f\} \cdot F\{g\}$

Q53: 分析离散傅里叶变换（DFT）的频域采样性质

Q54: 推导小波变换（Wavelet Transform）的多分辨率分析公式

Q55: 验证 Nyquist - Shannon 采样定理的重构条件

Q56: 分析快速傅里叶变换（FFT）的递归分治复杂度 $O(N log N)$

Q57: 推导滤波器设计中的 Z 变换极点稳定性条件

Q58: 证明维纳滤波（Wiener Filter）的最小均方误差解

相关文章：