【深度学习|特征增强模块】FFN（前馈神经网络）和E_FFN（增强型前馈神经网络）是transformer特征增强的重要组成部分！

【深度学习|特征增强模块】FFN（前馈神经网络）和E_FFN（增强型前馈神经网络）是transformer特征增强的重要组成部分！

【深度学习|特征增强模块】FFN（前馈神经网络）和E_FFN（增强型前馈神经网络）是transformer特征增强的重要组成部分！

---

---

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz

FFN 和 E_FFN 的作用与区别

1. FFN（前馈神经网络）

功能：

FFN 是一种基础的全连接前馈神经网络。它由两层全连接层（Linear Layer）和一个激活函数（GELU）组成，通常用于神经网络的中间层进行非线性变换，增加模型的表达能力。

过程：

• 输入通过第一层全连接层（fc1）将输入的特征维度 in_features 映射 hidden_features。
• 然后经过激活函数（act），此处使用的是 GELU 激活函数，进行非线性变换。
• 然后通过第二层全连接层（fc2）将特征维度从 hidden_features 映射回 out_features。
• 最后，可能会应用 Dropout 来避免过拟合。

使用场景

FFN 在许多深度学习模型中作为基础模块，广泛应用于Transformer架构、MLP（多层感知器）等结构中，主要用于处理非线性关系和高维特征之间的映射。

代码示例：

class FFN(nn.Module):def __init__(self, in_features, hidden_features=None, out_features=None, drop=0.):super(FFN, self).__init__()out_features = out_features or in_featureshidden_features = hidden_features or in_features# 第一层全连接层self.fc1 = nn.Linear(in_features, hidden_features)  # in_features = 512, hidden_features = 128# 激活函数 (使用GELU)self.act = nn.GELU()# 第二层全连接层self.fc2 = nn.Linear(hidden_features, out_features)  # hidden_features = 128, out_features = 512# Dropout层self.drop = nn.Dropout(drop)def forward(self, x):x = self.fc1(x)  # 输入经过第一层x = self.act(x)  # 激活函数x = self.fc2(x)  # 输入经过第二层x = self.drop(x)  # 如果drop值大于0，应用dropoutreturn x

2. E_FFN（增强型前馈神经网络）

功能：

E_FFN 是对 FFN 的增强版本，通过卷积层和批归一化层增强其能力。与 FFN 主要依赖全连接层不同，E_FFN 引入了卷积操作，使其更适合处理空间结构数据（如图像或多维特征）。

过程：

• fc1 是一个卷积操作（ConvBNReLU），通过 1x1 卷积层将输入的通道数 in_channels 映射到 hidden_channels，并进行批归一化和激活。
• conv1 和 conv2 是基于输入特征的卷积操作，使用不同的卷积核大小（ksize 和 3x3）进行处理。
• 最后通过 fc2 将卷积操作的结果映射回 out_features，并通过激活函数（如 ReLU6）进行非线性变换。

使用场景：

E_FFN 是 FFN 的改进版本，特别适用于具有空间特征的任务（如图像处理、语义分割等），因为它使用了卷积操作，可以捕捉空间结构信息和局部特征。

代码示例：

class E_FFN(nn.Module):def __init__(self, in_features, hidden_features=None, out_features=None, ksize=5, act_layer=nn.ReLU6, drop=0.):super(E_FFN, self).__init__()out_features = out_features or in_featureshidden_features = hidden_features or in_featuresself.fc1 = ConvBNReLU(in_channels=in_features, out_channels=hidden_features, kernel_size=1)self.conv1 = ConvBNReLU(in_channels=hidden_features, out_channels=hidden_features, kernel_size=ksize,groups=hidden_features)self.conv2 = ConvBNReLU(in_channels=hidden_features, out_channels=hidden_features, kernel_size=3,groups=hidden_features)self.fc2 = ConvBN(in_channels=hidden_features, out_channels=out_features, kernel_size=1)self.act = act_layer()self.drop = nn.Dropout(drop)def forward(self, x):x = self.fc1(x)x1 = self.conv1(x)x2 = self.conv2(x)x = self.fc2(x1 + x2)x = self.act(x)return x

3. FFN 与 E_FFN 的区别

总结

• FFN 是一个基础的前馈神经网络，适用于处理一般的输入数据，如结构化数据或者经过预处理的特征。
• E_FFN 是对 FFN 的扩展，采用卷积操作使其能够更好地处理具有空间结构的输入数据，适合处理图像、视频或其他具有空间信息的任务。

交通运输、机电主题会议

第六届国际科技创新学术交流大会（IAECST 2024） 暨第四届物流系统与交通运输国际学术会议（LSTT 2024）

• 12月6-8日，广州
• 主办单位：IEEE PES智慧楼宇、负载和客户支持系统卫星技术委员会（中国）、华南理工大学、广东省艾思信息化学术交流研究院、艾思科蓝
• 院士主席团。IEEE出版，IEEE Xplore、EI检索。征集交通运输工程、交通信息与控制、交通规划与管理、载运工具运用工程、隧桥/道路与铁路工程、物流系统与信息化技术、航空/航海/港口水运主题论文

第四届机电一体化与智能控制国际学术会议（MIC 2024）

• 12月27-29日，南昌
• 主办单位：华东交通大学
• 前身为“智慧交通、能源与动力国际学术会议(STEP)”，多位国内外专家报告。多届论文已检索，本届征集机电一体化、智能控制。仪器仪表、电气、航空航天等论文

2024年智能船舶与机电系统国际学术会议（ICISES 2024）

• 12月27-29日，广州
• 主办单位：广州航海学院、广东海洋大学、重庆交通大学、集美大学
• IEEE出版，征集船舶工程、机电工程、控制系统、传感器、3D打印等主题论文。多位学科带头人、学院院长等作主讲报告

测绘遥感、地质主题会议

第三届地理信息与遥感技术国际学术会议（GIRST 2024）

• 11月29日-12月1日，意大利罗马
• 主办单位：罗马第三大学
• 多届IEEE/SPIE出版，完成EI检索。欧洲会议现正征集论文，含地理信息、测量与测绘、遥感等主题论文

2024年遥感技术与图像处理国际学术会议（RSTIP 2024）

• 11月29-12月1日，大理
• 支持单位：浙江海洋大学信息工程学院、苏州科技大学地理科学与测绘工程学院、阿卜杜勒阿齐兹国王大学
• 多位国内外专家报告。征集遥感技术、图像处理技术及其领域应用等主题论文

数学、力学、物理主题会议

第五届应用力学与机械工程国际学术会议（ICAMME 2024）

• 12月20-22日，长沙
• 多位国内外专家报告。征集力学、材料建模、机械工程、智能控制、材料力学、机电一体化等主题论文

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！