基于深度学习的“语义通信编解码技术”框架分类

---

基于神经网络的语义提取

  在现有的信源编码前端加上一个语义提取神经网络[53] ，如图所示。语义提取神经网络的输入是原始数据，输出是提取出的语义信息，也即原始数据的部分特征信息。换句话说，该语义提取神经网络相当于对原始数据进行预处理。随后，这些被提取出的语义信息分别通过信源编码和信道编码。这种方案也具有易更改的优点，也是四种方案中对现有通信系统改变最少的。

这种方案虽然改动最少，但更像是CV、NLP的工作，与通信又有什么关系呢

---

基于神经网络的语义信源编码

  使用语义信源编译码器替换传统通信中的信源编译码器[1] ，如图所示。这种系统采用信源信道编码分离式架构设计，信道编码只与信道条件有关，语义编码只与语义信息源有关。该方案的优点是当环境变化时神经网络更改所需额外通信开销较低。例如，当语义信息源的分布变化时，只需在发送端本地重新训练编码器神经网络并向接收端同步神经网络参数即可，不需要收发两端互相通信进行联合训练；而当信道条件变化时，只需改变信道编码即可。

语义信源编码就叫这个名字，并非是语义-信源联合编码

---

基于神经网络的语义信源信道联合编码

  利用神经网络对语义提取、信源编码和信道编码进行联合设计，实现端到端系统框架[2] ，如图所示。语义编码器神经网络的输入包括发射端信号和其他信息，例如语义知识库、信道条件等，其输出常为浮点数，直接送入信道进行传输。接收端采用语义译码器神经网络进行译码，得到原始数据的含义。这种端到端系统设计方案的优点是利用到了码长有限长的情况下信源信道联合编码优于分离编码这一特点。具体而言，发送端通过保留一部分信号中的冗余信息实现对发送信号的保护；接收端在训练阶段，通过引入反馈机制，将信道对信号的影响反馈到接收端，从而实现信源信道的联合编码。

---

基于神经网络的语义编码与数字调制联合设计

  对语义提取、编码与调制使用神经网络进行联合设计，实现端到端数字语义通信[4] ，如图所示。发送端使用神经网络联合设计语义编码与调制，学习信源数据到星座符号的转移概率，并根据所学到的概率进行随机调制，产生离散的数字调制符号序列，然后送入信道传输。接收端将接收信号送入语义解调-解码联合神经网络中进行解码，得到原始数据的含义。该方案通过将调制技术纳入语义通信系统的端到端学习过程，既可以保留端到端系统设计相比于模块化系统。

---

参考文献

全文参考 IMT-2030(6G)《语义通信及语义认知网络架构研究》
[1] A new communication paradigm: From bit accuracy to semantic fidelity
[2] What is semantic communication? A view on conveying meaning in the era of machine intelligence
[3] Deep learning-enabled semantic communication systems with task-unaware transmitter and dynamic data
[4] Learning Based Joint Coding-Modulation for Digital Semantic Communication Systems

---