语义通信技术作为一种全新的通信范式，将助力未来通信网络实现由数据驱动向语义驱动的范式转变。语义通信理论首次由Shannon提出，语义通信被分为语法层次、语义层次和语用层次3个级别， 其中，语法层次的根本目的是准确无误地传输消息的符号/比特，其主要问题是解决发射机到接收机的符号传输。而语义层次则聚焦于传输符号如何准确地传达预期含义，此层次上实现的通信过程称为语义通信。而语用层次考虑的则是接收到的信息对于接收者目标的效用，更加注重传输的语义信息如何高效地实现预期目标，其主要目标是解决语义信息的效用性问题，此层次的通信一般称为目标导向的通信。

语义通信能够从源数据中提取与目标高度相关的语义特征信息，通过最小化语义上不相关信息，能够有效降低传输延迟，减少带宽与功耗等通信资源的开销。语义通信实现了从语法层到语义层的范式跃迁。

语义通信分类

在Shannon确定的3个通信层次中，语义通信的目标是将语义层次和语用层次整合到现有的通信系统的设计中，因此，可以考虑将语义通信分为3个类别，即面向语义的通信、面向目标的通信、语义感知通信。 如图1所示，基于数据的模态将语义通信分为单模态语义通信、跨模态语义通信及多模态融合语义通信3个类别。

单模态语义通信是指基于单一类型数据的语义信息传输系统，就目前语义通信的研究而言，围绕典型的文本、图像、语音、视频等模态。

在文本通信领域，语义通信技术突破了传统字符编码传输的局限，特别是在低带宽环境下，仅传输关键语义信息，而非完整句子，能够显著提升通信效率。 文本语义通信由Farsad等首次提出，该算法使用了固定的比特长度来编码不同长度的句子，会造成带宽浪费以及信息损失等问题。Rao等进一步开发出一种用于文本的可变长度联合信源和信道编码方案，能够将输入文本动态地编码为可变长度的传输符号。Xie等提出了一种基于Transformer的语义通信系统，来最大化系统容量并最小化语义错误。Xie等继续使用模型冗余修剪以及模型量化等技术对深度学习模型进一步压缩，以实现快速模型传输和低成本物联网设备的部署。Jiang等提出了一种混合自动重复请求方法，该方法能够进一步减少文本传输中的语义错误。Lu等设计了一种基于置信度的蒸馏机制，并提出了一种利用强化学习解决语义鸿沟的语义文本通信系统。Zhang等提出了一种基于掩码学习的多速率文本语义通信方案，实现具有高语义恢复性能的任意速率传输。

语音语义通信方面， Weng等设计了一种基于深度学习的语音语义通信系统，该方法将语音谱的每一帧看作图像，并利用卷积神经网络来压缩语音谱;Xiao等通过引入信道信噪比自适应机制，使单个模型也能够应用于各种信道状态。Tong等提出了一种基于联邦学习的方法，能够进一步提高语义提取的准确性。Weng等提出了一种基于注意力的语义通信系统，即使在信噪比较低的环境中仍能保持清晰的语义传达。Weng等还提出一种高鲁棒性的语音语义通信系统，通过传递基本的语义信息来实现语音传输。Zhou等提出一种端到端语音语义通信系统，在保留原始语义信息的同时有效地消除语义信号噪声。

深度学习的不断发展让图像领域也实现了智能化的语义特征提取，为远程医疗、自动驾驶等场景提供新的可能性。 Bourtsoulatze等提出了一种用于支持无线图像传输的联合信源信道编码的卷积神经网络模型，该模型可以在有限带宽和低信噪比条件下自适应地调整图像的重建质量;Kurka等则设计了一种具有多个不同压缩比的细化层的分层无线图像传输方案;Zhang等提出了一种用于图像传输的多级语义感知通信，其显示了诸如图像字幕信息的高级语义信息的重要性。Erdemir等研究了一种基于生成模型的图像语义传输联合信源信道编码方案，Huang等考虑了用于图像传输的语义通信系统。Peng等设计了一种利用多尺度语义信息来大大减轻语义损伤并增强语义保真度的图像语义通信系统。

视频语义通信技术则突破了时空冗余处理的瓶颈。 Jiang等提出了一种语义视频会议系统，通过用关键点表示人脸的语义来减少传输负载。Huang等针对点云视频数据量身定制的创新语义通信系统，采用轻量级的编解码器和关注区域选择，在资源受限的场景下实现实时解码和渲染。

跨模态语义通信

语义通信作为一种全新的通信范式，通过提取多模态信号中的紧凑语义信息，能够实现不同模态间的语义关联，进而实现高效的跨模态语义通信。 但是，语义本身具有多义性与歧义性，难以满足跨模态语义通信的可靠性要求。现有研究通过挖掘模态间潜在关联及构建语义公共信息库，已初步实现跨模态语义通信。Chen等提出如图2所示的跨模态语义通信框架，该框架通过整合跨模态语义关联，可以融合不同模态的数据进行传输。

跨模态语义通信通过挖掘不同模态间的内在关联来实现语义特征的高效表征与编码，从而突破模态间的传输壁垒并显著提升通信性能。 Weng等开发了一种语音识别语义通信系统，实现语音数据与文本数据的跨模态通信。Weng等还设计了一个用于实现语音识别和合成任务的语音语义通信系统，进一步探索了语音到文本翻译和语音到语音翻译任务。Xie等为机器翻译和视觉问答任务设计了一个面向任务的语义通信系统。Xie等也设计了一种能够针对任务进行多模态数据传输的视觉问答语义通信系统。Li等提出了一种跨模态知识图谱。Luo等提出了一种信道级信息融合的多模态信息融合方案，实现了在多种无线信道中的可靠传输。Pokhrel等则提出了一种域自适应散列方法，能够从多模态数据中提取语义。Qin等提出了一种能够从多模态源和无线信道中提取语义的新方法。Xie等设计了一种用于多模态数据的记忆辅助语义通信系统，以提高传输效率。Wang等提出了一个具有跨模态校准的深度学习语义通信系统，有效地利用了多模态信号之间的相关性来增强传输的鲁棒性;Jiang等设计了基于视觉语言模型构建的跨模态语义通信系统，实现基于文本语义引导的图像重构以降低带宽消耗;而另一项可编辑语义通信技术则支持用户对文本−图像语义进行个性化编辑与传输。然而现有研究在将跨模态信息深度整合到联合信源信道编码(JSCC)框架方面仍存在明显不足。

多模态语义通信

多模态深度融合语义通信主要以多模态语义对齐技术为核心，实现跨模态语义提取、关联建模、自适应编码等功能。 在未来6G场景下，多模态语义通信通过文本、语音、图像、视频等模态的深度融合、协同编码，推动人机交互从符号传输向单模态语义传输再到多模态融合语义传输的跃迁。GPT−4、Gemini、Llama等多模态大语言模型(MLLM)为多模态语义通信提供了统一的语义表征平台，能够整合来自文本、图像、音频等多种模态的信息，实现跨模态的语义对齐与生成。

Wang等提出了一种集成LLM的端到端可学习语义通信模型，该模型利用LLM的各种结构来设计语义编码器，在语义保真度、跨场景泛化和复杂性方面表现出优异的性能。Nam等提出了一种新的面向语言的语义通信框架，通过在上下文中学习侦听器的语言风格来生成侦听器定制的提示。Zhang等将预训练的基于LLM的编码器与定制的图形解码器相结合来生成语义。Zhao等引入了一个由LLMs驱动的语义通信系统，通过使用多模态特征重建原始视觉信息来扩展单峰传输系统并增强其泛化能力，进而提高传输质量。

多模态深度融合的语义通信系统可以通过语义图谱建模不同模态间的语义依存关系，实现不同模态语义特征融合。 Xing等提出了一种基于知识图谱的多模态语义表示与融合模型，能够利用知识图谱的结构优势融合多模态语义信息。而Li等则是提出了一种基于有向图的跨模态特征互补算法，缓解多模态融合中的异质性差距问题。

语义通信的使能技术

根据语义通信系统整体设计流程，语义通信的关键实现技术可以分为性能评估度量、收发端设计、资源管理3个方面， 这些技术将支撑语义通信实现通信双方在语义层次上相互沟通，推动现有通信从传统的符号/比特传输升级为语义传输，如图3所示。

语义通信性能评估度量

通信系统性能评估是通信系统设计的关键组成部分， 依赖于通信系统的性能指标，可以定量比较不同通信优化算法之间的性能优劣，并根据特定场景的性能需求实现差异化的算法优化。

不同模态数据的语义度量指标

由于传输数据模态的不同，用于衡量语义通信系统性能的度量存在着细微差别。 针对语义文本传输，现有许多文本语义度量方法对文本语义系统进行评估。如在一定程度上评估语义相似度的语义距离与词错误率(WER)，以及衡量2个语句之间的语义相似度的双语评估替补(BLEU)。另外，从传统通信的传输比特角度，Jiang等也引入了每句话的平均比特消耗作为文本语义通信度量。

针对语音数据而言，一般使用以下度量：WER、字元错误率(CER)、信号失真率(SDR)，以及语音质量感知评价(PESQ)。

对于图像数据而言，已经提出许多用于图像语义传输的语义度量方法。 像素级别的峰值信噪比用于量化期望图像信号的最大可能功率与期望重构信号的噪声功率之间的比率，结构级别的结构相似度用于评估源图像与重构图像的整体质量，多尺度结构相似度用于在各种分辨率下捕获图像的细节，以及学习感知图像块相似度、视觉转换分数均用于在语义级别上评估图像相似度。Peng等重点关注图像中由对抗性扰动引起的语义损伤，Fan等提出语义相似度评分来量化图像之间语义级的差异。由于视频是由多个图像帧构成的，一些图像数据的度量指标其实也能够用于视频数据，如峰值信噪比(PSNR)等。

面向资源分配的语义度量指标

基于传统通信架构的性能指标，结合语义通信的本质特点，可以考虑以下的面向资源分配的通用语义度量指标。

1)语义相似度。 语义相似度是衡量2段数据在含义上的相似程度的指标，不是简单地考虑词语间的匹配性，而是从语义层次评估两者是否表达相同或相近的含义。

2)语义传递速率。 在语义通信中，使用语义传递速率来衡量语义通信系统在单位时间内传递有效语义信息的效率，Yan等将语义传递速率定义为每秒内有效传输的语义信息量。

3)语义谱效率。 频谱效率是衡量传统通信系统在单位带宽内传输信息能力的核心指标，语义谱效率则被定义为语义信息可以在单位带宽上成功传输的速率。

4)语义互信息。 语义互信息旨在量化特定任务语义压缩过程中存在的语义级失真。语义级信息是最终被任务理解并包含在感知结果中的含义。

5)语义熵。 信息熵基于信源符号的统计特性来度量信息，而语义熵则是直接量化信源的语义信息，在资源分配中对语义通信效率的量化发挥着重要作用。

语义通信收发端设计

语义表征

语义通信的本质是语义信息的传输，通过只传输语义信息，语义通信能够实现用更少的数据生成更多的知识，而其中语义表征则是语义信息传输的第1步。随着语义通信的不断发展，语义信息可以根据语义表征算法的不同，表示为3种形式：基于深度学习的语义特征向量、基于知识图谱的实体关系网络，以及基于分层语义树的实体间层次网络。

1)基于深度学习的语义特征向量。 通过深度学习技术，可以将图像、文本等数据映射到语义空间，但基于深度学习的语义表征是需要针对特定的任务进行训练的，对于非目标任务的语义表征泛化能力较差，需要针对不同的任务进行相关深度学习模型的训练。

2)基于知识图谱的实体关系网络。 知识图谱是一种用于描述现实世界中的实体、属性及其相互关系的数据结构。通过实体对齐，能够实现多模态语义信息的跨源一致性和交互高效率。另外，可以将多模态原始数据的语义信息建模为知识图谱，进而序列化为三元组序列，以支持高效的知识传输与推理。

3)基于分层语义树的实体间层次网络。 分层语义树(HST)将实体组织成树形结构，根据实体之间的关系，分层语义树可以分为2类：一类是基于本体的HST，只包含严格的属性关系;另一类则是基于分类的HST，包含上下义关系。Wilks给出了此类元语义信息需满足的5大约束条件：有限性、全面性、独立性、非循环性、连续性。Zhong提出了一种基于HST的语义通信系统。Shi等则提供了一个包括视觉、听觉、嗅觉、味觉和触觉等人类基础感官的元语义信息的示例。Zhang等将元语义信息定义为语义通信网络的“语义基”，并解释了多模态数据的语义信息可以通过多级变换最终由语义基序列表示。

语义编解码

语义编码通过捕获传输数据的潜在含义实现信息的高效传输，与传统通信的编码技术不同，语义编码考虑了数据中的语义和关系，可以在保持基本内容和减少冗余的同时获得更高的压缩比。

早期的语义编码研究主要集中于从信息论的角度实现语义编解码， Juba等基于信源和信宿处符号的先验概率分布可能不同的事实。Güler等从语义相似度的角度，利用博弈论方法设计了一个有损编码框架。

随着深度学习领域的不断发展，语义编解码开始向着深度学习的方向发展。 Farsad等提出了一种基于深度学习的文本联合信源信道编码，它实现了较低的单词错误率并保留了句子的语义信息，而Bourtsoulatze等则将图像像素值直接映射到复值信道输入符号，并学习噪声弹性编码表示。Xu等提出基于注意力机制的联合信源信道编码，成功地在不同的信噪比水平下实现图像传输。Li等则是提出了一种具有可扩展性的语义编码框架，提高了语义表示的准确性。Huang等提出了一种基于强化学习的自适应语义编码方法，实现了对图像进行像素级以上的编码。Barka等提出了一种脉冲噪声自适应的深度学习语义通信架构。另外，神经网络技术也是语义编码中不可或缺的一环，如通过卷积网络提取语义特征，引入注意力机制的图注意力网络等(表1)。

总体而言，语义通信收发端设计的核心挑战在于构建兼具语义保真度与场景适应性的通用化模型。未来需要对多模态深度融合下的语义关联以及联合信源信道编码做进一步探索。

语义通信资源管理策略

语义通信下的资源分配，是在语义层次上提高通信效率，优化语义通信系统的性能指标，对应用层的任务性能提出了新要求。 基于Wang等提出的3个问题，我们将其拓展深化为以下4个语义资源分配亟待解决的关键问题。

语义层面实现准确的资源优化

针对语义层次的资源优化问题， Yan等提出的资源分配方案能够在语义级别上优化资源分配，但需要预先训练的映射来指导网络资源分配，难以应对动态化的通信场景，而Wang等提出了一种采用语义比特量化的资源分配方案，解决了由于语义度量与传输度量之间的额外映射关系而导致的环境感知不准确问题。

与传统无线通信架构下的硬件设备兼容

针对硬件设备兼容问题， Hu等基于码本的语义知识库，实现了连续语义信息的离散化，但是，需要一种更加高效通用的语义比特量化方法来适应当前无线传输硬件设备。针对高动态的车载网络，Su等提出了一种优化每层语义信息的访问控制和功率控制的方法，在同信道干扰和信道不确定性的高动态环境中能够表现出良好的性能。针对语义和超可靠低延迟通信业务共存的融合系统，Ding等提出了一种动态复用和协同调度方案，在满足业务延迟要求的同时，最大化语义服务的效用。针对多小区多任务上行蜂窝网络，Yan等提出了一种基于体验质量的多任务网络资源感知分配方法，解决了信道分配和发射功率分配问题。

在资源受限条件下实现通信资源的高效分配

Mu等提出了一种语义驱动的上行链路非正交多址接入框架，利用语义通信在低信噪比或无线资源有限的情况下也能够提供良好的性能。Zhang等引入了一种基于深度强化学习的面向任务的语义通信网络动态资源分配方案，以提高资源受限的无线网络中的任务性能。Zhang等提出了一种能量收集、认知无线电和非正交多址接入联合场景下的语义感知资源分配方案，实现语义信息丰富的数据优先占用资源。Chen等提出了一种基于深度强化学习的最大化长期平均语义能量效率的新算法，能够实现能量受限场景的语义通信。Wu等提出了正交频分复用传输中的信道自适应JSCC方案，以使用在各种信噪比环境中估计的信道状态信息来确定适当子载波的特征和功率分配。Tung等介绍了第1种E2E JSCC视频传输方法，用于为图像组的每一帧分配可用带宽。

语义资源分配与现有语义编码技术深度融合

Wang等通过计算基于知识图谱的语义信息结构的重要性，进而优化资源块的分配与语义信息的编码，实现语义编码与语义资源分配的协同。Liu等提出了一种基于语义重要性自适应确定压缩比，同时优化资源分配和用户选择的算法，并对该算法进行了仿真验证，同时Zhang等也提出了一种语义压缩比、发射功率和带宽分配的联合优化策略(表2)。

未来语义通信的研究展望

1)在语义通信数据模态方面， 研究多模态语义通信的深度融合，考虑多模态语义统一表征，实现将不同模态的数据映射到统一的语义空间，消除模态间的异构性;研究多模态深度融合下动态语义关联建模新方法，开发动态自适应融合机制，捕捉多模态数据间的动态语义依赖关系。针对远程医疗场景，融合医学影像、诊断报告和语音描述，实现多模态数据融合的语义关联辅助诊断。针对自动驾驶场景，融合激光雷达、视频图像，以及GPS(全球定位系统)数据，实现复杂环境的多模态语义理解与高效传输。

2)在语义通信性能评估方面， 设计面向自动驾驶、远程医疗等不同应用场景的基准测试集，形成标准化的语义通信评估框架。在远程医疗场景中，重点考虑语义压缩准确性、语义传输实时性、语义理解精确性对于医疗诊断的影响，实现远程医疗领域的语义通信性能评估;在自动驾驶方面，量化评估语义提取与语义理解的实时性、精确性，实现自动驾驶领域的通信性能评估。面向多样化的应用场景，考虑构建多维度的语义通信评估体系，实现语义通信指标与语义通信性能的统一。

3)在语义通信资源管控方面， 研究智能协同的语义通信资源优化机制，能够面向异构算力与动态网络需求，构建语义驱动的跨域资源管控统一框架，实现算力与网络深度融合下的高效语义资源分配。针对医学数据对语义通信高保真、低延迟，以及隐私保护的需求，考虑采用动态语义卸载与算力分配策略，针对医疗数据的风险特性，实现语义任务的动态卸载与资源管控;针对自动驾驶场景下多源环境语义通信的低延迟与高可靠需求，实现终端轻量化语义提取、边缘局部语义融合、云端全局语义优化的分层语义通信资源管控架构。

结语

语义通信作为新一代智能通信范式，在未来通信中具有巨大的应用潜力，能够重构当前传统通信网络架构。但是，要实现语义通信的广泛应用，仍须攻克语义通信的多模态深度融合问题、跨域资源管控问题，以及设计更加通用合理的性能评估度量体系。未来研究可聚焦于多模态语义对齐、语义资源感知及语义信息基础理论，通过理论创新与算法优化，构建支持6G网络的高效语义通信体系。