导读：研究发现，将多模态遥感语义分割与视觉基础模型（如SAM2）结合时，常面临模态不兼容与计算成本上升等问题。区别于传统多模态分割的特征融合范式，该研究不再将额外模态视为主模态（RGB影像）的对等输入，而是将其作为提示信息注入 SAM2 中，并依托混合专家（MoE）机制构建多模态提示器，从而在显著提升分割精度的同时，有效控制了模态外推的计算开销增量。
语义分割在环境监测、建筑物提取、土地利用制图、精准农业等遥感应用中具有重要作用。随着多源遥感数据日益丰富，融合RGB、数字表面模型（DSM）、近红外（NIR）、合成孔径雷达（SAR）等信息的语义分割方法受到持续关注。然而，多数模型仍依赖从头训练或ImageNet预训练初始化，对大规模视觉先验的利用仍不充分。近年来，SAM、SAM2等视觉基础模型在自然图像上表现出较强的泛化能力，但迁移至遥感场景仍面临几方面限制：自然图像与遥感影像存在域差异；SAM2原生面向二值掩膜预测，难以直接满足多类别语义分割需求；基于点、框提示的交互流程也不利于大规模自动化解译。另一方面，若沿用传统特征融合方式将异构模态直接注入SAM2编码器，可能引起预训练知识与新增模态之间的不匹配，并带来明显的计算开销增长。
图1｜ISPRS Potsdam数据集上SAM2在不同提示方式下的零样本分割结果，其中(a) 代表原始RGB影像；(b) 代表使用点提示的分割结果；(c) 代表使用框提示的分割结果；(d) 代表使用"分割一切"功能的分割结果；(e) 为地面真值。原生SAM2难以满足遥感语义分割需求。
围绕视觉基础模型与多模态遥感语义分割的结合，研究重点关注两个问题：
1.多模态信息应如何注入SAM2？
传统方法常将各模态作为等价输入进行融合。但SAM2图像编码器主要在RGB自然图像上预训练，DSM、SAR等模态若被直接注入编码器，实验显示可能导致特征表达下降。论文消融实验对比的通道拼接、早期提示融合和非局部融合等方案，其精度均低于单模态微调基线。
2.扩展模态后如何控制计算成本？
若按传统融合方式扩展SAM2至多模态输入，参数量、GFLOPs和显存占用会随模态数量明显增加。研究希望在引入更多感知维度的同时，将增量计算成本保持在可接受范围内。
针对上述问题，北京大学研究团队提出MmSAM，一种面向多模态遥感语义分割的微调框架。研究不再将辅助模态与RGB并列作为等价输入，而是将其编码为对主模态的密集提示，以在尽量保持SAM2预训练权重完整性的前提下引入补充信息。
图2｜MmSAM总体框架示意，包括SAM2图像编码器、多模态提示器和类别解码器。
主要发现 1：多模态提示有助于提高分割精度
在ISPRS Potsdam（RGB+DSM+IRRG）和WHU-OPT-SAR（RGB+SAR+NIR）两个数据集上，引入多模态提示后，各微调配置的平均mIoU分别提高约2.5%和2.2%。以Adapter（SAM2-S）为例，Potsdam测试集mIoU由79.37%升至80.65%，WHU-OPT-SAR由49.75%升至52.04%。在建筑物与不透水面光谱相近、水体与阴影易混淆等场景中，DSM高程信息与SAR/NIR补充特征提供了额外的判别依据。
主要发现 2：MmSAM在较少训练轮次下取得比现有方法更优的结果
与Swin Transformer v2、ConvNeXt v2、CMX、SiMultiF、MultiSenseSeg等基线方法相比，MmSAM 仅需更短的收敛周期即可取得更优的分割精度。论文认为，这得益于其独特的架构优势：模型能够将 SAM2 的大规模视觉先验，与遥感多模态数据自带的多重感知维度（如光谱、高程等物理约束）进行深度融合。这种设计既免去了从头训练特征提取器的负担，又赋予了模型感知异构信息的能力，从而在few-shot下释放出强大性能。
主要发现 3：MmSAM 具备极低的模态外推计算开销增量
MmSAM在多模态扩展方面表现出显著优势。每增加一个额外模态，其计算复杂度（GFLOPs）增加、推理速度（FPS）损失以及显存（VRAM）占用增量均极低。即便面对10模态的场景，MmSAM所需的额外计算开销增量依旧很低，在计算成本方面表现出很强的鲁棒性。
• 多模态信息作为提示注入视觉基础模型，是遥感分割领域极具竞争力的新范式。以往的多模态解译常依赖复杂的特征融合或跨模态对齐网络，这在特定场景下能够取得优异的表现。本研究表明，将辅助遥感模态转化为密集提示并主动注入大模型主干，能够在充分复用大模型强泛化视觉先验的同时，为实现高效跨模态语义消歧提供一种更轻量、且同样兼具鲁棒性的可行路径。
• 开发语义分割模型必须在保持性能增益的同时兼顾计算效率。随着未来遥感多源观测数据的爆发，模型设计需要避免“算子堆砌”导致的部署限制。本研究引入MoE机制，成功将模态外推时的显存增量与计算开销控制在极低水平，这一设计启示未来的遥感大模型微调应兼顾计算能效比，从而更利于在边缘端或消费级硬件上部署。
• 突破传统特定双模态融合的局限，向“模态不可知”的高自由度架构迈进，是通往通用遥感大模型的必然趋势。目前很多研究仅针对“RGB + 某一特定辅助模态（如SAR、高程或红外）”进行定制设计，而本研究提出的框架展现了更广阔的模态扩展自由度。这种模态不可知的解译范式，能够自适应容纳更多元、异构的图像模态输入，从而在实际复杂多变的遥感下游任务中表现出更强的普适价值与实战潜力。
这项研究表明，遥感语义分割不仅取决于网络结构设计，也取决于如何以较低成本引入多源信息。MmSAM通过MoE多模态提示器与参数高效微调，在SAM2基础上实现了面向遥感任务的适配与多模态扩展。从更广的视角看，这项工作也反映出遥感分割方法正在从密集特征融合，转向结合视觉基础模型先验与轻量提示注入的技术路径。上述研究成果以 “MmSAM: multimodal meets SAM2 for efficient remote sensing semantic segmentation” 为题，发表于期刊 International Journal of Applied Earth Observation and Geoinformation。北京大学博士生王青芃为论文第一作者，黄舟教授为论文通讯作者。研究得到了国家重点研发计划项目（2023YFB3906102）的支持。代码开源在：https://github.com/W-qp/MmSAM。
文章信息： MmSAM: multimodal meets SAM2 for efficient remote sensing semantic segmentation. International Journal of Applied Earth Observation and Geoinformation, 149 (2026) 105301.
DOI: https://doi.org/10.1016/j.jag.2026.105301.
