近日,学校人工智能学院马文涛特任教授团队在遥感图像-文本多模态检索方向取得重要研究进展。相关论文《Hierarchical Scene-Graph Consistency Learning for Remote Sensing Image-Text Retrieval》(面向遥感图文检索的层次化场景图一致性学习) 被国际计算机视觉与多媒体领域权威期刊《IEEE Transactions on Multimedia》(简称TMM) 录用。这是学校首次以第一完成单位在该著名CCF-A类期刊上发表论文,标志着我校计算机科学与技术学科在人工智能与多媒体智能分析交叉研究方向实现新的突破。
该论文面向遥感图像与文本跨模态检索任务,针对遥感场景中地物目标众多、属性差异细微、空间关系复杂所导致的跨模态语义鸿沟问题,提出了层次化场景图一致性学习框架HSGC。该框架从文本描述中解析场景图,将遥感场景语义分解为目标、属性和关系三个层次,并通过场景图引导的语义掩码、目标属性关系推理模块以及多粒度语义对齐模块,实现遥感影像与文本描述在全局语义和细粒度语义上的一致对齐。结合人工智能学院在农业信息感知、智能计算和智慧农业等方向的学科基础,该研究成果可为农业遥感影像智能检索、农田地物识别、作物长势监测、农业灾害信息查询以及农业资源动态管理等应用提供技术支撑,有助于推动人工智能技术在农业遥感和智慧农业场景中的深度融合。
图1. HSGC框架示意图
TMM是中国计算机学会 (CCF) 推荐的“计算机图形学与多媒体”领域A类期刊,也是中科院一区TOP期刊 (影响因子9.7)。期刊聚焦计算机视觉、多媒体信号处理、人工智能与多媒体交叉等前沿方向,在国际多媒体研究领域具有重要影响。此次成果录用,体现了人工智能学院在人工智能、多媒体智能分析和遥感信息处理交叉方向的研究积累,也将进一步提升学校计算机科学与技术学科服务现代农业和数字化转型的学术影响力。
人工智能学院2024级博士研究生陈少凡为论文第一作者,马文涛特任教授为论文通讯作者。该研究得到国家自然科学基金、长三角科技创新共同体协同研究计划、安徽省自然科学基金、安徽省教育厅自然科学研究项目以及安徽省智能配电网运行与控制重点实验室开放课题等项目支持。(文/图:祁钊/马文涛 一审:范雅辰 二审:岳振宇 三审:吴辰华)