近日，計算機學院碩導程科教授團隊在行人重新識別(ReID)研究方向取得新進展，團隊研究成果“MSCMNet: Multi-scale Semantic Correlation Mining for Visible-Infrared Person Re-Identification”被模式識別與人工智能領(lǐng)域國際頂級期刊《Pattern Recognition》接受，并在線發(fā)表。論文第一作者為2022級碩士研究生華雪成同學，程科教授為通訊作者，江蘇科技大學為第一完成單位，江蘇科技大學涂娟娟副教授，江蘇大學陸虎副教授、河北工業(yè)大學王元全教授和江南大學王士同教授為論文共同作者。
行人重新識別(ReID) 是一種檢索攝像機拍攝的行人圖像中的人物的技術(shù)。隨著公共安全的日益重視，全天候監(jiān)控和檢索系統(tǒng)在計算機視覺領(lǐng)域引起了極大關(guān)注。現(xiàn)有的 ReID 方法主要用于檢索 RGB-RGB 圖像之間的行人信息。但是現(xiàn)實環(huán)境是復雜多變的，除了白天外，大多數(shù)在線監(jiān)控場合都在夜間和低光照條件下。為了解決這個問題，許多全天候監(jiān)控系統(tǒng)都采用了紅外 (IR) 攝像機來捕捉弱光環(huán)境下的場景。然而，紅外光的較長波長和散射增加會導致可見圖像中通常存在的顏色、紋理和細節(jié)信息的丟失。因此，由于跨模態(tài)差異很大，需要針對RGB和IR圖像的不同特性設(shè)計一種用于可見光-紅外行人檢測的模型。
為了充分挖掘RGB-IR的模態(tài)信息，研究提出了基于深度學習的多尺度語義關(guān)聯(lián)挖掘網(wǎng)絡MSCMNet。通過設(shè)計多尺度信息關(guān)聯(lián)挖掘塊 (MIMB) 探索融合特征的隱含語義關(guān)聯(lián)，并設(shè)計四流特征提取器 (QFE) 盡可能保留原始數(shù)據(jù)的不同的語義信息。最后提出了一種新穎的四中心三元組損失 (QCT) 來處理跨模態(tài)特征中的語義信息差異。大量SYSU-MM01、RegDB 和 LLCM 數(shù)據(jù)集上的實驗表明他們提出的 MSCMNet 在 VI-RelD 任務中的表現(xiàn)優(yōu)于目前其他最先進的方法。
《Pattern Recognition》被認為是模式識別與人工智能領(lǐng)域的頂級國際期刊之一，創(chuàng)刊于1968年。2023年該期刊的影響因子為8.0，屬于中科院計算機科學SCI一區(qū)TOP期刊。中國自動化學會（CAA）則將其列為A類推薦期刊，中國計算機學會（CCF）評價該期刊為“國際重要期刊，具有重要的國際學術(shù)影響力”。
論文鏈接：https://doi.org/10.1016/j.patcog.2024.111090
（撰稿：涂娟娟 初審：程鵬 二審：程珉 終審：周春燕 編輯：程鵬）
