本發(fā)明公開了一種基于視覺描述語句的圖像檢索方法,包括:基于圖卷積深度學(xué)習(xí)網(wǎng)絡(luò),構(gòu)建視覺知識(shí)圖譜表征中節(jié)點(diǎn)與邊的信息傳遞模式,實(shí)現(xiàn)各語義單元特征的聚合與更新;結(jié)合注意力機(jī)制,采用多層級(jí)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)對(duì)圖譜中聚合與更新后的各語義單元特征進(jìn)行編碼用于圖像描述語句的生成;在強(qiáng)化學(xué)習(xí)的框架下,利用CIDEr分?jǐn)?shù)和圖譜相似度,設(shè)計(jì)基于圖像描述語句的獎(jiǎng)懲函數(shù),并用于“圖像?圖譜”過程、“圖譜?語句”過程以及“圖像?圖譜?語句”過程的反饋調(diào)節(jié)與優(yōu)化,獲取圖像更細(xì)粒度的視覺描述語句并進(jìn)行檢索,輸出與查詢圖像對(duì)應(yīng)的目標(biāo)檢索圖像。本發(fā)明提高了基于文字的圖像檢索在大規(guī)模數(shù)據(jù)集上利用的可行性。
聲明:
“基于視覺描述語句的圖像檢索方法” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請(qǐng)聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)