本發(fā)明公開了一種基于強化學(xué)習(xí)的視頻連續(xù)手語識別方法及系統(tǒng),方法包括:基于殘差連接的三維卷積神經(jīng)網(wǎng)絡(luò)對原始手語視頻的各個視頻段進行時空域特征提取,對時空域特征利用雙向長短時記憶網(wǎng)絡(luò)進行上下文學(xué)習(xí),得到手語視頻的特征;基于多尺度感知網(wǎng)絡(luò)對手語視頻進行不同感受野下的再表達,以最小化聯(lián)結(jié)主義時間分類損失為目標將網(wǎng)絡(luò)訓(xùn)練至收斂后,將殘差連接的三維卷積神經(jīng)網(wǎng)絡(luò)和雙向長短時記憶網(wǎng)絡(luò)提取的視頻特征保存;基于保存的視頻特征,利用邊界檢測器根據(jù)定義的狀態(tài)確定出視頻段的語義邊界;將兩兩邊界之間語義一致的若干個視頻段以池化的方式進一步提取特征,基于進一步提取到的特征進行手語詞匯的識別。本發(fā)明能夠提高手語識別性能。
聲明:
“基于強化學(xué)習(xí)的視頻連續(xù)手語識別方法及系統(tǒng)” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)