一種用于人類行為識別的深度聯(lián)合結(jié)構(gòu)化和結(jié)構(gòu)化學習的方法，包括以下步驟：1)構(gòu)造聯(lián)合結(jié)構(gòu)和結(jié)構(gòu)公式化；2)使用空間網(wǎng)絡(luò)從圖像中的人體區(qū)域提取深層卷積神經(jīng)網(wǎng)絡(luò)特征，將空間網(wǎng)絡(luò)的fc6層的輸出作為深度特征，使用梯度直方圖和光流直方圖特征來進一步增強特征表示；CNN，HOG和HOF特征被連接以表示圖像中的個人行為或交互關(guān)系，使用這種特征為每個數(shù)據(jù)集訓練兩個線性支持向量機分類器，使用組合特征來計算公式(1)中的聯(lián)合特征；3)訓練模型的參數(shù)；4)訓練和預(yù)測中的相關(guān)推理，在訓練的每次迭代期間，針對每個訓練示例解決損失增強推理。本發(fā)明適用于多個行為類別的圖像、能夠識別交互行為。