一種基于深度強化學習的清潔機器人沿墻方法和清潔機器人，該方法包括：當清潔機器人進入沿墻場景時，獲取所述清潔機器人的傳感器的測量數(shù)據(jù)；將所述測量數(shù)據(jù)輸入到訓練好的深度強化學習網(wǎng)絡，由所述深度強化學習網(wǎng)絡輸出沿墻動作；控制所述清潔機器人基于所述沿墻動作完成所述沿墻場景的運動和清潔操作；其中，所述深度強化學習網(wǎng)絡的訓練是基于多個智能體同步訓練的異步優(yōu)勢動作評價算法實現(xiàn)的。本申請的方案基于多個智能體同步訓練的異步優(yōu)勢動作評價算法訓練深度強化學習網(wǎng)絡，訓練好的深度強化學習網(wǎng)絡只要接收清潔機器人在沿墻場景中的傳感器數(shù)據(jù)，即可輸出最優(yōu)的沿墻動作，使得清潔機器人較好地完成沿墻場景的清潔。