權(quán)利要求書(shū)： 1.基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法，其特征在于，包括：

獲取風(fēng)機(jī)葉片的圖像，對(duì)獲取的風(fēng)機(jī)葉片圖像進(jìn)行預(yù)處理；

將風(fēng)機(jī)葉片圖像輸入至多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中，所述多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型包括多任務(wù)主干網(wǎng)絡(luò)和兩個(gè)子任務(wù)分支網(wǎng)絡(luò)，首先利用多任務(wù)主干網(wǎng)絡(luò)提取風(fēng)機(jī)葉片圖像的底層共享特征，之后在兩個(gè)子任務(wù)分支網(wǎng)絡(luò)中分別提取損傷位置特征以及損傷類(lèi)型特征，然后分別輸出風(fēng)機(jī)葉片損傷的位置以及損傷類(lèi)型的識(shí)別結(jié)果；

其中，將兩個(gè)子任務(wù)分支網(wǎng)絡(luò)分別在提取損傷位置特征以及損傷類(lèi)型特征時(shí)進(jìn)行特征提取任務(wù)相關(guān)聯(lián)，由線(xiàn)性映射函數(shù)將一個(gè)分支任務(wù)的損傷高維特征映射到另一個(gè)分支任務(wù)的特征提取的標(biāo)簽空間中，并通過(guò)激活函數(shù)轉(zhuǎn)換為概率分布的形式，進(jìn)而通過(guò)另一個(gè)分支任務(wù)的真實(shí)標(biāo)簽對(duì)概率分布進(jìn)行損失評(píng)價(jià)，獲取損傷位置特征以及損傷類(lèi)型特征分支任務(wù)兩者之間存在的相關(guān)性。

2.如權(quán)利要求1所述的基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法，其特征在于，所述多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中的損傷位置特征以及損傷類(lèi)型特征的特征提取由特征提取單元實(shí)現(xiàn)，所述特征提取單元由注意力機(jī)制、卷積層以及殘差網(wǎng)絡(luò)組成，每個(gè)特征提取單元包括三個(gè)卷積層。

3.如權(quán)利要求2所述的基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法，其特征在于，在特征提取單元中引入注意力機(jī)制提高風(fēng)機(jī)葉片圖像特征的表達(dá)能力，對(duì)風(fēng)機(jī)葉片圖像的高維特征進(jìn)行提取，將注意力機(jī)制的輸出作為卷積層的輸入，通過(guò)卷積層進(jìn)一步提取風(fēng)機(jī)葉片圖像的空間特征，然后將卷積層輸出的特征與輸入特征相加組成殘差網(wǎng)絡(luò)。

4.如權(quán)利要求1所述的基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法，其特征在于，所述多任務(wù)主干網(wǎng)絡(luò)中疊加兩個(gè)特征提取單元來(lái)提取共享的網(wǎng)絡(luò)特征參數(shù)，兩個(gè)子任務(wù)分支網(wǎng)絡(luò)各自疊加兩個(gè)特征提取單元，分別用于風(fēng)機(jī)葉片損傷位置識(shí)別和損傷類(lèi)型識(shí)別兩個(gè)任務(wù)，根據(jù)兩個(gè)子任務(wù)空間之間存在的潛在的映射關(guān)系，通過(guò)位置識(shí)別任務(wù)的特征來(lái)推理?yè)p傷類(lèi)型識(shí)別任務(wù)的結(jié)果，同時(shí)，損傷類(lèi)型識(shí)別任務(wù)的特征也來(lái)推理風(fēng)機(jī)葉片損傷位置識(shí)別任務(wù)的特征。

5.如權(quán)利要求1所述的基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法，其特征在于，在子任務(wù)分支網(wǎng)絡(luò)的輸出層融入多任務(wù)相關(guān)性單元，提取損傷位置特征以及損傷類(lèi)型特征任務(wù)之間的相互關(guān)聯(lián)性，通過(guò)使用一個(gè)分支任務(wù)的標(biāo)簽來(lái)訓(xùn)練另一個(gè)分支任務(wù)的特征提取過(guò)程，多任務(wù)相關(guān)性單元在高維特征空間提取多任務(wù)間的潛在相關(guān)性；然后，通過(guò)設(shè)計(jì)的損失函數(shù)對(duì)映射后的結(jié)果與真實(shí)標(biāo)簽之間的不一致性進(jìn)行最小化處理。

6.如權(quán)利要求5所述的基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法，其特征在于，所述多任務(wù)相關(guān)性單元的處理過(guò)程包括：多任務(wù)相關(guān)性提取由線(xiàn)性映射函數(shù)實(shí)現(xiàn)，將對(duì)應(yīng)損傷特征提取分支任務(wù)的高維特征映射到另一個(gè)分支任務(wù)的標(biāo)簽空間，并通過(guò)激活函數(shù)將其轉(zhuǎn)換為概率分布的形式，進(jìn)而通過(guò)另一個(gè)分支任務(wù)的真實(shí)標(biāo)簽對(duì)概率分布進(jìn)行損失評(píng)價(jià)，使得相關(guān)性學(xué)習(xí)單元提煉兩任務(wù)分支之間存在的相關(guān)性，然后通過(guò)自適應(yīng)平均池化來(lái)抽取特征樣本。

7.如權(quán)利要求6所述的基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法，其特征在于，使用交叉熵?fù)p失函數(shù)作為損傷位置識(shí)別以及損傷類(lèi)型識(shí)別兩個(gè)子任務(wù)的損失函數(shù)進(jìn)行訓(xùn)練，使用相對(duì)熵作為相關(guān)損失函數(shù)來(lái)懲罰兩個(gè)子任務(wù)分支之間的不一致性。

8.如權(quán)利要求7所述的基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法，其特征在于，模型訓(xùn)練中參數(shù)獲取方法包括：以交叉熵?fù)p失函數(shù)，最小為目的訓(xùn)練由風(fēng)機(jī)葉片損傷識(shí)別主干網(wǎng)絡(luò)與損傷位置識(shí)別以及損傷類(lèi)型識(shí)別分支網(wǎng)絡(luò)組成的多任務(wù)神經(jīng)網(wǎng)絡(luò)架構(gòu)，得到預(yù)訓(xùn)練模型參數(shù)。

9.如權(quán)利要求7所述的基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法，其特征在于，固定預(yù)訓(xùn)練模型參數(shù)，引入多任務(wù)相關(guān)性單元并訓(xùn)練其關(guān)聯(lián)性權(quán)重參數(shù)，之后進(jìn)行模型微調(diào)。

10.基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別系統(tǒng)，其特征在于，包括：

圖像獲取模塊，用于獲取風(fēng)機(jī)葉片的圖像，對(duì)獲取的風(fēng)機(jī)葉片圖像進(jìn)行預(yù)處理；

特征提取模塊，用于將風(fēng)機(jī)葉片圖像輸入至多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中，所述多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型包括多任務(wù)主干網(wǎng)絡(luò)和兩個(gè)子任務(wù)分支網(wǎng)絡(luò)，首先利用多任務(wù)主干網(wǎng)絡(luò)提取風(fēng)機(jī)葉片圖像的底層共享特征，之后在兩個(gè)子任務(wù)分支網(wǎng)絡(luò)中分別提取損傷位置特征以及損傷類(lèi)型特征；

識(shí)別結(jié)果輸出模塊，用于分別輸出風(fēng)機(jī)葉片損傷的位置以及損傷類(lèi)型的識(shí)別結(jié)果；

其中，將兩個(gè)子任務(wù)分支網(wǎng)絡(luò)分別在提取損傷位置特征以及損傷類(lèi)型特征時(shí)進(jìn)行特征提取任務(wù)相關(guān)聯(lián)，由線(xiàn)性映射函數(shù)將一個(gè)分支任務(wù)的損傷高維特征映射到另一個(gè)分支任務(wù)的特征提取的標(biāo)簽空間中，并通過(guò)激活函數(shù)轉(zhuǎn)換為概率分布的形式，進(jìn)而通過(guò)另一個(gè)分支任務(wù)的真實(shí)標(biāo)簽對(duì)概率分布進(jìn)行損失評(píng)價(jià)，獲取損傷位置特征以及損傷類(lèi)型特征分支任務(wù)兩者之間存在的相關(guān)性。

說(shuō)明書(shū)： 基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法與系統(tǒng)技術(shù)領(lǐng)域[0001] 本公開(kāi)涉及風(fēng)機(jī)葉片圖像識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法與系統(tǒng)。背景技術(shù)[0002] 本部分的陳述僅僅是提供了與本公開(kāi)相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。[0003] 隨著風(fēng)力發(fā)電技術(shù)的快速發(fā)展，風(fēng)力發(fā)電機(jī)作為有效利用風(fēng)能的核心設(shè)施已被廣泛應(yīng)用在新能源發(fā)電領(lǐng)域。由于外界環(huán)境與自身結(jié)構(gòu)的作用，風(fēng)力發(fā)電機(jī)的葉片往往會(huì)面臨各種結(jié)構(gòu)損傷。這些損傷可能會(huì)進(jìn)一步導(dǎo)致風(fēng)機(jī)運(yùn)行異常，降低發(fā)電效率，甚至造成嚴(yán)重的安全事故。[0004] 現(xiàn)有的利用視覺(jué)進(jìn)行風(fēng)機(jī)葉片損傷識(shí)別時(shí)，往往通過(guò)照相機(jī)、無(wú)人機(jī)機(jī)載攝像機(jī)等圖像采集設(shè)備獲取風(fēng)機(jī)葉片的圖像，并進(jìn)一步依據(jù)圖像進(jìn)行葉片損傷識(shí)別，該任務(wù)已在風(fēng)機(jī)葉片結(jié)構(gòu)健康監(jiān)測(cè)任務(wù)中廣泛使用。然而，風(fēng)機(jī)葉片損傷位置識(shí)別與類(lèi)型識(shí)別這兩個(gè)任務(wù)具有一定的關(guān)聯(lián)性，因?yàn)轱L(fēng)機(jī)葉片特定的損傷往往出現(xiàn)在風(fēng)機(jī)葉片特定的位置。具體來(lái)講，風(fēng)機(jī)葉片的迎風(fēng)面和背風(fēng)面是由結(jié)構(gòu)膠粘接在一起的，因此膠衣開(kāi)裂一般都會(huì)出現(xiàn)在葉片粘合處，也就是葉片的前緣（翼型在旋轉(zhuǎn)方向的最前端）和后緣（翼型在旋轉(zhuǎn)方向的最后端），統(tǒng)稱(chēng)為葉緣，由于葉片表面受力面積較大，且長(zhǎng)期暴露于復(fù)雜環(huán)境之中，容易受到惡劣環(huán)境的影響，比如風(fēng)沙、冰雹等，還會(huì)遭受各種鳥(niǎo)類(lèi)的撞擊，因此，裂紋損傷往往出現(xiàn)在風(fēng)機(jī)葉片的表面。風(fēng)力發(fā)電機(jī)所在地勢(shì)一般較高，而且葉片的尖端部分又是風(fēng)機(jī)運(yùn)行時(shí)的最高位置，葉片引下線(xiàn)布置于葉片內(nèi)腔之中，從葉片根部向葉片尖端部分，葉片的截面變得越來(lái)越小，引下線(xiàn)到葉片表面的距離也會(huì)越來(lái)越短，兩者之間的擊穿電壓也會(huì)隨之減小。同時(shí)，從葉片結(jié)構(gòu)設(shè)計(jì)來(lái)看，葉片根部到葉片尖端部分，使用的力學(xué)結(jié)構(gòu)材料逐漸減少，材料變薄也就意味著絕緣性能的相對(duì)下降，因此大部分的雷擊事故會(huì)造成葉尖部分的損傷。[0005] 發(fā)明人發(fā)現(xiàn)，現(xiàn)有的風(fēng)機(jī)葉片損傷識(shí)別方法中并沒(méi)有注重風(fēng)機(jī)葉片損傷位置以及類(lèi)型之間的關(guān)聯(lián)性，面對(duì)大量采集到的風(fēng)機(jī)葉片圖片，無(wú)法自動(dòng)化高效率地進(jìn)行葉片結(jié)構(gòu)損傷位置與損傷類(lèi)型的識(shí)別；并且在一些風(fēng)機(jī)葉片損傷檢測(cè)的場(chǎng)景下，往往會(huì)面臨識(shí)別任務(wù)復(fù)雜、損傷類(lèi)型多樣、數(shù)據(jù)樣本匱乏等問(wèn)題，導(dǎo)致傳統(tǒng)的面向單一檢測(cè)任務(wù)的算法在風(fēng)機(jī)葉片損傷識(shí)別問(wèn)題上時(shí)受到一定的限制，其識(shí)別準(zhǔn)確率有限。發(fā)明內(nèi)容[0006] 本公開(kāi)為了解決上述問(wèn)題，提出了基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法與系統(tǒng)，通過(guò)多任務(wù)同時(shí)學(xué)習(xí)的方式，充分利用目標(biāo)任務(wù)之間存在的內(nèi)在關(guān)聯(lián)性，共享不同任務(wù)學(xué)習(xí)得到的有效特征，通過(guò)含有多任務(wù)網(wǎng)絡(luò)框架的網(wǎng)絡(luò)結(jié)構(gòu)使損傷位置以及損傷類(lèi)型兩個(gè)識(shí)別任務(wù)同時(shí)學(xué)習(xí)，得到準(zhǔn)確的識(shí)別結(jié)果。[0007] 根據(jù)一些實(shí)施例，本公開(kāi)采用如下技術(shù)方案：基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法，包括：

獲取風(fēng)機(jī)葉片的圖像，對(duì)獲取的風(fēng)機(jī)葉片圖像進(jìn)行預(yù)處理；

將風(fēng)機(jī)葉片圖像輸入至多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中，所述多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型包括多任務(wù)主干網(wǎng)絡(luò)和兩個(gè)子任務(wù)分支網(wǎng)絡(luò)，首先利用多任務(wù)主干網(wǎng)絡(luò)提取風(fēng)機(jī)葉片圖像的底層共享特征，之后在兩個(gè)子任務(wù)分支網(wǎng)絡(luò)中分別提取損傷位置特征以及損傷類(lèi)型特征，然后分別輸出風(fēng)機(jī)葉片損傷的位置以及損傷類(lèi)型的識(shí)別結(jié)果；

其中，將兩個(gè)子任務(wù)分支網(wǎng)絡(luò)分別在提取損傷位置特征以及損傷類(lèi)型特征時(shí)進(jìn)行特征提取任務(wù)相關(guān)聯(lián)，由線(xiàn)性映射函數(shù)將一個(gè)分支任務(wù)的損傷高維特征映射到另一個(gè)分支任務(wù)的特征提取的標(biāo)簽空間中，并通過(guò)激活函數(shù)轉(zhuǎn)換為概率分布的形式，進(jìn)而通過(guò)另一個(gè)分支任務(wù)的真實(shí)標(biāo)簽對(duì)概率分布進(jìn)行損失評(píng)價(jià)，獲取損傷位置特征以及損傷類(lèi)型特征分支任務(wù)兩者之間存在的相關(guān)性。

[0008] 根據(jù)一些實(shí)施例，本公開(kāi)采用如下技術(shù)方案：基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別系統(tǒng)，包括：

圖像獲取模塊，用于獲取風(fēng)機(jī)葉片的圖像，對(duì)獲取的風(fēng)機(jī)葉片圖像進(jìn)行預(yù)處理；

特征提取模塊，用于將風(fēng)機(jī)葉片圖像輸入至多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中，所述多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型包括多任務(wù)主干網(wǎng)絡(luò)和兩個(gè)子任務(wù)分支網(wǎng)絡(luò)，首先利用多任務(wù)主干網(wǎng)絡(luò)提取風(fēng)機(jī)葉片圖像的底層共享特征，之后在兩個(gè)子任務(wù)分支網(wǎng)絡(luò)中分別提取損傷位置特征以及損傷類(lèi)型特征；

識(shí)別結(jié)果輸出模塊，用于分別輸出風(fēng)機(jī)葉片損傷的位置以及損傷類(lèi)型的識(shí)別結(jié)果；

其中，將兩個(gè)子任務(wù)分支網(wǎng)絡(luò)分別在提取損傷位置特征以及損傷類(lèi)型特征時(shí)進(jìn)行特征提取任務(wù)相關(guān)聯(lián)，由線(xiàn)性映射函數(shù)將一個(gè)分支任務(wù)的損傷高維特征映射到另一個(gè)分支任務(wù)的特征提取的標(biāo)簽空間中，并通過(guò)激活函數(shù)轉(zhuǎn)換為概率分布的形式，進(jìn)而通過(guò)另一個(gè)分支任務(wù)的真實(shí)標(biāo)簽對(duì)概率分布進(jìn)行損失評(píng)價(jià)，獲取損傷位置特征以及損傷類(lèi)型特征分支任務(wù)兩者之間存在的相關(guān)性。

[0009] 根據(jù)一些實(shí)施例，本公開(kāi)采用如下技術(shù)方案：一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)用于存儲(chǔ)計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)，實(shí)現(xiàn)所述的基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法。

[0010] 根據(jù)一些實(shí)施例，本公開(kāi)采用如下技術(shù)方案：一種電子設(shè)備，包括：處理器、存儲(chǔ)器以及計(jì)算機(jī)程序；其中，處理器與存儲(chǔ)器連接，計(jì)算機(jī)程序被存儲(chǔ)在存儲(chǔ)器中，當(dāng)電子設(shè)備運(yùn)行時(shí)，所述處理器執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)程序，以使電子設(shè)備執(zhí)行實(shí)現(xiàn)所述的基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法。

[0011] 與現(xiàn)有技術(shù)相比，本公開(kāi)的有益效果為：本公開(kāi)提出了含有多任務(wù)主干網(wǎng)絡(luò)與兩個(gè)子任務(wù)分支網(wǎng)絡(luò)的多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)框架可以同時(shí)對(duì)風(fēng)機(jī)圖像中的葉片損傷位置和損傷類(lèi)型進(jìn)行識(shí)別。特征提取單元中采用注意力機(jī)制、卷積層和殘差網(wǎng)絡(luò)組成以增強(qiáng)圖像特征的提取能力。

[0012] 本公開(kāi)提出了多任務(wù)相關(guān)性單元，通過(guò)將該單元融入網(wǎng)絡(luò)框架中，用來(lái)關(guān)聯(lián)兩個(gè)不同任務(wù)之間的內(nèi)在交互信息，提取兩個(gè)不同任務(wù)之間存在的關(guān)聯(lián)性，從而利用關(guān)聯(lián)性特征提高子任務(wù)的識(shí)別精度。[0013] 本公開(kāi)提出了多任務(wù)交叉關(guān)聯(lián)損失訓(xùn)練方法，通過(guò)設(shè)計(jì)的訓(xùn)練流程使得所提出的多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)可以更好地學(xué)習(xí)兩個(gè)子任務(wù)，使得它們?cè)趯W(xué)習(xí)的過(guò)程中可以相互促進(jìn)，提高兩個(gè)子任務(wù)的識(shí)別精度。附圖說(shuō)明[0014] 構(gòu)成本公開(kāi)的一部分的說(shuō)明書(shū)附圖用來(lái)提供對(duì)本公開(kāi)的進(jìn)一步理解，本公開(kāi)的示意性實(shí)施例及其說(shuō)明用于解釋本公開(kāi)，并不構(gòu)成對(duì)本公開(kāi)的不當(dāng)限定。[0015] 圖1為本公開(kāi)實(shí)施例的整體網(wǎng)絡(luò)框架示意圖；圖2為本公開(kāi)實(shí)施例的多任務(wù)相關(guān)性單元的結(jié)構(gòu)示意圖；

圖3為本公開(kāi)實(shí)施例EndoNet在DTU數(shù)據(jù)集下的混淆矩陣；

圖4為本公開(kāi)實(shí)施例EndoNet在B30數(shù)據(jù)集下的混淆矩陣；

圖5為本公開(kāi)實(shí)施例AlexNet在DTU數(shù)據(jù)集下的混淆矩陣；

圖6為本公開(kāi)實(shí)施例AlexNet在B30數(shù)據(jù)集下的混淆矩陣；

圖7為本公開(kāi)實(shí)施例MtDCNN在DTU數(shù)據(jù)集下的混淆矩陣；

圖8為本公開(kāi)實(shí)施例MtDCNN在B30數(shù)據(jù)集下的混淆矩陣；

圖9為本公開(kāi)實(shí)施例MTLNet在DTU數(shù)據(jù)集下的混淆矩陣；

圖10為本公開(kāi)實(shí)施例MTLNet在B30數(shù)據(jù)集下的混淆矩陣；

圖11為本公開(kāi)實(shí)施例ResNet50在DTU數(shù)據(jù)集下的混淆矩陣；

圖12為本公開(kāi)實(shí)施例ResNet50在B30數(shù)據(jù)集下的混淆矩陣；

圖13為本公開(kāi)實(shí)施例OursDTU在數(shù)據(jù)集下的混淆矩陣；

圖14為本公開(kāi)實(shí)施例OursB30在數(shù)據(jù)集下的混淆矩陣。

具體實(shí)施方式[0016] 下面結(jié)合附圖與實(shí)施例對(duì)本公開(kāi)作進(jìn)一步說(shuō)明。[0017] 應(yīng)該指出，以下詳細(xì)說(shuō)明都是例示性的，旨在對(duì)本公開(kāi)提供進(jìn)一步的說(shuō)明。除非另有指明，本文使用的所有技術(shù)和科學(xué)術(shù)語(yǔ)具有與本公開(kāi)所屬技術(shù)領(lǐng)域的普通技術(shù)人員通常理解的相同含義。[0018] 需要注意的是，這里所使用的術(shù)語(yǔ)僅是為了描述具體實(shí)施方式，而非意圖限制根據(jù)本公開(kāi)的示例性實(shí)施方式。如在這里所使用的，除非上下文另外明確指出，否則單數(shù)形式也意圖包括復(fù)數(shù)形式，此外，還應(yīng)當(dāng)理解的是，當(dāng)在本說(shuō)明書(shū)中使用術(shù)語(yǔ)“包含”和/或“包括”時(shí)，其指明存在特征、步驟、操作、器件、組件和/或它們的組合。[0019] 實(shí)施例1本公開(kāi)的一種實(shí)施例中提供了一種基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別方法，包括：

步驟一：獲取風(fēng)機(jī)葉片的圖像，對(duì)獲取的風(fēng)機(jī)葉片圖像進(jìn)行預(yù)處理；

步驟二：將風(fēng)機(jī)葉片圖像輸入至多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中，所述多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型包括多任務(wù)主干網(wǎng)絡(luò)和兩個(gè)子任務(wù)分支網(wǎng)絡(luò)，首先利用多任務(wù)主干網(wǎng)絡(luò)提取風(fēng)機(jī)葉片圖像的底層共享特征，之后在兩個(gè)子任務(wù)分支網(wǎng)絡(luò)中分別提取損傷位置特征以及損傷類(lèi)型特征；

步驟三：分別輸出風(fēng)機(jī)葉片損傷的位置以及損傷類(lèi)型的識(shí)別結(jié)果；

其中，將兩個(gè)子任務(wù)分支網(wǎng)絡(luò)分別在提取損傷位置特征以及損傷類(lèi)型特征時(shí)進(jìn)行特征提取任務(wù)相關(guān)聯(lián)，由線(xiàn)性映射函數(shù)將一個(gè)分支任務(wù)的損傷高維特征映射到另一個(gè)分支任務(wù)的特征提取的標(biāo)簽空間中，并通過(guò)激活函數(shù)轉(zhuǎn)換為概率分布的形式，進(jìn)而通過(guò)另一個(gè)分支任務(wù)的真實(shí)標(biāo)簽對(duì)概率分布進(jìn)行損失評(píng)價(jià)，獲取損傷位置特征以及損傷類(lèi)型特征分支任務(wù)兩者之間存在的相關(guān)性。

[0020] 作為一種實(shí)施例，本公開(kāi)的一種多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)風(fēng)機(jī)葉片損傷位置和類(lèi)型的識(shí)別方法，通過(guò)精心設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)使得兩個(gè)任務(wù)可以同時(shí)學(xué)習(xí)，相互促進(jìn)，得到準(zhǔn)確的識(shí)別結(jié)果，具體的實(shí)施過(guò)程如下：步驟1：獲取風(fēng)機(jī)葉片的圖像，對(duì)獲取的風(fēng)機(jī)葉片圖像進(jìn)行預(yù)處理；

步驟2：將風(fēng)機(jī)葉片圖像輸入至多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中，所述多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型包括多任務(wù)主干網(wǎng)絡(luò)和兩個(gè)子任務(wù)分支網(wǎng)絡(luò)；首先利用多任務(wù)主干網(wǎng)絡(luò)提取風(fēng)機(jī)葉片圖像的底層共享特征，之后在兩個(gè)子任務(wù)分支網(wǎng)絡(luò)中分別提取損傷位置特征以及損傷類(lèi)型特征；

具體的，多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型包含一個(gè)多任務(wù)主干網(wǎng)絡(luò)和兩個(gè)子任務(wù)分支網(wǎng)絡(luò)，多任務(wù)主干網(wǎng)絡(luò)用于底層共享特征提取，兩個(gè)子任務(wù)分支網(wǎng)絡(luò)用于不同任務(wù)各自的特征提取與分類(lèi)。多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中的特征提取由特征提取單元實(shí)現(xiàn)，特征提取單元由注意力機(jī)制、卷積層以及殘差網(wǎng)絡(luò)組成，每個(gè)特征提取單元包括三個(gè)卷積層。

[0021] 在特征提取單元中引入注意力機(jī)制提高圖像特征的表達(dá)能力，對(duì)圖像的高維特征進(jìn)行提取，將注意力機(jī)制的輸出作為卷積層的輸入，通過(guò)卷積層進(jìn)一步提取空間特征，然后將卷積層輸出的特征與輸入特征相加組成殘差網(wǎng)絡(luò)。[0022] 假定圖像輸入為 ，在特征提取單元中引入注意力機(jī)制用于提高圖像特征的表達(dá)能力，對(duì)圖像的高維度代表性特征進(jìn)行提取，以此來(lái)保留圖像數(shù)據(jù)中有價(jià)值的關(guān)鍵特征。所采用的注意力機(jī)制描述如下：（1）

其中：

（2）

以上公式中， ， 為輸入向量的線(xiàn)性映射參數(shù)，作用是將原始輸入向量

進(jìn)行特征映射。 表示對(duì)齊函數(shù)，用于衡量 與 之間的相似性，并通過(guò)

將相似性轉(zhuǎn)化為0?1的權(quán)重形式， 為注意力機(jī)制最終的輸出結(jié)果。

[0023] 將注意力機(jī)制的輸出 作為卷積層的輸入，通過(guò)卷積層進(jìn)一步提取空間特征。然后，卷積輸出結(jié)果與輸入特征進(jìn)行相加組成殘差網(wǎng)絡(luò)：（3）

其中，為卷積層與殘差網(wǎng)絡(luò)之后提取到的特征輸出。之后，對(duì)每個(gè)單元都通過(guò)一個(gè)批量歸一化層 和一個(gè) 非線(xiàn)性層進(jìn)行處理，最終得到特征提取單元

的表示形式為：

（4）

其中，為提取的特征輸出， 為特征提取單元。

[0024] 基于特征提取單元，所提出的網(wǎng)絡(luò)模型分為主干部分和分支部分，多任務(wù)主干網(wǎng)絡(luò)用于提取數(shù)據(jù)中的共享特征，子任務(wù)分支網(wǎng)絡(luò)用于提取兩個(gè)任務(wù)各自獨(dú)有的特征。[0025] 多任務(wù)主干網(wǎng)絡(luò)疊加了兩個(gè)特征提取單元來(lái)提取共享的網(wǎng)絡(luò)特征參數(shù)，網(wǎng)絡(luò)可表述為：（5）

其中， 為提取的特征輸出， 為特征提取單元， 為特征提取單元的迭

代次數(shù)。

[0026] 針對(duì)不同識(shí)別任務(wù)，多任務(wù)主干網(wǎng)絡(luò)后面分成了兩個(gè)子任務(wù)分支網(wǎng)絡(luò)。兩個(gè)子任務(wù)分支網(wǎng)絡(luò)各自疊加兩個(gè)特征提取單元，分別用于風(fēng)機(jī)葉片損傷位置識(shí)別和損傷類(lèi)型識(shí)別兩個(gè)任務(wù)。[0027] （6）其中， 為子任務(wù)分支網(wǎng)絡(luò)提取的特征輸出， 為特征提取單元的迭代次

數(shù)。接下來(lái)通過(guò)全連接 進(jìn)行線(xiàn)性映射，最后通過(guò)Sigmoid 激活函數(shù)將模型的輸出轉(zhuǎn)化成概率分布的形式。

[0028] （7）其中， 代表子任務(wù)分支網(wǎng)絡(luò)的分支索引， 為特征提取單元。

[0029] 由于特定的風(fēng)機(jī)葉片損傷往往會(huì)出現(xiàn)在風(fēng)機(jī)葉片的特定位置，因此，風(fēng)機(jī)葉片損傷位置識(shí)別和損傷類(lèi)型識(shí)別兩個(gè)子任務(wù)具有一定的關(guān)聯(lián)性。由于兩個(gè)子任務(wù)空間之間存在著潛在的映射關(guān)系，可以通過(guò)位置識(shí)別任務(wù)學(xué)到的特征來(lái)推理?yè)p傷識(shí)別任務(wù)的結(jié)果；相反，通過(guò)損傷識(shí)別任務(wù)學(xué)到的特征也可以用來(lái)推理位置識(shí)別任務(wù)的結(jié)果。因此，一個(gè)識(shí)別任務(wù)可以作為另外一個(gè)識(shí)別任務(wù)的參考依據(jù)，以此來(lái)促進(jìn)兩個(gè)任務(wù)的識(shí)別效率與精度。[0030] 本公開(kāi)設(shè)計(jì)一種多任務(wù)相關(guān)性單元，并在在子任務(wù)分支網(wǎng)絡(luò)的輸出層融入多任務(wù)相關(guān)性單元，如圖1所示，融入4個(gè)多任務(wù)相關(guān)性單元，用于更有效地提取兩個(gè)不同任務(wù)之間的相互關(guān)聯(lián)性。通過(guò)使用一個(gè)任務(wù)的標(biāo)簽來(lái)訓(xùn)練另一個(gè)任務(wù)的特征提取過(guò)程，相關(guān)性單元可以在高維特征空間提煉多任務(wù)間的潛在相關(guān)性。然后，通過(guò)設(shè)計(jì)的相關(guān)損失函數(shù)對(duì)映射后的結(jié)果與真實(shí)標(biāo)簽之間的不一致性進(jìn)行最小化處理。[0031] 設(shè)計(jì)的多任務(wù)相關(guān)性單元的具體處理過(guò)程如圖2所示，它由線(xiàn)性映射函數(shù)實(shí)現(xiàn)，將對(duì)應(yīng)分支任務(wù)的高維特征映射到另一個(gè)分支任務(wù)的標(biāo)簽空間，并通過(guò)Sigmoid激活函數(shù)將其轉(zhuǎn)換為概率分布的形式，進(jìn)而通過(guò)另一個(gè)分支任務(wù)的真實(shí)標(biāo)簽對(duì)概率分布進(jìn)行損失評(píng)價(jià)，使得相關(guān)性學(xué)習(xí)單元可以更好的提煉兩任務(wù)分支之間存在的相關(guān)性。[0032] 然后，通過(guò)自適應(yīng)平均池化 來(lái)抽取特征樣本，在一定程度上減少了部分參數(shù)，減輕了過(guò)擬合現(xiàn)象。最后通過(guò)Sigmoid 激活函數(shù)將模型的輸出轉(zhuǎn)化成概率分布的形式。[0033] （8）其中， , 分別代表子任務(wù)分支網(wǎng)絡(luò)的分支索引與輸出索引，

為線(xiàn)性相關(guān)函數(shù), 為線(xiàn)性相關(guān)函數(shù)的權(quán)重參數(shù)。

[0034] 使用交叉熵?fù)p失函數(shù)作為兩個(gè)分支任務(wù)的損失函數(shù)，使用相對(duì)熵作為相關(guān)損失函數(shù)來(lái)懲罰兩個(gè)分支之間的不一致性。[0035] 交叉熵?fù)p失函數(shù)主要用于度量?jī)蓚€(gè)概率分布之間的信息差異和相似性。在深度學(xué)習(xí)的分類(lèi)任務(wù)中，交叉熵常用于比較模型的預(yù)測(cè)結(jié)果和數(shù)據(jù)的真實(shí)標(biāo)簽，隨著預(yù)測(cè)結(jié)果越來(lái)越準(zhǔn)確，交叉熵的值會(huì)越來(lái)越小，如果預(yù)測(cè)完全正確，交叉熵的值就會(huì)變?yōu)?。[0036] 本公開(kāi)使用交叉熵?fù)p失函數(shù)作為兩個(gè)識(shí)別任務(wù)的損失函數(shù)，假定為第i張圖片的標(biāo)簽值，n表示位置類(lèi)型，m表示損傷類(lèi)型， 和 為網(wǎng)絡(luò)的輸出經(jīng)過(guò)Sigmoid激活函數(shù)激活后的值， ，

。 分別為主干網(wǎng)絡(luò)以及兩個(gè)分支網(wǎng)絡(luò)的權(quán)重，共享部分參數(shù)使用 表示，兩任務(wù)分支部分的參數(shù)分別使用 表示。兩個(gè)任務(wù)的交叉熵?fù)p失函數(shù)分別表示為：

（9）

（10）

其中：

（11）

相對(duì)熵（KullbackLeiblerDivergence，KL?divergence）可以用于測(cè)量?jī)蓚€(gè)概率分布之間的差異，本專(zhuān)利使用KL?divergence作為相關(guān)損失函數(shù)來(lái)懲罰兩個(gè)任務(wù)之間的不一致 性。因 為K L散 度具 有非 對(duì)稱(chēng)性 并且 不滿(mǎn) 足三 角不等 式性 質(zhì) ，故，為了更好的擬合兩個(gè)概率分布，我們將損失函數(shù)設(shè)計(jì)為：

（12）

其中，為兩個(gè)任務(wù)前期的共享參數(shù)， 為風(fēng)機(jī)葉片位置分支的網(wǎng)絡(luò)權(quán)重， 為風(fēng)機(jī)葉片損傷分支的網(wǎng)絡(luò)權(quán)重， ， 分別為兩個(gè)任務(wù)分支的預(yù)測(cè)輸出經(jīng)過(guò)Sigmoid激活函數(shù)激活后的結(jié)果，其中 ， ， 和 為用于平

衡KL散度的超參數(shù)，其中：

（13）

（14）

結(jié)合以上所提到的損失函數(shù)，為了能在最后一步聯(lián)合訓(xùn)練的過(guò)程中更新整個(gè)網(wǎng)絡(luò)的參數(shù)，將網(wǎng)絡(luò)模型總的損失函數(shù)設(shè)計(jì)為：

（15）

其中，為樣本總數(shù)， ， ， 是用于平衡損失的超參數(shù)， 是

一個(gè)正則化項(xiàng)，它使用了L2正則化準(zhǔn)則，另外參數(shù) 用于控制正則化項(xiàng)和損失函數(shù)之間的平衡。

[0037] 作為一種實(shí)施例，本公開(kāi)模型訓(xùn)練的過(guò)程為：為了充分地利用兩個(gè)任務(wù)之間的關(guān)聯(lián)性，本公開(kāi)設(shè)計(jì)了整個(gè)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程，以構(gòu)建高精度的多任務(wù)識(shí)別模型。具體將通過(guò)以下四個(gè)步驟來(lái)完成所提出網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程。

[0038] 1.數(shù)據(jù)預(yù)處理：首先對(duì)輸入圖像進(jìn)行裁剪處理，獲取方形圖像數(shù)據(jù)后傳入網(wǎng)絡(luò)模型。將數(shù)據(jù)樣本分為訓(xùn)練集、驗(yàn)證集與測(cè)試集。[0039] 2.模型預(yù)訓(xùn)練：模型參數(shù)初始化與預(yù)訓(xùn)練。a）鑒于殘差塊的參數(shù)數(shù)量遠(yuǎn)遠(yuǎn)大于其他參數(shù)，使用ResNet50在ImageNet數(shù)據(jù)集上得到的預(yù)訓(xùn)練模型初始化網(wǎng)絡(luò)模型中的卷積層與殘差模塊參數(shù)，其余參數(shù)進(jìn)行隨機(jī)初始化。

[0040] b）以交叉熵?fù)p失函數(shù) ， 最小為目的訓(xùn)練由主干網(wǎng)絡(luò)與分支網(wǎng)絡(luò)組成的多任務(wù)神經(jīng)網(wǎng)絡(luò)架構(gòu)，得到預(yù)訓(xùn)練模型參數(shù){ }。

[0041] 3.關(guān)聯(lián)性訓(xùn)練：固定預(yù)訓(xùn)練模型參數(shù)，引入多任務(wù)相關(guān)性單元并訓(xùn)練其關(guān)聯(lián)性權(quán)重參數(shù)。[0042] a）加載第二步中訓(xùn)練好的模型參數(shù){ }，并將這些模型參數(shù)凍結(jié)。[0043] b）引入模型中的四個(gè)多任務(wù)相關(guān)性單元，使用 損失函數(shù)單獨(dú)訓(xùn)練多任務(wù)相關(guān)性單元的線(xiàn)性相關(guān)函數(shù)的權(quán)重參數(shù) ，通過(guò)這種方式讓網(wǎng)絡(luò)模型學(xué)習(xí)到兩個(gè)任務(wù)之間的關(guān)聯(lián)信息。[0044] 4.模型微調(diào)：解凍之前凍結(jié)的模型參數(shù){ }，使用最終設(shè)計(jì)的損失函數(shù)聯(lián)合訓(xùn)練整個(gè)網(wǎng)絡(luò)模型，通過(guò)微調(diào)網(wǎng)絡(luò)模型中的所有參數(shù){ }，以達(dá)到最好的識(shí)別效果。[0045] 提出的網(wǎng)絡(luò)模型以端到端的方式完成訓(xùn)練，訓(xùn)練過(guò)程中能夠互動(dòng)地對(duì)葉片損傷位置和類(lèi)型同時(shí)進(jìn)行識(shí)別，通過(guò)主干網(wǎng)絡(luò)中提取到的共享特征和兩個(gè)分支各自的特征對(duì)網(wǎng)絡(luò)模型進(jìn)行聯(lián)合優(yōu)化，同時(shí)通過(guò)對(duì)相關(guān)性學(xué)習(xí)單元的設(shè)計(jì)，使兩個(gè)任務(wù)分支的梯度可以流向另一個(gè)任務(wù)，從而使得兩個(gè)任務(wù)的學(xué)習(xí)可以相互受益。[0046] 實(shí)驗(yàn)結(jié)果為了充分驗(yàn)證模型的表現(xiàn)，選取兩個(gè)公開(kāi)數(shù)據(jù)集分別對(duì)模型進(jìn)行驗(yàn)證，這兩個(gè)數(shù)據(jù)集分別為DTU公開(kāi)數(shù)據(jù)集以及Blade30公開(kāi)數(shù)據(jù)集。

[0047] 1）DTU數(shù)據(jù)集：總共包含了559張高分辨率圖像，數(shù)據(jù)集中的風(fēng)機(jī)葉片損傷類(lèi)型包括了膠衣開(kāi)裂、裂紋、雷擊等多種常見(jiàn)的損傷類(lèi)型。[0048] 2）Blade30數(shù)據(jù)集：由無(wú)人機(jī)拍攝的30個(gè)不同風(fēng)機(jī)葉片的圖像序列組成，這30個(gè)風(fēng)機(jī)葉片取自不同的風(fēng)力發(fā)電機(jī)，該數(shù)據(jù)集涵蓋了1320張風(fēng)機(jī)葉片圖像數(shù)據(jù)。[0049] 在本實(shí)驗(yàn)中，風(fēng)機(jī)葉片損傷位置的類(lèi)型分為葉尖、葉緣、葉表三類(lèi)；風(fēng)機(jī)葉片損傷識(shí)別的類(lèi)型分為膠衣開(kāi)裂、裂紋、雷擊、無(wú)損傷四類(lèi)。實(shí)驗(yàn)中模型訓(xùn)練時(shí)的一些參數(shù)設(shè)置為：圖像尺寸=224 224，批次大小=8，學(xué)習(xí)率= 、訓(xùn)練輪次=200。本專(zhuān)利以風(fēng)機(jī)葉片損傷識(shí)別任務(wù)的檢測(cè)精度為參考，將訓(xùn)練時(shí)所有訓(xùn)練輪次中該任務(wù)在驗(yàn)證集檢測(cè)精度最高的模型文件保存下來(lái)，用于模型的測(cè)試。

[0050] 為了驗(yàn)證所提出模型的優(yōu)越性，本研究選取了EndoNet、AlexNet、MtDCNN、MTLNet、ResNet50模型與所提出的模型進(jìn)行對(duì)比實(shí)驗(yàn)。所有實(shí)驗(yàn)均在Linux操作系統(tǒng)下，使用Pytorch深度學(xué)習(xí)框架進(jìn)行。實(shí)驗(yàn)在DTU數(shù)據(jù)集以及Blade30數(shù)據(jù)集下，通過(guò)F1Score與混淆矩陣兩個(gè)評(píng)價(jià)指標(biāo)來(lái)評(píng)估模型的性能。[0051] F1Score是評(píng)估分類(lèi)任務(wù)中檢測(cè)模型性能好壞的一個(gè)重要衡量指標(biāo)，它的取值為精確率和召回率的調(diào)和平均數(shù)，取值范圍從0到1:（16）

其中：

（17）

（18）

TP為模型預(yù)測(cè)結(jié)果為正類(lèi)的正樣本個(gè)數(shù)，F(xiàn)P為模型預(yù)測(cè)結(jié)果為正類(lèi)的負(fù)樣本個(gè)數(shù)，F(xiàn)N為模型預(yù)測(cè)結(jié)果為負(fù)類(lèi)的正樣本個(gè)數(shù)。

[0052] 混淆矩陣是用于識(shí)別（分類(lèi)）任務(wù)精度評(píng)估的一種標(biāo)準(zhǔn)格式，它采用矩陣形式來(lái)表示，列坐標(biāo)對(duì)應(yīng)為模型的預(yù)測(cè)類(lèi)別，橫坐標(biāo)對(duì)應(yīng)為數(shù)據(jù)的真實(shí)歸屬類(lèi)別。混淆矩陣作為可視化工具來(lái)評(píng)估識(shí)別任務(wù)的精度，可以通過(guò)直觀(guān)方式將實(shí)驗(yàn)結(jié)果展現(xiàn)出來(lái)。[0053] （1）F1Score實(shí)驗(yàn)結(jié)果表1、表2分別給出了各對(duì)比算法分別在DTU數(shù)據(jù)集與Blade30數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果。由表1、表2可知在F1score評(píng)價(jià)指標(biāo)下，實(shí)驗(yàn)結(jié)果最佳的皆為本專(zhuān)利提出的算法模型，該模型在風(fēng)機(jī)葉片位置和風(fēng)機(jī)葉片損傷各個(gè)類(lèi)別下的F1score得分最高。這是因?yàn)樗岬亩嗳蝿?wù)學(xué)習(xí)模型在訓(xùn)練過(guò)程中，不同分支的任務(wù)可以充分利用到另一個(gè)任務(wù)的領(lǐng)域知識(shí)，使得兩個(gè)任務(wù)的學(xué)習(xí)可以相互受益，因此所提的模型取得了更好的分類(lèi)效果。

[0054] 表1DTU數(shù)據(jù)集下各模型的F1score比較表2Blade30數(shù)據(jù)集下各模型的F1score比較

（2）混淆矩陣實(shí)驗(yàn)結(jié)果

由圖3?圖14可知，圖3為本公開(kāi)實(shí)施例EndoNet在DTU數(shù)據(jù)集下的混淆矩陣；圖4為EndoNet在B30數(shù)據(jù)集下的混淆矩陣；圖5為AlexNet在DTU數(shù)據(jù)集下的混淆矩陣；圖6為AlexNet在B30數(shù)據(jù)集下的混淆矩陣；圖7為MtDCNN在DTU數(shù)據(jù)集下的混淆矩陣；圖8為MtDCNN在B30數(shù)據(jù)集下的混淆矩陣；圖9為MTLNet在DTU數(shù)據(jù)集下的混淆矩陣；圖10為MTLNet在B30數(shù)據(jù)集下的混淆矩陣；圖11為ResNet50在DTU數(shù)據(jù)集下的混淆矩陣；圖12為ResNet50在B30數(shù)據(jù)集下的混淆矩陣；圖13為OursDTU在數(shù)據(jù)集下的混淆矩陣；圖14為本OursB30在數(shù)據(jù)集下的混淆矩陣，表明在各個(gè)混淆矩陣評(píng)價(jià)指標(biāo)下，本公開(kāi)提出的算法模型取得了最好的實(shí)驗(yàn)效果，相較于其他對(duì)比實(shí)驗(yàn)，本公開(kāi)提出模型的混淆矩陣中對(duì)角線(xiàn)概率值最高，因此所提出的模型正確分類(lèi)的樣本數(shù)量最多，模型的檢測(cè)精度最高。通過(guò)混淆矩陣的實(shí)驗(yàn)結(jié)果證明了本專(zhuān)利提出的算法模型相較于其他對(duì)比模型的優(yōu)越性。

[0055] （3）消融實(shí)驗(yàn)為了更好的研究影響識(shí)別模型性能提升的因素，本公開(kāi)對(duì)模型進(jìn)行了消融實(shí)驗(yàn)，將分別對(duì)基線(xiàn)模型、基線(xiàn)模型+相關(guān)性單元以及基線(xiàn)模型+相關(guān)性單元+注意力機(jī)制三種結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)分析，然后通過(guò)各結(jié)構(gòu)的F1Score來(lái)評(píng)估不同的模型結(jié)構(gòu)對(duì)于分類(lèi)任務(wù)的影響。其中，基線(xiàn)模型指的是兩個(gè)任務(wù)分支之間沒(méi)有任何聯(lián)系，兩任務(wù)除共享網(wǎng)絡(luò)的主干部分，網(wǎng)絡(luò)分支部分分別進(jìn)行獨(dú)立的訓(xùn)練學(xué)習(xí)，彼此之間互不影響；基線(xiàn)+相關(guān)性單元模型指的是在基線(xiàn)的基礎(chǔ)之上添加了4個(gè)多任務(wù)相關(guān)性單元；基線(xiàn)+相關(guān)性單元+注意力機(jī)制是在基線(xiàn)+相關(guān)性單元的基礎(chǔ)上進(jìn)一步增加了注意力機(jī)制。

[0056] 在消融實(shí)驗(yàn)中，表3和表4給出了以上模型分別在DTU數(shù)據(jù)集與Blade30數(shù)據(jù)集上的表現(xiàn)。由表3和表4可知，增加多任務(wù)相關(guān)性單元后，兩個(gè)任務(wù)可以分別學(xué)到另一個(gè)任務(wù)的領(lǐng)域知識(shí)，可以使得兩個(gè)任務(wù)分支在訓(xùn)練的過(guò)程中相互促進(jìn)，因此識(shí)別精度相較于基線(xiàn)模型得到一定提升。增加注意力機(jī)制后，網(wǎng)絡(luò)模型可以關(guān)注到圖像中更為重要的關(guān)鍵特征，因此模型的識(shí)別精度得到了進(jìn)一步的提升。消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證了所提出方法的有效性與可靠性。[0057] 表3DTU數(shù)據(jù)集下的消融實(shí)驗(yàn)表4Blade30數(shù)據(jù)集下的消融實(shí)驗(yàn)

實(shí)施例2

本公開(kāi)的一種實(shí)施例中提供了一種基于多任務(wù)關(guān)聯(lián)的風(fēng)機(jī)葉片損傷識(shí)別系統(tǒng)，包括：

圖像獲取模塊，用于獲取風(fēng)機(jī)葉片的圖像，對(duì)獲取的風(fēng)機(jī)葉片圖像進(jìn)行預(yù)處理；

特征提取模塊，用于將風(fēng)機(jī)葉片圖像輸入至多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中，所述多任務(wù)關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型包括多任務(wù)主干網(wǎng)絡(luò)和兩個(gè)子任務(wù)分支網(wǎng)絡(luò)，首先利用多任務(wù)主干網(wǎng)絡(luò)提取風(fēng)機(jī)葉片圖像的底層共享特征，之后在兩個(gè)子任務(wù)分支網(wǎng)絡(luò)中分別提取損傷位置特征以及損傷類(lèi)型特征；

識(shí)別結(jié)果輸出模塊，用于分別輸出風(fēng)機(jī)葉片損傷的位置以及損傷類(lèi)型的識(shí)別結(jié)果；

其中，將兩個(gè)子任務(wù)分支網(wǎng)絡(luò)分別在提取損傷位置特征以及損傷類(lèi)型特征時(shí)進(jìn)行特征提取任務(wù)相關(guān)聯(lián)，由線(xiàn)性映射函數(shù)將一個(gè)分支任務(wù)的損傷高維特征映射到另一個(gè)分支任務(wù)的特征提取的標(biāo)簽空間中，并通過(guò)激活函數(shù)轉(zhuǎn)換為概率分布的形式，進(jìn)而通過(guò)另一個(gè)分支任務(wù)的真實(shí)標(biāo)簽對(duì)概率分布進(jìn)行損失評(píng)價(jià)，獲取損傷位置特征以及損傷類(lèi)型特征分支任務(wù)兩者之間存在的相關(guān)性。

[0058] 本公開(kāi)是參照根據(jù)本公開(kāi)實(shí)施例的方法、設(shè)備（系統(tǒng)）、和計(jì)算機(jī)程序產(chǎn)品的流程圖和／或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和／或方框圖中的每一流程和／或方框、以及流程圖和／或方框圖中的流程和／或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專(zhuān)用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和／或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。[0059] 這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和／或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。[0060] 上述雖然結(jié)合附圖對(duì)本公開(kāi)的具體實(shí)施方式進(jìn)行了描述，但并非對(duì)本公開(kāi)保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本公開(kāi)的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本公開(kāi)的保護(hù)范圍以?xún)?nèi)。