1.本發(fā)明涉及煤礦帶式輸送機(jī)運(yùn)行監(jiān)控技術(shù)領(lǐng)域，尤其涉及一種基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法和系統(tǒng)。

背景技術(shù)：

2.全高效的煤礦主運(yùn)輸裝備是自動(dòng)化、智能化礦井中的重要組成部分，其中礦用帶式輸送機(jī)是煤礦主運(yùn)輸系統(tǒng)的關(guān)鍵設(shè)備，在礦用帶式輸送機(jī)工作過(guò)程中實(shí)現(xiàn)帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)，對(duì)于降低人工維護(hù)成本，提高采礦安全有著意義重大。

3.現(xiàn)有帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法，目前，現(xiàn)有技術(shù)是基于硬件或基于礦用輸送帶圖像處理技術(shù)的檢測(cè)方法?；谟布臋z測(cè)方法，當(dāng)其應(yīng)用于煤礦井下惡劣環(huán)境下時(shí)，容易受到粉塵、煤泥、油污等影響，硬件傳感器靈敏度降低，誤報(bào)和漏報(bào)率較高，檢測(cè)準(zhǔn)確度低，為了降低誤檢率，提高檢測(cè)準(zhǔn)確度，需要人工定期拆卸進(jìn)行標(biāo)定和校準(zhǔn)，維護(hù)成本較高；而基于礦用輸送帶圖像處理的方法，其檢測(cè)應(yīng)用復(fù)雜網(wǎng)絡(luò)模型，復(fù)雜網(wǎng)絡(luò)模型參數(shù)量大，運(yùn)行速度慢，檢測(cè)實(shí)時(shí)性受影響。

4.目前現(xiàn)有的礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法，雖然在一定程度上起到了輸送帶狀態(tài)檢測(cè)作用，但由于井下生產(chǎn)環(huán)境惡劣，檢測(cè)可靠性和檢測(cè)實(shí)時(shí)性無(wú)法得到保證，亟需研發(fā)一種檢測(cè)可靠，檢測(cè)實(shí)時(shí)性好，便于維護(hù)且成本低的礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法。

技術(shù)實(shí)現(xiàn)要素：

5.本發(fā)明要解決的技術(shù)問(wèn)題是：為了解決現(xiàn)有帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法硬件檢測(cè)時(shí)容易受環(huán)境影響，檢測(cè)準(zhǔn)確度低，維護(hù)成本高和礦用輸送帶圖像處理時(shí)實(shí)時(shí)性差的技術(shù)問(wèn)題，本發(fā)明提供一種基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法檢測(cè)可靠，檢測(cè)實(shí)時(shí)性好，便于維護(hù)且成本低，依托的硬件設(shè)備簡(jiǎn)單，布設(shè)方便，工作可靠，且算法復(fù)雜度不高，能夠運(yùn)行在礦用本安型嵌入式設(shè)備上，便于煤礦場(chǎng)景的實(shí)際應(yīng)用。

6.本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：一種基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法，所述狀態(tài)檢測(cè)包括所述輸送帶上有無(wú)煤料狀態(tài)檢測(cè)和所述輸送帶運(yùn)行狀態(tài)檢測(cè)，所述檢測(cè)方法包括：

7.步驟s1，視頻傳感器實(shí)時(shí)采集工作中所述輸送帶的帶面區(qū)域的視頻，對(duì)所述視頻按幀截圖得到多幀連續(xù)的礦用輸送帶圖像；

8.步驟s2，所述視頻傳感器對(duì)所述礦用輸送帶圖像進(jìn)行分析處理，根據(jù)所述礦用輸送帶圖像檢測(cè)所述輸送帶上有無(wú)煤料狀態(tài)和所述輸送帶運(yùn)行狀態(tài)；

9.步驟s3，所述視頻傳感器根據(jù)檢測(cè)結(jié)果顯示處理后的所述礦用輸送帶圖像，處理后的所述礦用輸送帶圖像包括所述輸送帶上有/無(wú)煤料和所述輸送帶是/否運(yùn)行；

10.若所述檢測(cè)結(jié)果是所述輸送帶為運(yùn)動(dòng)狀態(tài)，且所述輸送帶上有煤料時(shí)，返回步驟s2繼續(xù)檢測(cè)；

11.若所述檢測(cè)結(jié)果是所述輸送帶為停止?fàn)顟B(tài)，且所述輸送帶上無(wú)煤料時(shí)，所述視頻傳感器記錄礦用輸送帶圖像，發(fā)出報(bào)警信號(hào)后，返回步驟s2繼續(xù)檢測(cè)。

12.進(jìn)一步，具體地，所述步驟s2包括通過(guò)所述視頻傳感器的gpu對(duì)所述礦用輸送帶圖像進(jìn)行有無(wú)煤料狀態(tài)推理分析和通過(guò)所述視頻傳感器的cpu對(duì)所述礦用輸送帶圖像進(jìn)行運(yùn)行狀態(tài)檢測(cè)分析。

13.進(jìn)一步，具體地，所述步驟s2對(duì)所述礦用輸送帶圖像進(jìn)行有無(wú)煤料狀態(tài)分析包括以下步驟：

14.步驟s211：所述視頻傳感器采集部分所述輸送帶的帶面區(qū)域的有無(wú)煤料視頻圖像，將所有的有無(wú)煤料視頻圖像制作成數(shù)據(jù)集；

15.步驟s212：將所述數(shù)據(jù)集打上標(biāo)簽，將所述數(shù)據(jù)集分為訓(xùn)練集、測(cè)試集和驗(yàn)證集；

16.步驟s213：對(duì)所述數(shù)據(jù)集進(jìn)行預(yù)處理；

17.步驟s214：基于pytorch深度學(xué)習(xí)框架搭建resnet18網(wǎng)絡(luò)模型，將所述數(shù)據(jù)集轉(zhuǎn)換成所述resnet18網(wǎng)絡(luò)模型識(shí)別的輸入向量；

18.步驟s215：給定所述輸入向量和目標(biāo)值到所述resnet18網(wǎng)絡(luò)模型中，對(duì)所述resnet18網(wǎng)絡(luò)模型訓(xùn)練，獲取性能優(yōu)異的權(quán)重文件；

19.步驟s216：利用所述resnet18網(wǎng)絡(luò)模型加載所述權(quán)重文件對(duì)所述礦用輸送帶圖像進(jìn)行推理，所述推理結(jié)果包括所述輸送帶為有煤料狀態(tài)或所述輸送帶為無(wú)煤料狀態(tài)。

20.進(jìn)一步，具體地，所述步驟s2對(duì)所述礦用輸送帶圖像進(jìn)行運(yùn)行狀態(tài)分析包括以下步驟：

21.步驟s221：對(duì)所述礦用輸送帶圖像灰度化處理，將所述礦用輸送帶圖像轉(zhuǎn)換為灰度圖像；

22.步驟s222：基于shi-tomasi算法，提取所述多幀連續(xù)的礦用輸送帶圖像中第一幀灰度圖像的特征點(diǎn)，形成第一特征點(diǎn)集合，所述第一特征點(diǎn)的集合為{(x0，y0)，(x1，y1)，

……

(xj，yj)}，其中，j＝0,1

…

j，將所述第一特征點(diǎn)作為初始跟蹤點(diǎn)；

23.步驟s223：自第二幀灰度圖像開(kāi)始至最后一幀灰度圖像，基于所述第一特征點(diǎn)集合中的特征點(diǎn)，利用lucas-kanade光流算法，對(duì)當(dāng)前幀灰度圖像進(jìn)行特征點(diǎn)跟蹤，獲得當(dāng)前幀灰度圖像的第二特征點(diǎn)集合，所述第二特征點(diǎn)的集合為{(x0，y0)，(x1，y1)，

……

(xj，yj)}，將所述第二特征點(diǎn)作為終點(diǎn)跟蹤點(diǎn)；

24.步驟s224：根據(jù)所述第一特征點(diǎn)和所述第二特征點(diǎn)的位置，計(jì)算所述第一特征點(diǎn)和所述第二特征點(diǎn)的運(yùn)動(dòng)方向，將所述運(yùn)動(dòng)方向與基準(zhǔn)角度方向比較：

25.若所述運(yùn)動(dòng)方向與所述基準(zhǔn)角度方向一致，則計(jì)數(shù)值加1；

26.若所述運(yùn)動(dòng)方向與所述基準(zhǔn)角度方向不一致，則不計(jì)數(shù)；

27.步驟s225：計(jì)算所述計(jì)數(shù)值的總數(shù)與所有的所述第一特征點(diǎn)和所述第二特征點(diǎn)的總數(shù)之間比例p；

28.步驟s226：將比例p與設(shè)定閾值k比較：

29.若p》k，則表示所述輸送帶為運(yùn)行狀態(tài)；

30.若p《k，則表示所述輸送帶為停止?fàn)顟B(tài)；

31.步驟s227：將所述當(dāng)前幀灰度圖像的第二特征點(diǎn)真作為下一幀灰度圖像的所述初始跟蹤點(diǎn)，重復(fù)步驟s223～s224，直至所述視頻傳感器視頻采集完成。

32.進(jìn)一步，具體地，所述步驟s222包括以下步驟：

33.s2221：將所述第一幀灰度圖像作為shi-tomasi算法的輸入圖像，設(shè)定檢測(cè)出最大特征點(diǎn)的個(gè)數(shù)為n，所述第一幀灰度圖像為i(x,y)，首先，計(jì)算i(x,y)在水平方向的梯度i

x

和垂直方向上的梯度iy，計(jì)算公式為：

34.i

x

＝i*[-1 0 1]；

[0035]iy

＝i*[-1 0 1]

t

；

[0036]

接著，計(jì)算水平方向和垂直方向上梯度的乘積，計(jì)算公式為；

[0037][0038][0039]ixiy

＝i

x

*iy；

[0040]

然后，使用高斯函數(shù)對(duì)i

xiy

進(jìn)行高斯加權(quán)，以所述第一幀灰度圖像i(x,y)為中心加窗形成窗口圖像ω(x,y)，計(jì)算所述窗口圖像ω(x,y)對(duì)應(yīng)的協(xié)方差矩陣m，計(jì)算公式為：

[0041][0042][0043]

c＝∑

(x,y)∈w g(i

xiy

)＝∑

(x,y)∈w i

xiy

*ω(x,y)；

[0044][0045]

再利用所述協(xié)方差矩陣m計(jì)算對(duì)應(yīng)每個(gè)像素的角點(diǎn)響應(yīng)函數(shù)r，計(jì)算公式為：

[0046]

r＝det(m)-k(trace(m))2；

[0047]

其中，det(m)＝λ1λ2是矩陣m的行列式，trace(m)＝λ1+λ2是矩陣的跡。λ1和λ2是矩陣m的特征值，k是一個(gè)經(jīng)驗(yàn)常數(shù)，k的取值范圍為(0.04，0.06)；

[0048]

最后，過(guò)濾大于某一閾值t的相應(yīng)值r后得到角點(diǎn)，所述角點(diǎn)為特征點(diǎn)；

[0049]

步驟s2222：判斷檢測(cè)出的所述特征點(diǎn)中有效第一特征點(diǎn)及所述有效第一特征點(diǎn)的總數(shù)；

[0050]

若相鄰兩個(gè)第一特征點(diǎn)之間距離小于1，則判定所述第一特征點(diǎn)為無(wú)效特征點(diǎn)，并進(jìn)行刪除；

[0051]

若相鄰兩個(gè)第一特征點(diǎn)之間距離大于等于1，則判定所述第一特征點(diǎn)為有效特征點(diǎn)，并進(jìn)行保存；

[0052]

步驟是2223：將所有有效第一特征點(diǎn)作為初始跟蹤點(diǎn)。

[0053]

進(jìn)一步，具體地，在步驟223中，對(duì)不符合要求的所述第一特征點(diǎn)和所述第二特征點(diǎn)進(jìn)行篩除，保存符合要求的所述第一特征點(diǎn)和所述第二特征點(diǎn)，當(dāng)?shù)谝惶卣鼽c(diǎn)和第二特征點(diǎn)之間滿足|x

j-xj|+|y

j-yj|》2時(shí)，所述第二特征點(diǎn)(xj，yj)符合要求，保存所述第二特征點(diǎn)以及與所述第二特征點(diǎn)對(duì)應(yīng)的所述第一特征點(diǎn)。

[0054]

進(jìn)一步，具體地，所述步驟s224包括以下步驟：

[0055]

步驟s2241：所述第一特征點(diǎn)和所述第二特征點(diǎn)之間的弧度計(jì)算，計(jì)算公式為；

[0056]

步驟s2242：將所述弧度轉(zhuǎn)換成角度，計(jì)算公式為：

[0057]

步驟s2243：計(jì)算所述基準(zhǔn)角度，所述基準(zhǔn)角度為所述第一特征點(diǎn)的集合和所述第二特征點(diǎn)的集合形成的角度之和的平均值；

[0058]

步驟s2244：計(jì)算所述角度與所述基準(zhǔn)角度的絕對(duì)值，并與設(shè)定的角度閾值比較：

[0059]

若絕對(duì)值小于所述角度閾值，所述運(yùn)動(dòng)方向與所述基準(zhǔn)角度方向一致；若所述絕對(duì)值大于或等于所述角度閾值，所述運(yùn)動(dòng)方向與所述基準(zhǔn)角度方向不一致。

[0060]

一種基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)系統(tǒng)，采用如上所述基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法的所述檢測(cè)系統(tǒng)包括：輸送機(jī)，所述輸送機(jī)包括輸送帶，在所述輸送帶上方設(shè)置有龍門架；視頻傳感器，所述視頻傳感器安裝在所述龍門架正中間，所述視頻傳感器與所述輸送帶的帶面傾斜角度為45

°

～75

°

。

[0061]

進(jìn)一步，具體地，所述視頻傳感器為視頻采集、視頻分析和融合計(jì)算的軟硬件一體化設(shè)備，所述視頻傳感器內(nèi)設(shè)置有視覺(jué)圖像處理模塊和ai加速模塊。

[0062]

進(jìn)一步，具體地，所述視頻傳感器上電后，所述視頻傳感器的攝像頭位于所述輸送帶的上方，所述攝像頭朝向所述輸送帶的帶面設(shè)置，所述攝像頭采集所述輸送帶帶面區(qū)域的所述視頻，所述帶面區(qū)域的寬度占所述視頻寬度的2/3。

[0063]

本發(fā)明的有益效果是：

[0064]

(1)本發(fā)明提供一種基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法通過(guò)視頻傳感器實(shí)時(shí)采集圖像，并處理分析，檢測(cè)可靠，檢測(cè)實(shí)時(shí)性好；

[0065]

(2)本發(fā)明算法復(fù)雜度不高，運(yùn)行速度快，通過(guò)視覺(jué)圖像處理算法能夠提高檢測(cè)準(zhǔn)確率和監(jiān)測(cè)效率，通過(guò)檢測(cè)結(jié)果，視頻傳感器記錄此時(shí)的礦用輸送帶圖像，發(fā)出報(bào)警信號(hào)后，能夠?qū)崟r(shí)監(jiān)測(cè)輸送帶的狀態(tài)，且便于回放；

[0066]

(3)本發(fā)明依托的硬件設(shè)備簡(jiǎn)單，布設(shè)方便，工作可靠，能夠運(yùn)行在礦用本安型嵌入式設(shè)備上，便于煤礦場(chǎng)景的實(shí)際應(yīng)用。

[0067]

(4)本發(fā)明基于圖像識(shí)別能夠?qū)鎱^(qū)域進(jìn)行實(shí)時(shí)處理，不需要人進(jìn)行巡視，減少人力成本。

附圖說(shuō)明

[0068]

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說(shuō)明。

[0069]

圖1是本發(fā)明實(shí)施例檢測(cè)系統(tǒng)的結(jié)構(gòu)示意圖。

[0070]

圖2是本發(fā)明實(shí)施例檢測(cè)方法流程圖。

[0071]

圖3是本發(fā)明實(shí)施例檢測(cè)方法詳細(xì)流程圖。

[0072]

圖4是本發(fā)明實(shí)施例resnet18網(wǎng)絡(luò)模型詳細(xì)訓(xùn)練流程圖。

[0073]

圖5是本發(fā)明實(shí)施例resnet18網(wǎng)絡(luò)模型詳細(xì)推理流程圖。

[0074]

圖6是本發(fā)明實(shí)施例檢測(cè)方法檢測(cè)到的初始特征點(diǎn)示意圖。

[0075]

圖7是本發(fā)明是合理檢測(cè)方法輸送帶有煤料且為運(yùn)行狀態(tài)示意圖。

[0076]

圖8是本發(fā)明是合理檢測(cè)方法輸送帶無(wú)煤料且為停止?fàn)顟B(tài)示意圖。

[0077]

圖中1、輸送機(jī)；2、輸送帶；3、視頻傳感器；4、龍門架。

具體實(shí)施方式

[0078]

現(xiàn)在結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。這些附圖均為簡(jiǎn)化的示意圖，僅以示意方式說(shuō)明本發(fā)明的基本結(jié)構(gòu)，因此其僅顯示與本發(fā)明有關(guān)的構(gòu)成。

[0079]

在本發(fā)明的描述中，需要理解的是，術(shù)語(yǔ)“中心”、“縱向”、“橫向”、“長(zhǎng)度”、“寬度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”“內(nèi)”、“外”、“順時(shí)針”、“逆時(shí)針”、“軸向”、“徑向”、“周向”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隱含地包括一個(gè)或者更多個(gè)該特征。在本發(fā)明的描述中，除非另有說(shuō)明，“多個(gè)”的含義是兩個(gè)或兩個(gè)以上。

[0080]

在本發(fā)明的描述中，需要說(shuō)明的是，除非另有明確的規(guī)定和限定，術(shù)語(yǔ)“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過(guò)中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。

[0081]

如圖1所示的一種基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)系統(tǒng)，包括：輸送機(jī)1和視頻傳感器3，輸送機(jī)1上設(shè)置有輸送帶2，在輸送帶2的上方設(shè)置有龍門架4，視頻傳感器3與輸送帶2的帶面傾斜角度為45

°

～75

°

，優(yōu)選將視頻傳感器3設(shè)置在龍門架4的正中間，使得視頻傳感器3能夠采集帶輸送帶2整個(gè)帶面的圖像。視頻傳感器3上電后，視頻傳感器3的攝像頭位于輸送帶2的上方，攝像頭朝向輸送帶2的帶面設(shè)置，攝像頭采集輸送帶帶面區(qū)域的視頻，對(duì)視頻傳感器3的攝像頭進(jìn)行參數(shù)配置，攝像頭的參數(shù)包括但不限于增益、分辨率和曝光時(shí)間，帶面區(qū)域的寬度占視頻寬度的2/3，攝像頭采集的視頻能夠完整覆蓋整個(gè)帶面區(qū)域和托輥，避免輸送帶外側(cè)的工作人員進(jìn)入視頻內(nèi)，從而對(duì)檢測(cè)方法形成干擾，影響檢測(cè)的準(zhǔn)確度。

[0082]

在本發(fā)明實(shí)施例中，視頻傳感器3為視頻采集、視頻分析和融合計(jì)算的軟硬件一體化設(shè)備，且構(gòu)建于低功耗嵌入式系統(tǒng)，滿足煤礦井下安全要求和實(shí)施應(yīng)用。視頻傳感器3內(nèi)設(shè)置有視覺(jué)圖像處理模塊和ai加速模塊。具體的，視頻圖像處理模塊在視頻傳感器的cpu上運(yùn)行，視頻圖像處理模塊內(nèi)設(shè)置有基于opencv開(kāi)發(fā)的一套跨平臺(tái)的視覺(jué)算法，該視覺(jué)算法以動(dòng)態(tài)鏈接庫(kù)的方式運(yùn)行于視頻圖像處理模塊，用于輸送帶2運(yùn)行狀態(tài)檢測(cè)。ai加速模塊為視頻傳感器中的的gpu模塊，基于pytorch深度學(xué)習(xí)框架搭建的resnet18網(wǎng)絡(luò)模型通過(guò)gpu模塊加速推理，用于輸送帶2有無(wú)煤料狀態(tài)檢測(cè)。當(dāng)輸送帶2由運(yùn)動(dòng)狀態(tài)到停止?fàn)顟B(tài)的轉(zhuǎn)換，或輸送帶2上有煤料狀態(tài)到無(wú)煤料狀態(tài)轉(zhuǎn)換時(shí)，視頻傳感器3記錄30s的視頻圖像保存在本地磁盤，并發(fā)出報(bào)警信號(hào)，視頻圖像便于礦用帶式輸送機(jī)輸送帶狀態(tài)實(shí)時(shí)監(jiān)測(cè)和回放。

[0083]

如圖2所示為一種基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法，檢測(cè)方法包括以下步驟：

[0084]

步驟s1，視頻傳感器3實(shí)時(shí)采集工作中輸送帶2的帶面區(qū)域的視頻，對(duì)視頻按幀截圖得到多幀連續(xù)的礦用輸送帶圖像。

[0085]

步驟s2，視頻傳感器3對(duì)礦用輸送帶圖像進(jìn)行分析處理，根據(jù)礦用輸送帶圖像檢測(cè)輸送帶2上有無(wú)煤料狀態(tài)和輸送帶2運(yùn)行狀態(tài)。具體的，通過(guò)視頻傳感器3的gpu對(duì)礦用輸送帶圖像進(jìn)行有無(wú)煤料狀態(tài)推理分析和通過(guò)視頻傳感器3的cpu對(duì)礦用輸送帶圖像進(jìn)行運(yùn)行狀態(tài)檢測(cè)分析。

[0086]

步驟s3，視頻傳感器3根據(jù)檢測(cè)結(jié)果顯示處理后的礦用輸送帶圖像，處理后的礦用輸送帶圖像包括輸送帶2上有/無(wú)煤料和輸送帶2是/否運(yùn)行；若檢測(cè)結(jié)果是輸送帶為運(yùn)動(dòng)狀態(tài)，且輸送帶2上有煤料時(shí)，返回步驟s2繼續(xù)檢測(cè)；若檢測(cè)結(jié)果是輸送帶為停止?fàn)顟B(tài)，且輸送帶2上無(wú)煤料時(shí)，視頻傳感器3記錄30s的礦用輸送帶圖像，發(fā)出報(bào)警信號(hào)后，返回步驟s2繼續(xù)檢測(cè)。

[0087]

如圖3所示，在本發(fā)明實(shí)施例中，步驟s2對(duì)礦用輸送帶圖像進(jìn)行有無(wú)煤料狀態(tài)分析包括以下步驟：

[0088]

步驟s211：視頻傳感器3采集部分輸送帶2的帶面區(qū)域的有無(wú)煤料視頻圖像，將所有的有無(wú)煤料視頻圖像制作成數(shù)據(jù)集，數(shù)據(jù)集的分辨率為640

×

480，數(shù)據(jù)集包括有煤料數(shù)據(jù)集和無(wú)煤料數(shù)據(jù)集。

[0089]

步驟s212：將數(shù)據(jù)集打上標(biāo)簽，將數(shù)據(jù)集分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。具體的，將數(shù)據(jù)集的3/5作為訓(xùn)練集，數(shù)據(jù)集的1/5作為測(cè)試集，剩余數(shù)據(jù)集1/5作為驗(yàn)證集，進(jìn)一步的，若數(shù)據(jù)集共有642張圖像，將數(shù)據(jù)集打上標(biāo)簽后，隨機(jī)抽取386張圖像作為訓(xùn)練集，在剩下的256張圖像中再次隨機(jī)抽取128張圖像作為測(cè)試集，剩余的128張圖像作為驗(yàn)證集。

[0090]

步驟s213：對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，預(yù)處理包括但不限于對(duì)數(shù)據(jù)集中圖像的增強(qiáng)、旋轉(zhuǎn)以及縮放到統(tǒng)一尺寸，可以通過(guò)對(duì)圖像進(jìn)行飽和度或曝光度等參數(shù)設(shè)置。

[0091]

步驟s214：基于pytorch深度學(xué)習(xí)框架搭建resnet18網(wǎng)絡(luò)模型，將數(shù)據(jù)集轉(zhuǎn)換成resnet18網(wǎng)絡(luò)模型識(shí)別的輸入向量。

[0092]

步驟s215：給定輸入向量和目標(biāo)值到resnet18網(wǎng)絡(luò)模型中，對(duì)resnet18網(wǎng)絡(luò)模型訓(xùn)練，獲取性能優(yōu)異的權(quán)重文件。resnet18網(wǎng)絡(luò)模型訓(xùn)練流程如圖4所示，具體步驟如下：

[0093]

s2151：對(duì)resnet18網(wǎng)絡(luò)模型進(jìn)行權(quán)值的初始化操作。

[0094]

s2152：輸入向量經(jīng)過(guò)resnet18網(wǎng)絡(luò)模型中的卷積層、下采樣層、全連接層等的前向傳播得到輸出值。

[0095]

s2153：將輸出值和目標(biāo)值輸入到resnet18網(wǎng)絡(luò)模型損失函數(shù)中計(jì)算損失函數(shù)總誤差，根據(jù)損失函數(shù)總誤差來(lái)反向傳播計(jì)算各層的誤差和誤差梯度，進(jìn)而更新每個(gè)卷積核的權(quán)值。

[0096]

s2154：對(duì)resnet18網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，若訓(xùn)練輪次達(dá)到預(yù)設(shè)的總的迭代輪次時(shí)，則結(jié)束resnet18網(wǎng)絡(luò)模型訓(xùn)練，保存總的迭代輪次中性能最優(yōu)的權(quán)重文件，若訓(xùn)練輪次未達(dá)到預(yù)設(shè)的總的迭代輪次，則返回步驟s2151。

[0097]

步驟s216：利用resnet18網(wǎng)絡(luò)模型加載訓(xùn)練好的權(quán)重文件對(duì)礦用輸送帶圖像進(jìn)行推理，將礦用輸送帶圖像傳輸至resnet18網(wǎng)絡(luò)模型，使用訓(xùn)練好的權(quán)重文件對(duì)礦用輸送帶圖像進(jìn)行推理分析，推理結(jié)果包括輸送帶2為有煤料狀態(tài)或輸送帶2為無(wú)煤料狀態(tài)。如圖5所示，具體步驟如下：

[0098]

s2161：讀取步驟s1中的礦用輸送帶圖像，對(duì)礦用輸送帶圖像進(jìn)行預(yù)處理，獲取圖像數(shù)據(jù)，具體的，預(yù)處理后的圖像中每個(gè)像素點(diǎn)都有對(duì)應(yīng)的像素值，圖像數(shù)據(jù)為圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)的像素值組成的特征向量。

[0099]

s2162：resnet18網(wǎng)絡(luò)模型加載訓(xùn)練好的權(quán)重文件后，將獲取的圖像數(shù)據(jù)輸入至resnet18網(wǎng)絡(luò)模型中。

[0100]

s2163：通過(guò)resnet18網(wǎng)絡(luò)模型的權(quán)重文件對(duì)圖像數(shù)據(jù)進(jìn)行推理分析，經(jīng)過(guò)前向傳播后輸出推理結(jié)果。

[0101]

s2164：獲取推理結(jié)果，將推理結(jié)果轉(zhuǎn)換成標(biāo)簽名稱，并將標(biāo)簽名稱打印輸出，推理結(jié)果包括0和1，設(shè)定1為有煤料狀態(tài)，0為無(wú)煤料狀態(tài)，標(biāo)簽名稱為有煤料狀態(tài)和無(wú)煤料狀態(tài)，根據(jù)推理結(jié)果轉(zhuǎn)換并輸出標(biāo)簽名稱。

[0102]

在本發(fā)明實(shí)施例中，對(duì)輸送帶2有煤料或無(wú)煤料檢測(cè)的同時(shí)，還對(duì)礦用輸送帶圖像進(jìn)行運(yùn)行狀態(tài)檢測(cè)，進(jìn)而提高了檢測(cè)速度，步驟s2對(duì)礦用輸送帶圖像進(jìn)行運(yùn)行狀態(tài)分析包括以下步驟：

[0103]

步驟s221：對(duì)礦用輸送帶圖像灰度化處理，將礦用輸送帶圖像轉(zhuǎn)換為灰度圖像。

[0104]

步驟s222：基于shi-tomasi算法，提取多幀連續(xù)的礦用輸送帶圖像中第一幀灰度圖像的特征點(diǎn)，形成第一特征點(diǎn)集合，第一特征點(diǎn)的集合為{(x0，y0)，(x1，y1)，

……

(xj，yj)}，其中，j＝0,1

…

j，將第一特征點(diǎn)作為初始跟蹤點(diǎn)。

[0105]

具體的，步驟s222包括以下步驟：

[0106]

s2221：將第一幀灰度圖像作為shi-tomasi算法的輸入圖像，設(shè)定檢測(cè)出最大特征點(diǎn)的個(gè)數(shù)為n，第一幀灰度圖像為i(x,y)，先計(jì)算i(x,y)在水平方向的梯度i

x

和垂直方向上的梯度iy，計(jì)算公式為：

[0107]ix

＝i*[-1 0 1]；

[0108]iy

＝i*[-1 0 1]

t

；

[0109]

接著，計(jì)算水平方向和垂直方向上梯度的乘積，計(jì)算公式為；

[0110][0111][0112]ixiy

＝i

x

*iy；

[0113]

其次，使用高斯函數(shù)對(duì)i

xiy

進(jìn)行高斯加權(quán)，其中，σ＝2，ksize＝3，以第一幀灰度圖像i(x,y)為中心加窗形成窗口圖像ω(x,y)，計(jì)算窗口圖像ω(x,y)對(duì)應(yīng)的協(xié)方差矩陣m，計(jì)算公式為：

[0114][0115][0116]

c＝∑

(x,y)∈w g(i

xiy

)＝∑

(x,y)∈w i

xiy

*ω(x,y)；

[0117][0118]

然后，利用m計(jì)算對(duì)應(yīng)每個(gè)像素的角點(diǎn)響應(yīng)函數(shù)r，計(jì)算公式為：

[0119]

r＝det(m)-k(trace(m))2；

[0120]

其中，det(m)＝λ1λ2是矩陣m的行列式，trace(m)＝λ1+λ2是矩陣的跡。λ1和λ2是矩陣m的特征值，k是一個(gè)經(jīng)驗(yàn)常數(shù)，k的取值范圍為(0.04，0.06)。

[0121]

在本發(fā)明實(shí)施例中，由于每個(gè)像素的角點(diǎn)穩(wěn)定性和矩陣m的較小特征值有關(guān)，而k是一個(gè)經(jīng)驗(yàn)常數(shù)，當(dāng)k無(wú)法設(shè)定最佳值時(shí)，故每個(gè)像素的角點(diǎn)響應(yīng)函數(shù)r計(jì)算公式改寫如下：

[0122]

r＝min(λ1,λ2)

[0123]

最后，過(guò)濾大于某一閾值t的響應(yīng)函數(shù)r后得到角點(diǎn)，此角點(diǎn)為特征點(diǎn)。

[0124]

步驟s2222：判斷檢測(cè)出的特征點(diǎn)中有效第一特征點(diǎn)及有效第一特征點(diǎn)的總數(shù)；若相鄰兩個(gè)第一特征點(diǎn)之間距離小于1，則判定第一特征點(diǎn)為無(wú)效特征點(diǎn)，并進(jìn)行刪除；若相鄰兩個(gè)第一特征點(diǎn)之間距離大于等于1，則判定第一特征點(diǎn)為有效特征點(diǎn)并進(jìn)行保存。

[0125]

步驟是2223：將所有有效第一特征點(diǎn)作為初始跟蹤點(diǎn)，如圖6所示。

[0126]

步驟s223：自第二幀灰度圖像開(kāi)始至最后一幀灰度圖像，基于第一特征點(diǎn)集合中的特征點(diǎn)，利用lucas-kanade光流算法，對(duì)當(dāng)前幀灰度圖像進(jìn)行特征點(diǎn)跟蹤，獲得當(dāng)前幀灰度圖像的第二特征點(diǎn)集合，第二特征點(diǎn)的集合為{(x0，y0)，(x1，y1)，

……

(xj，yj)}，其中，j＝0,1

…

j，將第二特征點(diǎn)作為終點(diǎn)跟蹤點(diǎn)。利用lucas-kanade光流算法需要提前設(shè)置三個(gè)假設(shè)條件：首先，在同一點(diǎn)隨著時(shí)間的變化，其亮度不會(huì)發(fā)生改變；其次，隨著時(shí)間的變化不會(huì)引起位置的突變；最后，在同一場(chǎng)景下臨近的點(diǎn)投影到圖像上也是臨近的點(diǎn)，且臨近點(diǎn)運(yùn)動(dòng)速度一致。lucas-kanade光流算法技術(shù)思想為：給定一個(gè)模板t和一個(gè)輸入i，以及一個(gè)或多個(gè)變換w，求一個(gè)參數(shù)最佳的變換w，使公式最小化：個(gè)變換w，求一個(gè)參數(shù)最佳的變換w，使公式最小化：在求最優(yōu)解的時(shí)候，假設(shè)目前變換參數(shù)已知，并迭代計(jì)算的增量使得更新后的能令比原來(lái)更小，公式修改為

[0127]

在步驟223中，還需對(duì)不符合要求的第一特征點(diǎn)和第二特征點(diǎn)進(jìn)行篩除，保存符合要求的第一特征點(diǎn)和第二特征點(diǎn)，當(dāng)?shù)谝惶卣鼽c(diǎn)和第二特征點(diǎn)之間滿足|x

j-xj|+|y

j-yj|》2時(shí)，第二特征點(diǎn)(xj，yj)符合要求，保存第二特征點(diǎn)以及與第二特征點(diǎn)對(duì)應(yīng)的第一特征點(diǎn)。

[0128]

步驟s224：根據(jù)第一特征點(diǎn)和第二特征點(diǎn)的位置，算第一特征點(diǎn)和第二特征點(diǎn)的運(yùn)動(dòng)方向，將運(yùn)動(dòng)方向與基準(zhǔn)角度方向比較，若運(yùn)動(dòng)方向與基準(zhǔn)角度方向一致，則計(jì)數(shù)值加1；若運(yùn)動(dòng)方向與基準(zhǔn)角度方向不一致，則不計(jì)數(shù)。

[0129]

具體的，步驟s224包括以下步驟：

[0130]

步驟s2241：以第一特征點(diǎn)為起點(diǎn)，第二特征點(diǎn)為終點(diǎn)，設(shè)第一特征點(diǎn)的位置為(xj，yj)，第二特征點(diǎn)的位置(xj，yj)，計(jì)算第一特征點(diǎn)和第二特征點(diǎn)之間的弧度，計(jì)算公式為；

[0131]

步驟s2242：將弧度轉(zhuǎn)換成角度，計(jì)算公式為：

[0132]

步驟s2243：計(jì)算基準(zhǔn)角度，基準(zhǔn)角度為第一特征點(diǎn)的集合和第二特征點(diǎn)的集合形成的角度之和的平均值。

[0133]

步驟s2244：計(jì)算角度與基準(zhǔn)角度的絕對(duì)值，并與設(shè)定的角度閾值比較，設(shè)定的角度閾值，若絕對(duì)值小于角度閾值，運(yùn)動(dòng)方向與基準(zhǔn)角度方向一致，計(jì)數(shù)值加1；若絕對(duì)值大于或等于角度閾值，運(yùn)動(dòng)方向與基準(zhǔn)角度方向不一致，不計(jì)數(shù)，角度閾值的范圍為30

°

～60

°

，角度閾值優(yōu)選60

°

，測(cè)量算法的魯棒性強(qiáng)，誤檢率低，檢測(cè)的準(zhǔn)確高。

[0134]

步驟s225：根據(jù)計(jì)數(shù)值的總數(shù)nua與所有第一特征點(diǎn)和第二特征點(diǎn)的總數(shù)nub的比例p，即

[0135]

步驟s226：將p與設(shè)定閾值k比較，若p》k，則表示輸送帶2為運(yùn)行狀態(tài)；若p《k，則表示輸送帶2為停止?fàn)顟B(tài)，并在視頻傳感器3上。

[0136]

步驟s227：將當(dāng)前幀灰度圖像的第二特征點(diǎn)作為下一幀灰度圖像的初始跟蹤點(diǎn)，重復(fù)步驟s223～s224，直至視頻傳感器3視頻采集完成。

[0137]

在步驟s3中，視頻傳感器3顯示處理后的礦用輸送帶圖像，當(dāng)檢測(cè)結(jié)果是有煤料且為運(yùn)行狀態(tài)時(shí)，當(dāng)前幀圖像中的第二特征點(diǎn)為終點(diǎn)，第一幀圖像中的第一特征點(diǎn)為起點(diǎn)，在視頻傳感器3上顯示當(dāng)前幀圖像起點(diǎn)至終點(diǎn)的運(yùn)動(dòng)軌跡，并在當(dāng)前幀圖像中顯示“belt rotation，coal”，如圖7所示，其中，“belt rotation，coal”表示輸送帶2有煤料且為運(yùn)行狀態(tài)；反之，當(dāng)檢測(cè)結(jié)果是無(wú)煤料且為停止?fàn)顟B(tài)時(shí)，視頻傳感器3上不顯示當(dāng)前幀圖像起點(diǎn)至終點(diǎn)的運(yùn)動(dòng)軌跡，但是在當(dāng)前幀圖像中顯示“belt stop rotation，no coal”，如圖8所示，其中，“belt stop rotation，no coal”表示無(wú)煤料且為停止?fàn)顟B(tài)。

[0138]

本發(fā)明提供一種基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法通過(guò)視頻傳感器實(shí)時(shí)采集圖像，并處理分析，檢測(cè)可靠，檢測(cè)實(shí)時(shí)性好；算法復(fù)雜度不高，運(yùn)行速度快，通過(guò)視覺(jué)圖像處理算法能夠提高檢測(cè)準(zhǔn)確率和監(jiān)測(cè)效率，通過(guò)檢測(cè)結(jié)果，視頻傳感器記錄此時(shí)的礦用輸送帶圖像，發(fā)出報(bào)警信號(hào)后，能夠?qū)崟r(shí)監(jiān)測(cè)輸送帶的狀態(tài)，且便于回放；依托的硬件設(shè)備簡(jiǎn)單，布設(shè)方便，工作可靠，能夠運(yùn)行在礦用本安型嵌入式設(shè)備上，便于煤礦場(chǎng)景的實(shí)際應(yīng)用，另外，基于圖像識(shí)別能夠?qū)鎱^(qū)域進(jìn)行實(shí)時(shí)處理，不需要人進(jìn)行巡視，減少人力成本。

[0139]

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可存儲(chǔ)于一非易失性計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，本技術(shù)所提供的各實(shí)施例中所使用的對(duì)存儲(chǔ)器、存儲(chǔ)、數(shù)據(jù)庫(kù)或其它介質(zhì)的任何引用，均可包括非易失性和/或易失性存儲(chǔ)器。非易失性存儲(chǔ)器可包括只讀存儲(chǔ)器(rom)、可編程rom(prom)、電可編程rom(eprom)、電可擦除可編程rom(eeprom)或閃存。易失性存儲(chǔ)器可包括隨機(jī)存取存儲(chǔ)器(ram)或者外部高速緩沖存儲(chǔ)器。作為說(shuō)明而非局限，ram以多種形式可得，諸如靜態(tài)ram(sram)、動(dòng)態(tài)ram(dram)、同步dram(sdram)、雙數(shù)據(jù)率sdram(ddrsdram)、增強(qiáng)型sdram(esdram)、存儲(chǔ)器總線(rambus)直接ram(rdram)、直接存儲(chǔ)器總線動(dòng)態(tài)ram(drdram)、以及存儲(chǔ)器總線動(dòng)態(tài)ram(rdram)等。

[0140]

本領(lǐng)域技術(shù)人員在考慮說(shuō)明書及實(shí)踐這里發(fā)明的發(fā)明后，將容易想到本發(fā)明的其它實(shí)施方案。本技術(shù)旨在涵蓋本發(fā)明的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本發(fā)明的一般性原理并包括本發(fā)明未發(fā)明的本技術(shù)領(lǐng)域中的公知常識(shí)或慣用技術(shù)手段。說(shuō)明書和實(shí)施例僅被視為示例性的，本發(fā)明的真正范圍和精神由下面的權(quán)利要求指出。

[0141]

應(yīng)當(dāng)理解的是，本發(fā)明并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進(jìn)行各種修改和改變。本發(fā)明的范圍僅由所附的權(quán)利要求來(lái)限制。技術(shù)特征：

1.一種基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法，其特征在于：所述狀態(tài)檢測(cè)包括所述輸送帶(2)上有無(wú)煤料狀態(tài)的檢測(cè)和所述輸送帶(2)運(yùn)行狀態(tài)的檢測(cè)，所述檢測(cè)方法包括：步驟s1，視頻傳感器(3)實(shí)時(shí)采集工作中所述輸送帶(2)的帶面區(qū)域的視頻，對(duì)所述視頻按幀截圖得到多幀連續(xù)的礦用輸送帶圖像；步驟s2，所述視頻傳感器(3)對(duì)所述礦用輸送帶圖像進(jìn)行分析處理，根據(jù)所述礦用輸送帶圖像檢測(cè)所述輸送帶(2)上有無(wú)煤料狀態(tài)和所述輸送帶(2)運(yùn)行狀態(tài)；步驟s3，所述視頻傳感器(3)根據(jù)檢測(cè)結(jié)果顯示處理后的所述礦用輸送帶圖像，處理后的所述礦用輸送帶圖像包括所述輸送帶(2)上有/無(wú)煤料和所述輸送帶(2)是/否運(yùn)行；若所述檢測(cè)結(jié)果是所述輸送帶(2)為運(yùn)動(dòng)狀態(tài)，且所述輸送帶(2)上有煤料時(shí)，返回步驟s2繼續(xù)檢測(cè)；若所述檢測(cè)結(jié)果是所述輸送帶(2)為停止?fàn)顟B(tài)，且所述輸送帶(2)上無(wú)煤料時(shí)，所述視頻傳感器(3)記錄礦用輸送帶圖像，發(fā)出報(bào)警信號(hào)后，返回步驟s2繼續(xù)檢測(cè)。2.如權(quán)利要求1所述的基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法，其特征在于：所述步驟s2包括通過(guò)所述視頻傳感器(3)的gpu對(duì)所述礦用輸送帶圖像進(jìn)行有無(wú)煤料狀態(tài)推理分析和通過(guò)所述視頻傳感器(3)的cpu對(duì)所述礦用輸送帶圖像進(jìn)行運(yùn)行狀態(tài)檢測(cè)分析。3.如權(quán)利要求2所述的基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法，其特征在于：所述步驟s2對(duì)所述礦用輸送帶圖像進(jìn)行有無(wú)煤料狀態(tài)分析包括以下步驟：步驟s211：所述視頻傳感器(3)采集部分所述輸送帶(2)的帶面區(qū)域的有無(wú)煤料視頻圖像，將所有的有無(wú)煤料視頻圖像制作成數(shù)據(jù)集；步驟s212：將所述數(shù)據(jù)集打上標(biāo)簽，將所述數(shù)據(jù)集分為訓(xùn)練集、測(cè)試集和驗(yàn)證集；步驟s213：對(duì)所述數(shù)據(jù)集進(jìn)行預(yù)處理；步驟s214：基于pytorch深度學(xué)習(xí)框架搭建resnetl8網(wǎng)絡(luò)模型，將所述數(shù)據(jù)集轉(zhuǎn)換成所述resnetl8網(wǎng)絡(luò)模型識(shí)別的輸入向量；步驟s215：給定所述輸入向量和目標(biāo)值到所述resnetl8網(wǎng)絡(luò)模型中，對(duì)所述resnet18網(wǎng)絡(luò)模型訓(xùn)練，獲取性能優(yōu)異的權(quán)重文件；步驟s216：利用所述resnet18網(wǎng)絡(luò)模型加載所述權(quán)重文件對(duì)所述礦用輸送帶圖像進(jìn)行推理，所述推理結(jié)果包括所述輸送帶(2)為有煤料狀態(tài)或所述輸送帶(2)為無(wú)煤料狀態(tài)。4.如權(quán)利要求2所述的基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法，其特征在于：所述步驟s2對(duì)所述礦用輸送帶圖像進(jìn)行運(yùn)行狀態(tài)分析包括以下步驟：步驟s221：對(duì)所述礦用輸送帶圖像灰度化處理，將所述礦用輸送帶圖像轉(zhuǎn)換為灰度圖像；步驟s222：基于shi-tomasi算法，提取所述多幀連續(xù)的礦用輸送帶圖像中第一幀灰度圖像的特征點(diǎn)，形成第一特征點(diǎn)集合，所述第一特征點(diǎn)的集合為{(x0，y0)，(x1，y1)，

……

(x

j

，y

j

)}，其中，j＝0，1

…

j，將所述第一特征點(diǎn)作為初始跟蹤點(diǎn)；步驟s223：自第二幀灰度圖像開(kāi)始至最后一幀灰度圖像，基于所述第一特征點(diǎn)集合中的特征點(diǎn)，利用lucas-kanade光流算法，對(duì)當(dāng)前幀灰度圖像進(jìn)行特征點(diǎn)跟蹤，獲得當(dāng)前幀灰度圖像的第二特征點(diǎn)集合，所述第二特征點(diǎn)的集合為{(x0，y0)，(x1，y1)，

……

(x

j

，y

j

)}，將所

述第二特征點(diǎn)作為終點(diǎn)跟蹤點(diǎn)；步驟s224：根據(jù)所述第一特征點(diǎn)和所述第二特征點(diǎn)的位置，計(jì)算所述第一特征點(diǎn)和所述第二特征點(diǎn)的運(yùn)動(dòng)方向，將所述運(yùn)動(dòng)方向與基準(zhǔn)角度方向比較：若所述運(yùn)動(dòng)方向與所述基準(zhǔn)角度方向一致，則計(jì)數(shù)值加1；若所述運(yùn)動(dòng)方向與所述基準(zhǔn)角度方向不一致，則不計(jì)數(shù)；步驟s225：計(jì)算所述計(jì)數(shù)值的總數(shù)與所有的所述第一特征點(diǎn)和所述第二特征點(diǎn)的總數(shù)之間比例p；步驟s226：將比例p與設(shè)定閾值k比較：若p＞k，則表示所述輸送帶(2)為運(yùn)行狀態(tài)；若p＜k，則表示所述輸送帶(2)為停止?fàn)顟B(tài)；步驟s227：將所述當(dāng)前幀灰度圖像的第二特征點(diǎn)作為下一幀灰度圖像的所述初始跟蹤點(diǎn)，重復(fù)步驟s223～s224，直至所述視頻傳感器(3)視頻采集完成。5.如權(quán)利要求4所述的基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法，其特征在于：所述步驟s222包括以下步驟：s2221：將所述第一幀灰度圖像作為shi-tomasi算法的輸入圖像，設(shè)定檢測(cè)出最大特征點(diǎn)的個(gè)數(shù)為n，所述第一幀灰度圖像為i(x，y)，首先，計(jì)算i(x，y)在水平方向的梯度i

x

和垂直方向上的梯度i

y

，計(jì)算公式為：i

x

＝i*[-1 0 1]；i

y

＝i*[-1 0 1]

t

；接著，計(jì)算水平方向和垂直方向上梯度的乘積，計(jì)算公式為：接著，計(jì)算水平方向和垂直方向上梯度的乘積，計(jì)算公式為：i

x

i

y

＝i

x

*i

y

；然后，使用高斯函數(shù)對(duì)i

x

i

y

進(jìn)行高斯加權(quán)，以所述第一幀灰度圖像i(x，y)為中心加權(quán)形成窗口圖像ω(x，y)，計(jì)算所述窗口圖像ω(x，y)對(duì)應(yīng)的協(xié)方差矩陣m，計(jì)算公式為：為：c＝∑

(x，y)∈w

g(i

x

i

y

)＝∑

(x，y)∈w

i

x

i

y

*ω(x，y)；再利用所述協(xié)方差矩陣m計(jì)算對(duì)應(yīng)每個(gè)像素的角點(diǎn)響應(yīng)函數(shù)r，計(jì)算公式為：r＝det(m)-k(trace(m))2；其中，det(m)＝λ1λ2是矩陣m的行列式，trace(m)＝λ1+λ2是矩陣的跡。λ1和λ2是矩陣m的特征值，k是一個(gè)經(jīng)驗(yàn)常數(shù)，k的取值范圍為(0.04，0.06)；最后，過(guò)濾大于某一閾值t的相應(yīng)值r后得到角點(diǎn)，所述角點(diǎn)為特征點(diǎn)；步驟s2222：判斷檢測(cè)出的所述特征點(diǎn)中有效第一特征點(diǎn)及所述有效第一特征點(diǎn)的總

數(shù)；若相鄰兩個(gè)第一特征點(diǎn)之間距離小于1，則判定所述第一特征點(diǎn)為無(wú)效特征點(diǎn)，并進(jìn)行刪除；若相鄰兩個(gè)第一特征點(diǎn)之間距離大于等于1，則判定所述第一特征點(diǎn)為有效特征點(diǎn)，并進(jìn)行保存；步驟是2223：將所有有效第一特征點(diǎn)作為初始跟蹤點(diǎn)。6.如權(quán)利要求4所述的基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法，其特征在于：在步驟223中，對(duì)不符合要求的所述第一特征點(diǎn)和所述第二特征點(diǎn)進(jìn)行篩除，保存符合要求的所述第一特征點(diǎn)和所述第二特征點(diǎn)，當(dāng)?shù)谝惶卣鼽c(diǎn)和第二特征點(diǎn)之間滿足|x

j-x

j

|+|y

j-y

j

|＞2時(shí)，所述第二特征點(diǎn)(x

j

，y

j

)符合要求，保存所述第二特征點(diǎn)以及與所述第二特征點(diǎn)對(duì)應(yīng)的所述第一特征點(diǎn)。7.如權(quán)利要求4所述的基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法，其特征在于：所述步驟s224包括以下步驟：步驟s2241：所述第一特征點(diǎn)和所述第二特征點(diǎn)之間的弧度計(jì)算，計(jì)算公式為：步驟s2242：將所述弧度轉(zhuǎn)換成角度，計(jì)算公式為：步驟s2243：計(jì)算所述基準(zhǔn)角度，所述基準(zhǔn)角度為所述第一特征點(diǎn)的集合和所述第二特征點(diǎn)的集合形成的角度之和的平均值；步驟s2244：計(jì)算所述角度與所述基準(zhǔn)角度的絕對(duì)值，并與設(shè)定的角度閾值比較：若絕對(duì)值小于所述角度閾值，所述運(yùn)動(dòng)方向與所述基準(zhǔn)角度方向一致；若所述絕對(duì)值大于或等于所述角度閾值，所述運(yùn)動(dòng)方向與所述基準(zhǔn)角度方向不一致。8.一種如權(quán)利要求1-7中任一項(xiàng)所述基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法中所使用的檢測(cè)系統(tǒng)，其特征在于：所述檢測(cè)系統(tǒng)包括：輸送機(jī)(1)，所述輸送機(jī)(1)包括輸送帶(2)，在所述輸送帶(2)上方設(shè)置有龍門架(4)；視頻傳感器(3)，所述視頻傳感器(3)安裝在所述龍門架(4)上，所述視頻傳感器(3)與所述輸送帶(2)的帶面傾斜角度為45

°

～75

°

。9.如權(quán)利要求8所述的基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)系統(tǒng)，其特征在于：所述視頻傳感器(3)為視頻采集、視頻分析和融合計(jì)算的軟硬件一體化設(shè)備，所述視頻傳感器(3)內(nèi)設(shè)置有視覺(jué)圖像處理模塊和ai加速模塊。10.如權(quán)利要求9所述的基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)系統(tǒng)，其特征在于：所述視頻傳感器(3)上電后，所述視頻傳感器(3)的攝像頭位于所述輸送帶(2)的上方，所述攝像頭朝向所述輸送帶(2)的帶面設(shè)置，所述攝像頭采集所述輸送帶(2)帶面區(qū)域的所述視頻，所述帶面區(qū)域的寬度占所述視頻寬度的2/3。

技術(shù)總結(jié)

本發(fā)明涉及煤礦帶式輸送機(jī)運(yùn)行監(jiān)控技術(shù)領(lǐng)域，尤其涉及一種基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法和系統(tǒng)，包括：將視頻傳感器安裝在輸送機(jī)的龍門架上，首先使用視頻傳感器實(shí)時(shí)采集工作中輸送帶的帶面區(qū)域的視頻，對(duì)視頻按幀截圖得到多幀連續(xù)的礦用輸送帶圖像；然后視頻傳感器對(duì)礦用輸送帶圖像進(jìn)行分析處理，最后視頻傳感器顯示處理后的礦用輸送帶圖像，處理后的礦用輸送帶圖像包括輸送帶上有無(wú)煤料和輸送帶是否運(yùn)行。本發(fā)明提供一種基于圖像識(shí)別礦用帶式輸送機(jī)輸送帶狀態(tài)檢測(cè)方法檢測(cè)可靠，檢測(cè)實(shí)時(shí)性好，便于維護(hù)且成本低，便于煤礦場(chǎng)景的實(shí)際應(yīng)用。于煤礦場(chǎng)景的實(shí)際應(yīng)用。于煤礦場(chǎng)景的實(shí)際應(yīng)用。

技術(shù)研發(fā)人員：季亮 沈科 蔣偉 郝大彬 周李兵 鄒盛 宋鵬飛

受保護(hù)的技術(shù)使用者：中煤科工集團(tuán)常州研究院有限公司

技術(shù)研發(fā)日：2022.03.30

技術(shù)公布日：2022/6/21