近日，Nature子刊《Scientific Data》刊發(fā)了我校機(jī)械工程學(xué)院楊文娟副教授的研究成果“An open dataset for intelligent recognition and classification of abnormal condition in longwall mining”，西安科技大學(xué)為該論文第一單位，張旭輝教授為通訊作者。

該成果介紹我校在綜采工作面異常狀態(tài)圖像識(shí)別方面的突破。煤礦井下開(kāi)采面臨作業(yè)環(huán)境差、災(zāi)害風(fēng)險(xiǎn)高、事故率高等問(wèn)題，開(kāi)采環(huán)境下復(fù)雜的人－機(jī)－環(huán)異常狀態(tài)監(jiān)測(cè)的挑戰(zhàn)性大。綜采工作面全環(huán)境視頻監(jiān)測(cè)與異常狀態(tài)預(yù)警對(duì)實(shí)現(xiàn)少人甚至無(wú)人開(kāi)采意義重大。近年來(lái)，AI視頻識(shí)別技術(shù)在巡檢、撿矸，以及重點(diǎn)區(qū)域監(jiān)測(cè)方面得到一定應(yīng)用。采煤和掘進(jìn)工作面中環(huán)境、人員、設(shè)備的異常狀態(tài)識(shí)別具有極大的挑戰(zhàn)性，智能視覺(jué)識(shí)別與預(yù)警技術(shù)成為該領(lǐng)域的研究熱點(diǎn)。

中國(guó)作為全球最大的煤炭生產(chǎn)國(guó)，2022年國(guó)內(nèi)煤炭總產(chǎn)量約44.5億噸創(chuàng)歷史新高，全國(guó)煤礦智能化采掘工作面從494個(gè)增加到1019個(gè)，其中煤礦綜采工作面“有人巡視、無(wú)人值守”生產(chǎn)模式成為“機(jī)械化換人、自動(dòng)化減人”貫徹的典范。利用智能視頻分析技術(shù)實(shí)現(xiàn)開(kāi)采場(chǎng)景中的人－機(jī)－環(huán)異常狀態(tài)，替代人工巡檢，助力實(shí)現(xiàn)“無(wú)人化”井下開(kāi)采夢(mèng)想一直備受關(guān)注，但是缺失相關(guān)數(shù)據(jù)集很大程度上制約了我國(guó)煤礦井下無(wú)人巡檢以及異常預(yù)警、人員及設(shè)備安全防護(hù)相關(guān)研究工作的深入開(kāi)展。該成果能有效地解決這一問(wèn)題，對(duì)于促進(jìn)煤礦綜采工作面異常狀態(tài)識(shí)別與預(yù)警具有重要價(jià)值，可提高我國(guó)數(shù)據(jù)開(kāi)放性與透明性，促進(jìn)我國(guó)礦山領(lǐng)域研究學(xué)者與國(guó)際同行的深入交流。

陜西省煤礦機(jī)電設(shè)備智能檢測(cè)與控制團(tuán)隊(duì)在馬宏偉、張旭輝等教授帶領(lǐng)下，深入推進(jìn)智能視覺(jué)技術(shù)在煤礦井下應(yīng)用，在煤礦井下掘進(jìn)裝備精確視覺(jué)定位與導(dǎo)航、掘進(jìn)裝備視覺(jué)導(dǎo)航，以及工作面異常狀態(tài)視覺(jué)識(shí)別等方面取得一系列喜人成果。近幾年，團(tuán)隊(duì)深入煤礦生產(chǎn)一線，收集煤礦井下工作面視頻圖像數(shù)據(jù)，初步建成綜采工作面異常狀態(tài)圖像數(shù)據(jù)集（DsLMF+），該數(shù)據(jù)集由138004張帶有注釋的圖像構(gòu)成。DsLMF+數(shù)據(jù)集的優(yōu)勢(shì)在于：1）全球首個(gè)描述綜采工作面狀態(tài)的公開(kāi)圖像數(shù)據(jù)庫(kù)；2）目前覆蓋綜采工作面異常狀態(tài)監(jiān)測(cè)最全面的數(shù)據(jù)集，包括煤礦工作人員、液壓支架護(hù)幫板位姿、大塊煤、采煤機(jī)拖攬、礦工不安全行為和安全帽佩戴等6種類(lèi)型；3）數(shù)據(jù)可靠性高，ViT-Adapter-L、DETA、YOLOv7三種檢測(cè)模型在DsLMF+數(shù)據(jù)集上基準(zhǔn)測(cè)試，算法總體精度超過(guò)95%，隨機(jī)提取和檢測(cè)的準(zhǔn)確性好；4）源代碼公開(kāi)，所有圖像標(biāo)簽提供YOLO、COCO兩種格式，可用于工作面異常狀態(tài)識(shí)別和分類(lèi)方面的學(xué)習(xí)和測(cè)試，提供給致力于綜采工作面智能監(jiān)測(cè)的研究人員使用。

（a）礦井人員 （b）大塊煤 （c）安全帽

（d）拖纜 （e）液壓支架護(hù)幫板 （f）礦工行為

圖1. 綜采工作面數(shù)據(jù)集的標(biāo)簽注釋

論文引用：Yang, W., Zhang, X., Ma, B. et al. An open dataset for intelligent recognition and classification of abnormal condition in longwall mining. Scientific Data, 10, 416 (2023).

論文下載地址：https://www.nature.com/articles/s41597-023-02322-9

數(shù)據(jù)庫(kù)地址：Zhang, X. et al. An open dataset for intelligent recognition and classification of abnormal condition in longwall mining. figsharehttps://figshare.com/s/1644c2e3d8295834ecf8 (2023).