權(quán)利要求

1.用于金屬礦山井下地測(cè)采三維數(shù)據(jù)的分布式處理方法，其特征在于步驟為：

步驟1、數(shù)據(jù)載入：載入地測(cè)采三維原始數(shù)據(jù)；

步驟2、任務(wù)分解：主節(jié)點(diǎn)根據(jù)任務(wù)特征，將任務(wù)分解到多個(gè)CPU節(jié)點(diǎn)和GPU節(jié)點(diǎn)分別進(jìn)行處理；

步驟3、預(yù)處理：由CPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)進(jìn)行預(yù)處理；

步驟4、三維數(shù)據(jù)處理：由GPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)進(jìn)行主體處理；

步驟5、三維數(shù)據(jù)渲染：由GPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)完成渲染；

步驟6、后處理：由CPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)進(jìn)行后處理；

步驟7、結(jié)果提交與保存：主節(jié)點(diǎn)匯總所有處理結(jié)果，并保存或提交。

2.如權(quán)利要求1所述的用于金屬礦山井下地測(cè)采三維數(shù)據(jù)的分布式處理方法，其特征在于：所述CPU節(jié)點(diǎn)及GPU節(jié)點(diǎn)分別與主節(jié)點(diǎn)通過(guò)以太網(wǎng)分別相連接，實(shí)現(xiàn)三維數(shù)據(jù)處理的控制命令的傳輸；

所述CPU節(jié)點(diǎn)和GPU節(jié)點(diǎn)通過(guò)RDMA數(shù)據(jù)交換網(wǎng)絡(luò)通訊連接，實(shí)現(xiàn)三維數(shù)據(jù)成果數(shù)據(jù)的傳輸。

3.如權(quán)利要求2所述的用于金屬礦山井下地測(cè)采三維數(shù)據(jù)的分布式處理方法，其特征在于：還包括接入RDMA數(shù)據(jù)交換網(wǎng)絡(luò)的存儲(chǔ)節(jié)點(diǎn)，所述存儲(chǔ)節(jié)點(diǎn)用于保存三維地測(cè)采數(shù)據(jù)。

4.如權(quán)利要求1所述的用于金屬礦山井下地測(cè)采三維數(shù)據(jù)的分布式處理方法，其特征在于：所述主節(jié)點(diǎn)用來(lái)管理計(jì)算集群，具備集群組網(wǎng)、任務(wù)調(diào)度及系統(tǒng)功能。

5.如權(quán)利要求1所述的用于金屬礦山井下地測(cè)采三維數(shù)據(jù)的分布式處理方法，其特征在于：主節(jié)點(diǎn)的數(shù)據(jù)來(lái)源為三維設(shè)計(jì)數(shù)據(jù)。

6.如權(quán)利要求1至5任一所述的用于金屬礦山井下地測(cè)采三維數(shù)據(jù)的分布式處理方法，其特征在于：GPU節(jié)點(diǎn)包括主GPU節(jié)點(diǎn)和分布GPU節(jié)點(diǎn)，主GPU節(jié)點(diǎn)僅作為渲染結(jié)果的顯示，分布GPU節(jié)點(diǎn)用于渲染處理。

說(shuō)明書(shū)

技術(shù)領(lǐng)域

本發(fā)明涉及一種分布式處理方法，尤其是一種針對(duì)礦山海量三維數(shù)據(jù)的分布式處理方法，主要用于礦山生產(chǎn)進(jìn)行三維建模、可視化管控過(guò)程中地質(zhì)、測(cè)量、采礦各專(zhuān)業(yè)產(chǎn)生的海量業(yè)務(wù)數(shù)據(jù)的處理。

背景技術(shù)

隨著礦山行業(yè)的數(shù)字化技術(shù)的發(fā)展，三維礦業(yè)軟件的應(yīng)用逐漸成為趨勢(shì)，進(jìn)而產(chǎn)生了越來(lái)越多的地質(zhì)、測(cè)量和采礦三維數(shù)據(jù)。這些數(shù)據(jù)有些直接來(lái)自三維激光掃描儀，有些來(lái)自鉆孔數(shù)據(jù)，有些則來(lái)自其他數(shù)據(jù)源的轉(zhuǎn)換。相對(duì)于傳統(tǒng)的二維數(shù)據(jù)以及關(guān)系數(shù)據(jù)，三維地測(cè)采數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量大、處理難度大，需要將各種數(shù)據(jù)源抽取、轉(zhuǎn)換、加載到平臺(tái)上，以提高數(shù)據(jù)處理效率。

在解決了多源異構(gòu)數(shù)據(jù)的集成、解決了數(shù)據(jù)標(biāo)準(zhǔn)化之后，傳統(tǒng)的數(shù)據(jù)管理、處理解決方案已經(jīng)無(wú)法處理巨大的數(shù)據(jù)。

當(dāng)前主流的處理方法仍然是在高性能計(jì)算機(jī)上進(jìn)行串行或者數(shù)據(jù)流的三維數(shù)據(jù)處理，隨著數(shù)據(jù)量的增大，這種處理架構(gòu)在未來(lái)的技術(shù)發(fā)展上已經(jīng)呈現(xiàn)出了一定的局限性，對(duì)于需要實(shí)時(shí)處理的三維數(shù)據(jù)以及巨量的非結(jié)構(gòu)三維數(shù)據(jù)的分析處理，亟需一種更高性能的三維數(shù)據(jù)處理方法。

發(fā)明內(nèi)容

本發(fā)明提出了一種用于金屬礦山井下地測(cè)采三維數(shù)據(jù)的分布式處理方法，其目的是：應(yīng)對(duì)更大的數(shù)據(jù)量，提供更好的性能，降低成本。

本發(fā)明技術(shù)方案如下：

一種用于金屬礦山井下地測(cè)采三維數(shù)據(jù)的分布式處理方法，步驟為：

步驟1、數(shù)據(jù)載入：載入地測(cè)采三維原始數(shù)據(jù)；

步驟2、任務(wù)分解：主節(jié)點(diǎn)根據(jù)任務(wù)特征，將任務(wù)分解到多個(gè)CPU節(jié)點(diǎn)和GPU節(jié)點(diǎn)分別進(jìn)行處理；

步驟3、預(yù)處理：由CPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)進(jìn)行預(yù)處理；

步驟4、三維數(shù)據(jù)處理：由GPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)進(jìn)行主體處理；

步驟5、三維數(shù)據(jù)渲染：由GPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)完成渲染；

步驟6、后處理：由CPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)進(jìn)行后處理；

步驟7、結(jié)果提交與保存：主節(jié)點(diǎn)匯總所有處理結(jié)果，并保存或提交。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述CPU節(jié)點(diǎn)及GPU節(jié)點(diǎn)分別與主節(jié)點(diǎn)通過(guò)以太網(wǎng)分別相連接，實(shí)現(xiàn)三維數(shù)據(jù)處理的控制命令的傳輸；

所述CPU節(jié)點(diǎn)和GPU節(jié)點(diǎn)通過(guò)RDMA數(shù)據(jù)交換網(wǎng)絡(luò)通訊連接，實(shí)現(xiàn)三維數(shù)據(jù)成果數(shù)據(jù)的傳輸。

作為本發(fā)明的進(jìn)一步改進(jìn)：還包括接入RDMA數(shù)據(jù)交換網(wǎng)絡(luò)的存儲(chǔ)節(jié)點(diǎn)，所述存儲(chǔ)節(jié)點(diǎn)用于保存三維地測(cè)采數(shù)據(jù)。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述主節(jié)點(diǎn)用來(lái)管理計(jì)算集群，具備集群組網(wǎng)、任務(wù)調(diào)度及系統(tǒng)功能。

作為本發(fā)明的進(jìn)一步改進(jìn)：主節(jié)點(diǎn)的數(shù)據(jù)來(lái)源為三維設(shè)計(jì)數(shù)據(jù)。

作為本發(fā)明的進(jìn)一步改進(jìn)：GPU節(jié)點(diǎn)包括主GPU節(jié)點(diǎn)和分布GPU節(jié)點(diǎn)，主GPU節(jié)點(diǎn)僅作為渲染結(jié)果的顯示，分布GPU節(jié)點(diǎn)用于渲染處理。

相對(duì)于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：采用普通的計(jì)算節(jié)點(diǎn)，組成一個(gè)可擴(kuò)展的計(jì)算集群，不僅能夠應(yīng)對(duì)更大的數(shù)據(jù)量，而且可以提供更好的性能，具有更低的成本。

附圖說(shuō)明

圖1為本發(fā)明的架構(gòu)示意圖；

圖2為本方法的流程圖。

具體實(shí)施方式

下面結(jié)合附圖詳細(xì)說(shuō)明本發(fā)明的技術(shù)方案：

如圖1，一種用于金屬礦山井下地測(cè)采三維數(shù)據(jù)的分布式處理架構(gòu)，包括：主節(jié)點(diǎn)、CPU節(jié)點(diǎn)、GPU節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)以及RDMA高速網(wǎng)絡(luò)。

1、主節(jié)點(diǎn)：主要功能一是用于管理整個(gè)計(jì)算集群，包括集群組網(wǎng)，計(jì)算節(jié)點(diǎn)的加入和退出等等；二是管理計(jì)算任務(wù)的調(diào)度，包括新任務(wù)的接收、任務(wù)的分解、任務(wù)的調(diào)度、任務(wù)的結(jié)果提交等等；三是一些其它系統(tǒng)功能，例如日志、性能監(jiān)控等等。

采礦、測(cè)量、地質(zhì)（簡(jiǎn)稱(chēng)地測(cè)采）等各專(zhuān)業(yè)的異構(gòu)數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)的抽取和清洗，整合成能夠進(jìn)行實(shí)時(shí)計(jì)算的結(jié)構(gòu)化數(shù)據(jù)，作為主節(jié)點(diǎn)的數(shù)據(jù)來(lái)源，注入到分布式處理系統(tǒng)中。

2、CPU計(jì)算節(jié)點(diǎn)：CPU計(jì)算節(jié)點(diǎn)是通用的CPU計(jì)算型服務(wù)器，它主要用來(lái)對(duì)三維地測(cè)采數(shù)據(jù)進(jìn)行預(yù)處理和后處理，如鉆孔數(shù)據(jù)的預(yù)計(jì)算、塊體數(shù)據(jù)的預(yù)處理等，這些預(yù)處理和后處理任務(wù)，在CPU上進(jìn)行計(jì)算，相比在GPU上進(jìn)行運(yùn)算，具有更好的性能和性價(jià)比。

結(jié)合三維處理的特點(diǎn)，大量不涉及繪圖的預(yù)處理數(shù)據(jù)在CPU計(jì)算節(jié)點(diǎn)上進(jìn)行處理，如大量繪圖無(wú)關(guān)的數(shù)值計(jì)算、處理計(jì)算分布在各個(gè)CPU計(jì)算節(jié)點(diǎn)進(jìn)行分布式處理，解決傳統(tǒng)串行數(shù)據(jù)的數(shù)據(jù)處理瓶頸問(wèn)題，大大加快預(yù)處理的速度。

3、GPU計(jì)算節(jié)點(diǎn)：GPU計(jì)算節(jié)點(diǎn)的計(jì)算能力主要由專(zhuān)用的GPU提供，在海量三維地測(cè)采數(shù)據(jù)的運(yùn)算中，GPU在處理點(diǎn)云數(shù)據(jù)、網(wǎng)格定點(diǎn)數(shù)據(jù)、三維可視化渲染等方面，具有CPU不可比擬的優(yōu)勢(shì)。因此這些任務(wù)會(huì)被拆解，發(fā)送到GPU節(jié)點(diǎn)進(jìn)行處理。

GPU節(jié)點(diǎn)處理三維繪圖數(shù)據(jù)，進(jìn)行數(shù)據(jù)可視化渲染，通常GPU的性能是三維顯示性能和效果的關(guān)鍵，采用分布式處理后，主GPU僅作為渲染結(jié)果的顯示，大量渲染處理在分布式GPU上處理，在處理大型礦山的數(shù)據(jù)時(shí)，能夠比傳統(tǒng)提高10倍以上的性能。

4、存儲(chǔ)節(jié)點(diǎn)：存儲(chǔ)節(jié)點(diǎn)用于保存三維地測(cè)采數(shù)據(jù)。

同樣，對(duì)于大量的三維數(shù)據(jù)，需要同步提供分布式存儲(chǔ)的機(jī)制來(lái)保證數(shù)據(jù)的高效和一致性，同時(shí)在展示以及設(shè)計(jì)層面，還需要提供實(shí)時(shí)數(shù)據(jù)共享的功能。

5、RDMA高速網(wǎng)絡(luò)：在本系統(tǒng)中，主節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)之間，通過(guò)普通的以太網(wǎng)進(jìn)行連接，管理數(shù)據(jù)通過(guò)以太網(wǎng)進(jìn)行傳輸。而由于三維地測(cè)采數(shù)據(jù)的數(shù)據(jù)量非常龐大，動(dòng)輒達(dá)到幾百G甚至幾個(gè)T的規(guī)模，在以太網(wǎng)上傳輸此類(lèi)數(shù)據(jù)，效率將非常低下。因此，在計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)之間使用RDMA高速網(wǎng)絡(luò)進(jìn)行連接，在CPU和GPU節(jié)點(diǎn)之間，也使用高速RDMA網(wǎng)絡(luò)進(jìn)行連接，用于兩類(lèi)節(jié)點(diǎn)之間的快速數(shù)據(jù)交換分布式處理方法的步驟為：

步驟1、數(shù)據(jù)載入：載入地測(cè)采三維原始數(shù)據(jù)；

步驟2、任務(wù)分解：主節(jié)點(diǎn)根據(jù)任務(wù)特征，將任務(wù)分解到多個(gè)CPU節(jié)點(diǎn)和GPU節(jié)點(diǎn)分別進(jìn)行處理；

步驟3、預(yù)處理：由CPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)進(jìn)行預(yù)處理；

步驟4、三維數(shù)據(jù)處理：由GPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)進(jìn)行主體處理；

步驟5、三維數(shù)據(jù)渲染：由GPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)完成渲染；

步驟6、后處理：由CPU節(jié)點(diǎn)對(duì)三維數(shù)據(jù)進(jìn)行后處理；

步驟7、結(jié)果提交與保存：主節(jié)點(diǎn)匯總所有處理結(jié)果，并保存或提交。