本發(fā)明公開(kāi)了一種分布式機(jī)器學(xué)習(xí)數(shù)據(jù)劃分方法,分為四個(gè)步驟:初始化、神經(jīng)網(wǎng)絡(luò)訓(xùn)練、狀態(tài)選取、數(shù)據(jù)劃分。本發(fā)明首先進(jìn)行了驗(yàn)證實(shí)驗(yàn),觀察到每個(gè)任務(wù)使用的資源量不同時(shí),在BSP模式下,整個(gè)系統(tǒng)一輪完成時(shí)間總是取決于資源使用量最少的那個(gè)任務(wù)。這無(wú)疑浪費(fèi)了大量的資源,嚴(yán)重拖慢整個(gè)系統(tǒng)的完成時(shí)間;然后根據(jù)量化分析結(jié)果,定義了問(wèn)題模型和優(yōu)化目標(biāo),即在保證分布式機(jī)器學(xué)習(xí)模型訓(xùn)練精度值的前提下,提高整個(gè)分布式機(jī)器學(xué)習(xí)模型訓(xùn)練作業(yè)的計(jì)算效率;最后本發(fā)明提出一種基于強(qiáng)化學(xué)習(xí)的分布式機(jī)器學(xué)習(xí)數(shù)據(jù)劃分方法,并設(shè)計(jì)了一個(gè)雙目標(biāo)神經(jīng)網(wǎng)絡(luò),與現(xiàn)在有的傳統(tǒng)數(shù)據(jù)劃分策略相比發(fā)明的數(shù)據(jù)劃分方法使整個(gè)分布式機(jī)器學(xué)習(xí)模型訓(xùn)練的每輪計(jì)算效率顯著提高,對(duì)加快分布式機(jī)器學(xué)習(xí)執(zhí)行速度有較強(qiáng)的指導(dǎo)意義。
聲明:
“面向分布式機(jī)器學(xué)習(xí)的數(shù)據(jù)劃分方法” 該技術(shù)專(zhuān)利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請(qǐng)聯(lián)系該技術(shù)所有人。
我是此專(zhuān)利(論文)的發(fā)明人(作者)