本發(fā)明涉及一種基于強(qiáng)化學(xué)習(xí)的異構(gòu)MapReduce集群推測執(zhí)行調(diào)度方法,屬于大數(shù)據(jù)處理領(lǐng)域。本發(fā)明采用基于Q?learning強(qiáng)化學(xué)習(xí)的節(jié)點(diǎn)權(quán)重動(dòng)態(tài)更新方法,基于歷史信息實(shí)現(xiàn)節(jié)點(diǎn)權(quán)重的自適應(yīng)調(diào)整,有效提升了task剩余運(yùn)行時(shí)間的估算準(zhǔn)確性;對(duì)straggler進(jìn)行是否遷移的判別,需同時(shí)滿足備份task比例約束,以及遷移后的運(yùn)行時(shí)間約束兩項(xiàng)條件,straggler才能啟動(dòng)備份任務(wù);同時(shí)結(jié)合map task快節(jié)點(diǎn)和reduce task快節(jié)點(diǎn),這種方式提升了異構(gòu)MapReduce集群的資源利用率?;诘湫蛿?shù)據(jù)集的仿真試驗(yàn)結(jié)果表明,相比于現(xiàn)有算法,本文提出的算法對(duì)于大規(guī)模數(shù)據(jù)的處理效率明顯提升。
聲明:
“基于強(qiáng)化學(xué)習(xí)的異構(gòu)MapReduce集群推測執(zhí)行調(diào)度方法” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請(qǐng)聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)