本發(fā)明涉及一種流大數(shù)據(jù)處理任務(wù)的抗干擾調(diào)度方法和裝置,方法包括獲取由數(shù)據(jù)項組成的數(shù)據(jù)流,按時間窗口分批處理各個數(shù)據(jù)項,預(yù)測后續(xù)時間窗口的數(shù)據(jù)流;根據(jù)預(yù)測的后續(xù)時間窗口的數(shù)據(jù)流,在各個計算節(jié)點中分配任務(wù);以每個計算節(jié)點的處理任務(wù)時間差距最小、每個計算節(jié)點中任務(wù)的共享資源需求總量不超過該計算節(jié)點一個時間窗口內(nèi)能提供的共享資源的最大值、每個計算節(jié)點的處理任務(wù)時間不超過一個時間窗口長度為目標(biāo),進行任務(wù)分配;獲取最終的任務(wù)分配結(jié)果,對實際到達的數(shù)據(jù)流進行處理。與現(xiàn)有技術(shù)相比,本發(fā)明從更細的粒度對流大數(shù)據(jù)處理任務(wù)進行調(diào)度,降低了任務(wù)在計算節(jié)點上執(zhí)行過程中的干擾,大大提高了數(shù)據(jù)中心計算節(jié)點的資源利用率。
聲明:
“一種流大數(shù)據(jù)處理任務(wù)的抗干擾調(diào)度方法和裝置” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)