本發(fā)明公開了一種對大規(guī)??稍偕茉磾?shù)據(jù)進(jìn)行快速概率建模方法,包含以下過程:基于Spark和HDFS為新能源快速建模搭建分布式并行框架,使該框架與可再生能源現(xiàn)有的存儲系統(tǒng)兼容;利用RDD容錯和基于內(nèi)存計算的特點,構(gòu)建求解Wakeby分布的血緣圖,從而實現(xiàn)基于RDD的新型Wakeby分布快速估計算法;推導(dǎo)了該并行估計算法的計算時間與樣本數(shù)據(jù)量以及Spark兩個重要的可調(diào)參數(shù)的函數(shù)關(guān)系。發(fā)明推導(dǎo)的算法的時間消耗與樣本大小、并行度、分區(qū)數(shù)的函數(shù)關(guān)系有助于在給定的樣本數(shù)據(jù)量下幫助程序員在Spark平臺上程序調(diào)優(yōu)、在給定配置下的時間消耗預(yù)測以及在期望時間下的硬件配置。
聲明:
“對大規(guī)??稍偕茉磾?shù)據(jù)進(jìn)行快速概率建模方法” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)