首先把獲取的環(huán)境監測數據通過(guò)導入程序導入到HDFS(分布式文件系統)內,此為預測分析的初始數據。環(huán)境監測數據的分布式存儲架構中主要有主節點(diǎn)、數據節點(diǎn)、數據塊、客戶(hù)訪(fǎng)問(wèn)節點(diǎn)、環(huán)境質(zhì)量數據獲取節點(diǎn)和環(huán)境監測節點(diǎn)等。HDFS的工作過(guò)程如下。
1.當有用戶(hù)(通過(guò)訪(fǎng)問(wèn)節點(diǎn))提出查詢(xún)請求時(shí),請求信息(包含查詢(xún)時(shí)間和地點(diǎn))被通過(guò)主(master)節點(diǎn)發(fā)送給各個(gè)從(slave)進(jìn)行處理;主節點(diǎn)收集處理結果并返回給用戶(hù)。為了加快處理速度,在實(shí)際使用中可以對環(huán)境質(zhì)量歷史數據進(jìn)行預處理,實(shí)現分類(lèi)處理,把分類(lèi)信息保存在HDFS系統中,這樣可以提高用戶(hù)的請求處理速度和結果返回速度。
2.若有環(huán)境監測數據需要存儲,相關(guān)節點(diǎn)會(huì )向主節點(diǎn)提出存儲請求,主節點(diǎn)選擇從節點(diǎn)并把存儲位置返回給請求存儲的節點(diǎn),然后請求存儲節點(diǎn)就可以直接把環(huán)境監測數據發(fā)送給分配的從節點(diǎn)進(jìn)行存儲。這其實(shí)是HDFS保存數據的標準流程。
環(huán)境監測數據的分布式存儲流程大致就是如此,在整個(gè)數據存儲過(guò)程中,HDFS發(fā)揮了很大作用。
掃碼加微信咨詢(xún)產(chǎn)品、免費報價(jià)
裕乾(4006569698,www.szspca.com)是一家智慧化系統集成軟硬件研發(fā)、銷(xiāo)售、服務(wù)為主的高新技術(shù)企業(yè)。經(jīng)過(guò)多年發(fā)展,公司已成為智慧建筑、智慧工業(yè)、智慧環(huán)保、智慧電力、智慧水利、智慧農業(yè)等領(lǐng)域,具有自主研發(fā)能力、自主知識產(chǎn)權與自主品牌一體化的先進(jìn)解決方案供應商、系統集成綜合服務(wù)商。