前言：尋找寫作靈感？中文期刊網(wǎng)用心挑選的網(wǎng)絡(luò)技術(shù)氣象數(shù)據(jù)共享方案探討，希望能為您的閱讀和創(chuàng)作帶來靈感，歡迎大家閱讀并分享。

摘要：隨著科技的不斷發(fā)展，為了對(duì)于氣象信息的解讀也更加科學(xué)與高效，加強(qiáng)氣象數(shù)據(jù)系統(tǒng)建設(shè)與信息分享勢(shì)在必行，本系統(tǒng)建設(shè)以氣象業(yè)務(wù)系統(tǒng)、預(yù)警手段以及電子政務(wù)網(wǎng)和政務(wù)大數(shù)據(jù)為基礎(chǔ)，充分利用移動(dòng)、聯(lián)通、電信等運(yùn)營(yíng)商的網(wǎng)絡(luò)資源和社會(huì)資源，實(shí)現(xiàn)氣象信息的高速共享，為其進(jìn)一步發(fā)展打下堅(jiān)實(shí)的基礎(chǔ)。

關(guān)鍵詞：網(wǎng)絡(luò)技術(shù)；氣象數(shù)據(jù)；共享

0引言

目前高明區(qū)氣象局每天要處理大量的觀測(cè)數(shù)據(jù)、預(yù)報(bào)數(shù)據(jù)、預(yù)警數(shù)據(jù)，但是尚沒有自己的數(shù)據(jù)中心，所有數(shù)據(jù)需要從其他局系統(tǒng)中抓取，經(jīng)常導(dǎo)致數(shù)據(jù)不完整、不穩(wěn)定、不正確、不及時(shí)等問題。嚴(yán)重影響氣象業(yè)務(wù)的正常開展，更加難以適應(yīng)“互聯(lián)網(wǎng)+”和大數(shù)據(jù)戰(zhàn)略的實(shí)施。難以給公眾和各行各業(yè)提供實(shí)時(shí)、準(zhǔn)確的、充足的氣象數(shù)據(jù)和服務(wù)。同時(shí)經(jīng)過多年的建設(shè)，高明區(qū)氣象局在硬件上已經(jīng)滿足了日后的發(fā)展的需要，隨時(shí)可以滿足氣象數(shù)據(jù)綜合管理系統(tǒng)的建設(shè)。如果不充分利用這些硬件設(shè)施，會(huì)造成資源的浪費(fèi)，因此需要對(duì)于氣象數(shù)據(jù)做好共享工作，提升共享效率。

1高明區(qū)氣象局?jǐn)?shù)據(jù)中心建設(shè)背景

1.1建設(shè)現(xiàn)狀

高明“智慧氣象”數(shù)據(jù)中心是基于高明氣象局以及其他部門的數(shù)據(jù)共享的基礎(chǔ)上，利用氣象大數(shù)據(jù)，搭建氣象數(shù)據(jù)中心以實(shí)現(xiàn)數(shù)據(jù)資源的采編、審核、清洗、分析、挖掘的等一系列的功能，為智慧氣象的業(yè)務(wù)系統(tǒng)和信息服務(wù)提供深入、全面的數(shù)據(jù)基礎(chǔ)，并提供相應(yīng)數(shù)據(jù)接口。數(shù)據(jù)中心的主要功能有數(shù)據(jù)交換與共享、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理三大部分。實(shí)現(xiàn)對(duì)采集到的各種信息進(jìn)行分類和存儲(chǔ)等功能，能夠按照數(shù)據(jù)來源、數(shù)據(jù)類別、數(shù)據(jù)時(shí)間等多種維度進(jìn)行管理，且具備統(tǒng)計(jì)分析、監(jiān)控、報(bào)表制作等功能。在數(shù)據(jù)的存儲(chǔ)上要求能夠存儲(chǔ)和管理結(jié)構(gòu)化數(shù)據(jù)，也能夠存儲(chǔ)和管理非結(jié)構(gòu)化數(shù)據(jù)。能夠應(yīng)對(duì)大數(shù)據(jù)量、多數(shù)據(jù)類型的情況。

1.2建設(shè)目標(biāo)

智慧氣象是智慧城鎮(zhèn)建設(shè)的重要組成部分。要實(shí)現(xiàn)智慧氣象更好的服務(wù)公眾，服務(wù)行業(yè)經(jīng)濟(jì)，實(shí)現(xiàn)“互聯(lián)網(wǎng)+”的應(yīng)用和跨界大數(shù)據(jù)分析功能，首先要建立一個(gè)氣象數(shù)據(jù)綜合管理中心，提供數(shù)據(jù)管理和氣象數(shù)據(jù)支持，通過整合統(tǒng)一的大數(shù)據(jù)接口平臺(tái)為其他部門、社區(qū)信息員和人民群眾提供精細(xì)化、網(wǎng)格化的信息服務(wù)，為智慧城鎮(zhèn)建設(shè)提供氣象信息支持。根據(jù)以上背景和分析，我們提出以下項(xiàng)目建設(shè)總體目標(biāo)：（1）依托通用數(shù)據(jù)平臺(tái)，建設(shè)“智慧氣象”數(shù)據(jù)中心管理平臺(tái)基于廣東省氣象局和佛山市氣象局的數(shù)據(jù)支持和其他部門的數(shù)據(jù)共享，“智慧氣象”數(shù)據(jù)中心項(xiàng)目將搭建大數(shù)據(jù)平臺(tái)以實(shí)現(xiàn)數(shù)據(jù)資源的采編、審核、清洗、分析、挖掘的等一系列的功能，為智慧氣象的業(yè)務(wù)系統(tǒng)和信息服務(wù)提供深入、全面的數(shù)據(jù)基礎(chǔ)，并提供相應(yīng)數(shù)據(jù)共享接口。（2）建設(shè)基于GIS的氣象業(yè)務(wù)數(shù)據(jù)可視化支撐平臺(tái)為協(xié)助氣象部門對(duì)氣象數(shù)據(jù)分析預(yù)報(bào)并使服務(wù)信息更精細(xì)化，項(xiàng)目將建設(shè)氣象數(shù)據(jù)結(jié)合GIS地理信息分析，展現(xiàn)各類的氣象要素，從而綜合提升氣象部門的業(yè)務(wù)能力。

1.3建設(shè)意義

本系統(tǒng)充分利用公共無線和固定通信網(wǎng)絡(luò)，通過多種手段相互結(jié)合、互為彌補(bǔ)的方式為人民群眾提供一個(gè)及時(shí)傳遞氣象產(chǎn)品信息和公共事件預(yù)警信息的載體，是解決信息服務(wù)“最后一公里”問題的有效途徑，大大提高了公共事件預(yù)警信息的時(shí)效性。通過智慧氣象系統(tǒng)建設(shè)，使原來分散在不同部門、不同行業(yè)的應(yīng)急信息，通過系統(tǒng)中專用的突發(fā)公共事件預(yù)警信息系統(tǒng)，權(quán)威、暢通、有效的突發(fā)公共事件預(yù)警信息渠道統(tǒng)一進(jìn)行。同時(shí)，利用各種手段的覆蓋范圍和控制功能，可以將氣象產(chǎn)品信息和公共事件預(yù)警信息的范圍進(jìn)行精確控制。氣象數(shù)據(jù)的跨行業(yè)價(jià)值挖掘?qū)a(chǎn)生巨大的社會(huì)和經(jīng)濟(jì)價(jià)值，據(jù)了解，英國(guó)的氣象服務(wù)已經(jīng)全部商業(yè)化，年產(chǎn)值達(dá)到2600億美元，美國(guó)1600億美元，日本100億美元，而中國(guó)只有6億美元，專業(yè)的氣象數(shù)據(jù)服務(wù)在中國(guó)市場(chǎng)前景巨大。本系統(tǒng)的建設(shè)將挖掘氣象跨行業(yè)的數(shù)據(jù)價(jià)值，最終提供商業(yè)化服務(wù)。

2網(wǎng)絡(luò)技術(shù)在氣象數(shù)據(jù)共享中的應(yīng)用

2.1技術(shù)規(guī)范

數(shù)據(jù)中心配備包括支撐以上功能的硬件基礎(chǔ)設(shè)施、大型外部設(shè)備、數(shù)據(jù)庫(kù)管理商用軟件、數(shù)據(jù)處理專業(yè)商用軟件、數(shù)據(jù)管理應(yīng)用軟件、數(shù)據(jù)服務(wù)應(yīng)用軟件、數(shù)據(jù)交換系統(tǒng)，以及相應(yīng)的專業(yè)人員。數(shù)據(jù)中心硬件配置一般包括：服務(wù)器（業(yè)務(wù)應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、交換服務(wù)器）、存儲(chǔ)系統(tǒng)（SAN光纖交換機(jī)、磁盤陣列、NAS文件存貯）、交換機(jī)（核心交換機(jī)、服務(wù)器群子網(wǎng)交換機(jī)、部門接入子網(wǎng)交換機(jī)）、大型外設(shè)、全冗余的硬件設(shè)備及鏈路。數(shù)據(jù)中心軟件配置包括：網(wǎng)管軟件、應(yīng)用服務(wù)器軟件、數(shù)據(jù)庫(kù)管理系統(tǒng)、GIS軟件、數(shù)據(jù)備份軟件、目錄服務(wù)及元數(shù)據(jù)軟件、LDAP服務(wù)器、安全管理軟件、消息中間件、云虛擬機(jī)管理軟件等。整個(gè)高明“智慧氣象”數(shù)據(jù)中心網(wǎng)絡(luò)可以建立在云計(jì)算平臺(tái)之上，所有的應(yīng)用系統(tǒng)服務(wù)器均由虛擬化服務(wù)器提供，這樣的好處在于可以按需配置服務(wù)器資源，保障服務(wù)器資源的充分利用和靈活調(diào)度。

2.2數(shù)據(jù)采集

氣象業(yè)務(wù)數(shù)據(jù)采集子系統(tǒng)包括：氣象自動(dòng)站數(shù)據(jù)采集模塊、氣象格點(diǎn)數(shù)據(jù)數(shù)據(jù)采集模塊、臺(tái)風(fēng)路徑數(shù)據(jù)采集模塊、氣象預(yù)報(bào)數(shù)據(jù)采集模塊、氣象預(yù)警數(shù)據(jù)采集模塊。（1）氣象自動(dòng)站數(shù)據(jù)采集模塊連接氣象自動(dòng)站數(shù)據(jù)源接口，按相應(yīng)規(guī)則定時(shí)采集指定時(shí)次，站點(diǎn)，要素的自動(dòng)站基礎(chǔ)數(shù)據(jù)。（2）氣象格點(diǎn)數(shù)據(jù)數(shù)據(jù)采集模塊連接氣象格點(diǎn)數(shù)據(jù)源接口，采集指定時(shí)次、要素、區(qū)域范圍的格點(diǎn)數(shù)據(jù)。（3）臺(tái)風(fēng)路徑數(shù)據(jù)采集模塊連接臺(tái)風(fēng)數(shù)據(jù)源接口，按數(shù)據(jù)規(guī)則采集臺(tái)風(fēng)數(shù)據(jù)，采集內(nèi)容包括臺(tái)風(fēng)名稱、實(shí)時(shí)風(fēng)力風(fēng)速、途經(jīng)地點(diǎn)、風(fēng)力半徑等。（4）氣象預(yù)報(bào)數(shù)據(jù)采集模塊連接氣象預(yù)報(bào)數(shù)據(jù)源接口，采集多時(shí)次、多區(qū)域的天氣預(yù)報(bào)、氣象指數(shù)、景點(diǎn)天氣預(yù)警等預(yù)報(bào)數(shù)據(jù)。（5）氣象預(yù)警數(shù)據(jù)采集模塊連接氣象預(yù)警數(shù)據(jù)源接口，采集指定區(qū)域的實(shí)時(shí)預(yù)警數(shù)據(jù)。

2.3數(shù)據(jù)存儲(chǔ)

高明“智慧氣象”數(shù)據(jù)中心由兩臺(tái)高性能計(jì)算機(jī)作為數(shù)據(jù)庫(kù)載體，配以大容量的磁盤陣列和磁帶機(jī)，系統(tǒng)通過光纖存儲(chǔ)交換機(jī)相連，采用雙鏈路備份的方式，保證數(shù)據(jù)庫(kù)的可用性與可靠性。系統(tǒng)涉及到整合其他業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，其他寫數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)庫(kù)可能有Oracle或者SQLServer等結(jié)構(gòu)化數(shù)據(jù)庫(kù)，也有NoSQL類型的數(shù)據(jù)庫(kù)，或者分布式數(shù)據(jù)庫(kù)，同時(shí)考慮到與政務(wù)大數(shù)據(jù)平臺(tái)相結(jié)合，因此，本方案設(shè)計(jì)系統(tǒng)把采集過來的數(shù)據(jù)存儲(chǔ)在由Hadoop搭建的分布式存儲(chǔ)系統(tǒng)上，通過HBase進(jìn)行結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，通過逐步建立分布式數(shù)據(jù)分析模型，不斷地豐富系統(tǒng)提供的氣象產(chǎn)品服務(wù)。

2.4數(shù)據(jù)共享

MapReduce是由Google提供的建立在HDFS之上的一個(gè)并行計(jì)算框架；我們需要通過MapReduce框架設(shè)計(jì)對(duì)共享數(shù)據(jù)的檢索與分析，為各種業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)。HBase是一個(gè)類似于GoogleBigTable的分布式NoSQL列數(shù)據(jù)庫(kù)；Hive是由Facebook貢獻(xiàn)的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具提供類SQL查詢方法，使得上層數(shù)據(jù)應(yīng)用程序可以通過關(guān)系型數(shù)據(jù)庫(kù)訪問的方式查詢分布式文件系統(tǒng)中的數(shù)據(jù)；Zookeeper是由Facebook提供的一個(gè)分布式鎖設(shè)施，在整個(gè)平臺(tái)中起到協(xié)調(diào)各種操作的作用。Pig是一個(gè)大數(shù)據(jù)分析平臺(tái)，為用戶提供多種接口，在系統(tǒng)中主要通過其方便的腳本編程接口為上層數(shù)據(jù)應(yīng)用程序提供服務(wù)。

3總結(jié)

在對(duì)于氣象數(shù)據(jù)進(jìn)行分析和共享時(shí)，各種錯(cuò)誤數(shù)據(jù)需要認(rèn)真的比對(duì)和分析，從而對(duì)其進(jìn)行評(píng)估，因此作為工程師應(yīng)當(dāng)具有一定的建模能力，使得共享效率提升，能夠?qū)⑾鄳?yīng)工具在精確運(yùn)行中應(yīng)用，同時(shí)這樣有利于實(shí)現(xiàn)氣象數(shù)據(jù)設(shè)備的科學(xué)規(guī)劃與合理布局。共享技術(shù)對(duì)于氣象設(shè)備的發(fā)展來說具有極為重要的意義，因此需要對(duì)其技術(shù)進(jìn)行進(jìn)一步的優(yōu)化。

參考文獻(xiàn)：

[1]王闊音.航空氣象信息服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].中國(guó)礦業(yè)大學(xué)，2015.

[2]馮慧菁.基于GIS的氣象信息集成與可視化系統(tǒng)[D].南京信息工程大學(xué)，2013.

[3]王增武.基于GIS技術(shù)的氣象數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].電子科技大學(xué)，2008.

作者:黃錦燦 蔡賢達(dá) 田良鈺 單位:佛山市高明區(qū)氣象局