淺議建設地市級氣象信息數(shù)據(jù)倉庫的必要性和可行性
佚名
摘要: 本文通過簡單概述數(shù)據(jù)倉庫的概念、與數(shù)據(jù)庫的區(qū)別,從現(xiàn)代氣象服務工作的需要和部門聯(lián)動合作的需要分析說明了建設地市級氣象信息數(shù)據(jù)倉庫的必要性,從數(shù)據(jù)源、建設數(shù)據(jù)倉庫的軟硬件以及人才方面說明現(xiàn)在著手建設地市級氣象信息數(shù)據(jù)倉庫的可行性。 Abstract: The concept of the data warehouse and the difference between the database are described in the present paper, the necessity and possibility of the development of the meteorological information data warehouse for a prefecture-level city are emphasized in the aspects of the need for the weather service in the modern society and the departments cooperation, the data source, the condition of the hardware and software as well as the talented persons, respectively. 關鍵詞: 數(shù)據(jù)倉庫;數(shù)據(jù)庫系統(tǒng);氣象服務;決策服務;OLAP;DM Key words: data warehouse;database system;meteorological service;decision service;OLAP;DM
1數(shù)據(jù)倉庫概述 數(shù)據(jù)倉庫(Data Warehouse)的概念是Inmon-1 J首先提出來的,將數(shù)據(jù)倉庫定義為一個支持管理決策過程的、面向主題的、集成的、穩(wěn)定的、隨時間而變的數(shù)據(jù)集合[1]。數(shù)據(jù)倉庫的產(chǎn)生是信息技術發(fā)展的必然結(jié)果,數(shù)據(jù)倉庫是在數(shù)據(jù)庫的基礎上發(fā)展起來的,又不同于數(shù)據(jù)庫:數(shù)據(jù)庫用于事務處理,數(shù)據(jù)倉庫用于決策分析,數(shù)據(jù)倉庫往往還要包括相應的數(shù)據(jù)分析工具,比如聯(lián)機分析處理(OLAP,On—Line Analysis Process)和數(shù)據(jù)挖掘(DM,Data Mining)系統(tǒng)等。聯(lián)機分析處理(OLAP)是將決策支持功能與傳統(tǒng)的聯(lián)機事務處理功能(OLTP)明顯區(qū)分開來,它從人類分析數(shù)據(jù)的一般規(guī)律出發(fā),形成了基于多維分析的決策支持工具[1]。 綜合對數(shù)據(jù)倉庫的各種理解,可以認為數(shù)據(jù)倉庫是一種體系結(jié)構(gòu)、一種環(huán)境,最大的特點是它的主題性,將來自各種數(shù)據(jù)源的數(shù)據(jù)進行統(tǒng)一與綜合按照主題進行組織,包含大量的歷史數(shù)據(jù),為管理決策活動提供支持?;趯?shù)據(jù)倉庫的理解,提出的地市級氣象信息數(shù)據(jù)倉庫簡單結(jié)構(gòu)圖如圖1所示。 2地市級氣象資料數(shù)據(jù)存貯現(xiàn)狀 地市級氣象局擔負著管理、收集和轉(zhuǎn)發(fā)所管轄縣市臺站的觀測資料的任務,同時也擔負著管理、收集和轉(zhuǎn)發(fā)來自省級氣象局及中國氣象局的氣象資料(如全國觀測數(shù)據(jù)、衛(wèi)星云圖等),這些資料在氣象預報和氣象服務中起到關鍵性的作用。地市級氣象局一直很重視對這些資料的存檔,長期以來積蓄了海量的氣象資料數(shù)據(jù),但這些資料的絕大部分仍然采用報文文件或普通文件的形式保存,只有小部分(如自動站)用數(shù)據(jù)庫的形式保存。地市級氣象局在這種數(shù)據(jù)庫應用缺乏的狀況下,對歷史氣象資料的查詢比較繁雜,氣象數(shù)據(jù)的開發(fā)應用較為艱難。針對當前地市級氣象信息資料存儲的現(xiàn)狀,建設地市級氣象信息數(shù)據(jù)倉庫對推進氣象事業(yè)的發(fā)展和提高氣象服務水平以及豐富氣象服務手段是非常必要和迫切的,同時對信息資料的共享應用會有很大的促進作用。 3建設地市級氣象信息數(shù)據(jù)倉庫的必要性 3.1 氣象決策服務的迫切需要隨著科技和經(jīng)濟的飛快發(fā)展,氣象服務對各行各業(yè)的影響卻越來越強烈,加上人類社會在現(xiàn)代化的過程中造成的環(huán)境破壞對氣候的影響,使得天氣氣候環(huán)境越來越惡劣,極端天氣越來越頻繁,破壞力越來越大。基于氣象災害對經(jīng)濟社會造成的巨大損害,各級政府和相關部門對氣象事業(yè)越來越重視,單一的天氣預報服務明顯已經(jīng)不能滿足政府及相關部門的決策要求。需要有一個氣象防災減災決策平臺,該平臺要綜合各種氣象、水汶、地質(zhì)、交通、農(nóng)時等要素,要對每次天氣過程都能進行分析推理出可能造成的災害并提前預警,盡可能早的在災害發(fā)生前為決策部門提供建議,預防和減少氣象災害造成的損害。而氣象防災減災決策平臺的建設必須要有氣象信息數(shù)據(jù)倉庫的支持。因此說氣象信息數(shù)據(jù)倉庫的建設是氣象部門為地方?jīng)Q策部門提供氣象決策服務的現(xiàn)實需要。 3.2 公眾氣象服務的需要我國經(jīng)濟的持續(xù)高速發(fā)展,正大步帶領我們?nèi)婵缛胄】瞪鐣?,隨著生活水平的提高,人們就越來越注重自己的生活質(zhì)量。人們的生活水平越高,對天氣氣候的關注度就會越高,過去,通過電視或電臺播出的《天氣預報》節(jié)目作為公眾獲取天氣信息的單一渠道,為公眾氣象服務做出了不可磨滅的貢獻,但隨著信息社會的到來,它早已不能滿足公眾對天氣信息的需求,人們需要更多更方便的渠道獲取更多的、更詳細的、更準確的、更及時的天氣氣象信息?,F(xiàn)代通信網(wǎng)絡技術,使公眾可以通過手機短信、氣象網(wǎng)站,電子顯示屏等多種渠道獲取氣象信息,但是,要為公眾提供這些渠道必須要有數(shù)據(jù)倉庫的支持才能實現(xiàn)。因此,氣象信息數(shù)據(jù)倉庫的建設是保障公眾的生活質(zhì)量,為公眾氣象服務提供多種渠道的需要。 3.3 多部門聯(lián)動合作的需要氣象科學數(shù)據(jù)是國家重要的基礎性、公益性科學數(shù)據(jù)資源,是我國歷史年代最長、保存最完整、最系統(tǒng)的地球信息資源之一。中國氣象局宇如聰副局長2010年4月8日在京召開的氣象信息共享(同城用戶)座談會表示:做好氣象信息共享,是最大程度發(fā)揮信息資源使用效率,建立部門間緊密合作和有效聯(lián)動機制的重要基礎,是提高天氣預報準確率和公共氣象服務能力的關鍵所在。
在地市一級,政府、交通、農(nóng)業(yè)、水利、水汶等各部門希望氣象信息在防災減災、決策部署等方面發(fā)揮更重要作用,希望加強與氣象部門聯(lián)動合作,要達到上述目的,需要繼續(xù)推進氣象科學數(shù)據(jù)共享工作,進一步完善氣象信息網(wǎng)絡系統(tǒng)及基礎信息支撐平臺和部門間合作機制,針對不同的部門和不同的主題,加工共享數(shù)據(jù),建設地市級氣象信息數(shù)據(jù)倉庫,開發(fā)建設防災減災決策平臺和公眾氣象服務平臺,以達到氣象信息數(shù)據(jù)共享的目的,最大程度發(fā)揮信息資源使用效率。 4建設地市級氣象信息數(shù)據(jù)倉庫的可行性 4.1 數(shù)據(jù)源數(shù)據(jù)倉庫的基本組成元素就是數(shù)據(jù),因此要建設倉庫就必須要有充足的數(shù)據(jù)源,數(shù)據(jù)倉庫的數(shù)據(jù)存儲系統(tǒng)任務就是將數(shù)據(jù)從各數(shù)據(jù)源抽取出來,轉(zhuǎn)換為分析型數(shù)據(jù),存儲并提供數(shù)據(jù)檢索和管理的界面。氣象科學數(shù)據(jù)是國家重要的基礎性、公益性科學數(shù)據(jù)資源,是我國歷史年代最長、保存最完整、最系統(tǒng)的地球信息資源之一。氣象產(chǎn)業(yè)屬于高科技產(chǎn)業(yè),要用先進科技進行分析預測,歷來就非常注重對各種氣象數(shù)據(jù)要素的開發(fā)應用和保存。只要有需要,我們就可以查詢到歷史上任何層開展過的氣象業(yè)務的數(shù)據(jù),從初期的簡單的氣溫、氣壓、風向、風速資料到現(xiàn)在的衛(wèi)星、自動站資料等等。對于決策平臺需要的地理信息、水汶、交通等數(shù)據(jù),我們可以通過部門聯(lián)動、數(shù)據(jù)共享獲取。因此,建設氣象數(shù)據(jù)倉庫的數(shù)據(jù)源非常豐富充足。 4.2 數(shù)據(jù)庫系統(tǒng)建設數(shù)據(jù)倉庫的出現(xiàn),并不是要取代數(shù)據(jù)庫。目前,大部分數(shù)據(jù)倉庫還是用數(shù)據(jù)庫管理系統(tǒng)來管理的。因此,建設數(shù)據(jù)倉庫的主要是建設數(shù)據(jù)庫管理系統(tǒng),包括軟件和硬件兩部分,軟件主要有MS SQL SERVER、Oracle、IBM、MySQL、Sybase等。綜合數(shù)據(jù)、流量、用戶等規(guī)模,地市級氣象信息數(shù)據(jù)庫系統(tǒng)應屬于中小型,建議選擇MS SQL SERVER,因為在WINDOWS上運行的數(shù)據(jù)庫應用系統(tǒng),微軟的數(shù)據(jù)庫是最好的選擇,而且微軟的數(shù)據(jù)庫系統(tǒng)是最容易使用和掌握的產(chǎn)品之一,擁有中文界面和幫助系統(tǒng),T-SQL也附有例子和中文解釋,而且用戶群龐大,交流很方便,能夠在相對短的時間內(nèi)上手。硬件方面就是就是一臺計算機數(shù)據(jù)服務器。 4.3 人才需求數(shù)據(jù)倉庫的構(gòu)建是純粹的技術工作,相關的技術人才的培養(yǎng)是是否能成功構(gòu)建和構(gòu)建質(zhì)量好壞的關鍵。要建設數(shù)據(jù)倉庫,首先至少要有一名能熟練掌握應用數(shù)據(jù)庫系統(tǒng)的人才,他們負責數(shù)據(jù)庫系統(tǒng)的構(gòu)建和管理,包括按主題要求構(gòu)建數(shù)據(jù)庫及其數(shù)據(jù)結(jié)構(gòu),針對決策過程的要求對數(shù)據(jù)源中的操作型原始數(shù)據(jù)進行進一步加工處理并按主題(即在分析數(shù)據(jù)時經(jīng)常用到的各種概念)重新組織,使它們成為便于分析的數(shù)據(jù),即分析型數(shù)據(jù),從而大大提高分析數(shù)據(jù)的效率。其次是需要開發(fā)服務平臺的程序員。地市級氣象部門在軟件開發(fā)方面的人才水平是比較高的,在此基礎上針對建設和管理數(shù)據(jù)倉庫方面的人才需求加大在該面的人才培養(yǎng)力度,對于成功建設地市級氣象信息數(shù)據(jù)倉庫在人才方面提供保障。 5結(jié)束語 建設地市級氣象數(shù)據(jù)倉庫是建設現(xiàn)代氣象服務系統(tǒng)平臺(決策氣象服務、公眾氣象服務、專業(yè)氣象服務等)的需要,也是各部門數(shù)據(jù)共享、聯(lián)動合作的需要,我們也有建設數(shù)據(jù)倉庫所必須的充足的、豐富的氣象數(shù)據(jù)資源,通過項目合作建設經(jīng)費應該也不難解決。為了提高地市級氣象服務水平,以適應現(xiàn)代化經(jīng)濟社會對氣象服務的高要求,地市級氣象部門有必要早日開始著手氣象數(shù)據(jù)倉庫建設的相關事宜,為防災減災提供更加豐富的服務手段。