數(shù)據(jù)管理

數(shù)據(jù)管理[1]是利用計算機(jī)硬件和軟件技術(shù)對數(shù)據(jù)進(jìn)行有效的收集、存儲、處理和應(yīng)用的過程。其目的在于充分有效地發(fā)揮數(shù)據(jù)的作用。實(shí)現(xiàn)數(shù)據(jù)有效管理的關(guān)鍵是數(shù)據(jù)組織。隨著計算機(jī)技術(shù)的發(fā)展，數(shù)據(jù)管理經(jīng)歷了人工管理、文件系統(tǒng)、數(shù)據(jù)庫系統(tǒng)三個發(fā)展階段。在數(shù)據(jù)庫系統(tǒng)中所建立的數(shù)據(jù)結(jié)構(gòu)，更充分地描述了數(shù)據(jù)間的內(nèi)在聯(lián)系，便于數(shù)據(jù)修改、更新與擴(kuò)充，同時保證了數(shù)據(jù)的獨(dú)立性、可靠性、安全性與完整性，減少了數(shù)據(jù)冗余，故提高了數(shù)據(jù)共享程度及數(shù)據(jù)管理效率。

百分網(wǎng)數(shù)據(jù)管理的三個階段

一，人工管理階段

20世紀(jì)50年代中期以前，計算機(jī)主要用于科學(xué)計算，這一階段數(shù)據(jù)管理的主要特征是：

(1)，數(shù)據(jù)不保存。由于當(dāng)時計算機(jī)主要用于科學(xué)計算，一般不需要將數(shù)據(jù)長期保存，只是在計算某一課題時將數(shù)據(jù)輸入，用完就撤走。不僅對用戶數(shù)據(jù)如此處置，對系統(tǒng)軟件有時也是這樣。

(2)，應(yīng)用程序管理數(shù)據(jù)。數(shù)據(jù)需要由應(yīng)用程序自己設(shè)計、說明和管理，沒有相應(yīng)的軟件系統(tǒng)負(fù)責(zé)數(shù)據(jù)的管理工作。

(3)，數(shù)據(jù)不共享。數(shù)據(jù)是面向應(yīng)用程序的，一組數(shù)據(jù)只能對應(yīng)一個程序，因此程序與程序之間有大量的冗余。

(4)，數(shù)據(jù)不具有獨(dú)立性。數(shù)據(jù)的邏輯結(jié)構(gòu)或物理結(jié)構(gòu)發(fā)生變化后，必須對應(yīng)用程序做相應(yīng)的修改，這就加重了程序員的負(fù)擔(dān)。

二，文件系統(tǒng)階段

20世紀(jì)50年代后期到60年代中期，這時硬件方面已經(jīng)有了磁盤、磁鼓等直接存取存儲設(shè)備;軟件方面，操作系統(tǒng)中已經(jīng)有了專門的數(shù)據(jù)管理軟件，一般稱為文件系統(tǒng);處理方式上不僅有了批處理，而且能夠聯(lián)機(jī)實(shí)時處理。用文件系統(tǒng)管理數(shù)據(jù)具有如下特點(diǎn)：

(1)，數(shù)據(jù)可以長期保存。由于大量用于數(shù)據(jù)處理，數(shù)據(jù)需要長期保留在外存上反復(fù)進(jìn)行查詢、修改、插入和刪除等操作。

(2)，由文件系統(tǒng)管理數(shù)據(jù)。

同時，文件系統(tǒng)也存在著一些缺點(diǎn)，其中主要的是數(shù)據(jù)共享性差，冗余度大。在文件系統(tǒng)中，一個文件基本上對應(yīng)于一個應(yīng)用程序，即文件仍然是面向應(yīng)用的。當(dāng)不同的應(yīng)用程序具有部分相同的'數(shù)據(jù)時，也必須建立各自的文件，而不能共享相同的數(shù)據(jù)，因此數(shù)據(jù)冗余度大，浪費(fèi)存儲空間。同時，由于相同數(shù)據(jù)的重復(fù)存儲、各自管理，容易造成數(shù)據(jù)的不一致性，給數(shù)據(jù)的修改和維護(hù)帶來了困難

三，數(shù)據(jù)庫系統(tǒng)階段

20世紀(jì)60年代后期以來，計算機(jī)管理的對象規(guī)模越來越大，應(yīng)用范圍有越來越廣泛，數(shù)據(jù)量急劇增長，同時多種應(yīng)用、多種語言互相覆蓋地共享數(shù)據(jù)集合的要求越來越強(qiáng)烈，數(shù)據(jù)庫技術(shù)邊應(yīng)運(yùn)而生，出現(xiàn)了同意管理數(shù)據(jù)的專門軟件系統(tǒng)——數(shù)據(jù)庫管理系統(tǒng)。

用數(shù)據(jù)庫系統(tǒng)來管理數(shù)據(jù)比文件系統(tǒng)具有明顯的優(yōu)點(diǎn)，從文件系統(tǒng)到數(shù)據(jù)庫系統(tǒng)，標(biāo)志著數(shù)據(jù)庫管理技術(shù)的飛躍。

百分網(wǎng)面向數(shù)據(jù)應(yīng)用的數(shù)據(jù)管理

前面講到數(shù)據(jù)管理經(jīng)歷了人工管理、文件管理、數(shù)據(jù)庫管理等三個階段，主要是利用計算機(jī)硬件和軟件技術(shù)對數(shù)據(jù)進(jìn)行有效的收集、存儲、處理和應(yīng)用的過程。隨著信息技術(shù)的進(jìn)步，管理信息系統(tǒng)將面向大規(guī)模的組織提供業(yè)務(wù)支持，不僅要覆蓋整個組織的各類業(yè)務(wù)，而且要覆蓋整個組織(全球或者全國)。為此，作為管理信息系統(tǒng)的核心功能，數(shù)據(jù)管理將要進(jìn)入一個新的階段，即面向數(shù)據(jù)應(yīng)用的數(shù)據(jù)管理。

面向數(shù)據(jù)應(yīng)用的數(shù)據(jù)管理概念。

數(shù)據(jù)管理，即對數(shù)據(jù)資源的管理。按照en:DAMA的定義：“數(shù)據(jù)資源管理，致力于發(fā)展處理企業(yè)數(shù)據(jù)生命周期的適當(dāng)?shù)慕��?gòu)、策略、實(shí)踐和程序”。這是一個高層而包含廣泛的定義，而并不一定直接涉及數(shù)據(jù)管理的具體操作(摘自維基百科)。與百度百科的定義比較，百度百科的定義針對的是數(shù)據(jù)應(yīng)用過程中數(shù)據(jù)的管理，即傳統(tǒng)的數(shù)據(jù)管理，而維基百科的定義更高一層，針對的是企業(yè)數(shù)據(jù)全生命周期所涉及應(yīng)用過程數(shù)據(jù)的管理，即對數(shù)據(jù)變化的管理，或者說是針對描述數(shù)據(jù)的數(shù)據(jù)(元數(shù)據(jù))的管理，在此我們稱之為面向應(yīng)用的數(shù)據(jù)管理。

根據(jù)管理學(xué)理論，幾個人的團(tuán)隊(duì)可以靠自覺、自律，幾十個人就要有人管理，幾百個人就要有一個團(tuán)隊(duì)管理，幾千或幾萬人就必須要依靠計算機(jī)輔助團(tuán)隊(duì)管理。通常覆蓋全國的企業(yè)和機(jī)構(gòu)，其整個組織的管理分為總部機(jī)構(gòu)、省級機(jī)構(gòu)、市級機(jī)構(gòu)、以及基層機(jī)構(gòu)等等各層級機(jī)構(gòu);在每個層級機(jī)構(gòu)中還設(shè)置了直接從事相應(yīng)業(yè)務(wù)的管理和職能部門和非直接從事業(yè)務(wù)的管理和職能部門(如人事、辦公、后勤、審計等);每個部門又是由若干員工為管理對象構(gòu)成的。同時，還制定了一系列的制度去規(guī)范和約束機(jī)構(gòu)、部門、人員等管理對象的活動、行為等。

同樣，數(shù)據(jù)管理隨著管理對象——數(shù)據(jù)的增加，管理的方式(階段)也會隨之提升。通常的大型管理信息系統(tǒng)，其整個項(xiàng)目分為總集成、分項(xiàng)目、子項(xiàng)目、每個子項(xiàng)目又有若干內(nèi)部項(xiàng)目組等等管理層級;在每個管理層級中都涉及直接服務(wù)于業(yè)務(wù)的業(yè)務(wù)功能(如業(yè)務(wù)交易、賬務(wù)處理、行政管理、結(jié)果展現(xiàn)等等)和非直接服務(wù)于業(yè)務(wù)的非業(yè)務(wù)功能(如定義、配置、監(jiān)控、分析、記錄、調(diào)度等等);每個業(yè)務(wù)和非業(yè)務(wù)性質(zhì)的功能又分別由若干數(shù)據(jù)集合為對象(如流程、表單、數(shù)據(jù)項(xiàng)、算法、元數(shù)據(jù)、日志等等)所構(gòu)成的。同時，也需要制定一系列制度、規(guī)則和標(biāo)準(zhǔn)去約束項(xiàng)目、功能、數(shù)據(jù)等管理對象的活動和變化。

由此可見，傳統(tǒng)的數(shù)據(jù)管理側(cè)重的數(shù)據(jù)對象是流程、表單、數(shù)據(jù)項(xiàng)、算法等直接面向具體業(yè)務(wù)需求的數(shù)據(jù);面向應(yīng)用的數(shù)據(jù)管理所涉及的數(shù)據(jù)對象，還增加了通過標(biāo)準(zhǔn)化的手段，描述流程、表單、數(shù)據(jù)項(xiàng)、算法等應(yīng)用對象的數(shù)據(jù)(即它們對應(yīng)的元數(shù)據(jù))，以及記錄各類數(shù)據(jù)變化結(jié)果的檔案、記錄運(yùn)行狀態(tài)的日志等等非直接面向業(yè)務(wù)的數(shù)據(jù)，以實(shí)現(xiàn)對各類應(yīng)用業(yè)務(wù)需求的加載、變化、記錄、復(fù)用等過程的管理。