編者按：DAMA-DMBOK的數據管理12原則第10條，數據管理就是數據全生命周期管理。作者從小處著眼，對比分析了眾多行業機構中的生命周期模型，有助于我們深入理解數據資產的生命周期管理。 DMBOK中文第二版馬上就要上架了，關于DMBOK你有什么感想，歡迎你也來分享。
1摘要
數據是一種重要的資源，已經成為一種社會生產要素，被提升為和勞動、土地和資本同等重要的地位。數據科學家和權威專家維克托.邁爾.舍恩伯格在其《大數據時代》中指出：雖然大數據還沒有被列入企業的資產負債表，但這只是一個時間問題。由此可見，這個時間越來越近了。事實上，最近幾年，許多人認為數據是一種資產，但是究竟什么是數據資產？如何管理數據資產？數據資產管理和數據管理有什么不同？盡管出現了很多專家和專著，但真正理解這個概念的人并不多，懂得如何實操數據資產管理的更寥寥無幾。筆者作為第一批數據資產管理的探索者，有幸參與了國內幾個典型項目，想借本文從數據資產全生命周期這個角度和業界同仁們分享一點自己的思考和心得。
數據資產全生命周期管理模型是設計良好的用于組織數據資產的框架，有許多工作要根據數據資產全生命周期管理模型來提出新的數據管理要求。截止目前，國內外還沒有數據資產全生命周期管理的相關模型，如同任何其它資產一樣，數據資產也具有生命周期，管理數據資產就是管理數據全生命周期。本文借鑒資產全生命周期管理理念和數據生命周期管理模型，根據大數據的特點，提出一種適用于數據資產管理的全生命周期模型，從而推動數據生產、使用、治理，實現效益最大化。
2什么是資產全生命周期管理？
假設數據是一種資產，那么是不是可以借鑒傳統資產全生命周期管理的理論呢？首先，讓我們一起來看看什么是資產全生命周期管理。
資產全生命周期管理是指資產從構思、決策、設計、建造、使用，經過有形磨損，直至在技術上或經濟上不宜繼續使用，需要進行更新所經歷的時間，開展資產全生命周期管理的目的就是加強資產管理。降低資產維護檢修成本，延長資產使用時間，提高資產利用率。
以典型的設備資產為例，其全生命周期一般包括以下六個環節：
圖1設備資產全生命周期
從設備設計、采購開始，直至設備運行、維護、報廢進行全生命周期管理；將基建期圖紙、采購、資料信息帶到設備臺賬中，實現對設計數據、采購數據、施工數據、安裝數據、調試數據等后期移交和設備系統生產運維所需要的完整數據平滑過渡，實現基建、生產一體化，提升企業資產利用率，增強企業投資回報率。同時結合成本管理、財務管理，既實現對資產過程管控，更實現對資產價值的管理。
由此可見，資產全生命周期管理是從長期效益出發，以設備全生命周期整體最優為管理目標，打破部門界限，將規劃、基建、運行等不同階段的成本統籌考慮，追求設備資產經濟效益最大化，在最佳的可靠性水平和有效地利用資產之間尋求平衡。
3數據全生命周期管理模型研究
數據全生命周期管理模型定義了一個宏觀的框架，它是從生產階段到消費階段的數據生命的全景視圖。數據全生命周期管理模型的目標是優化數據管理，提高效率，降低成本，以提供適合最終用戶使用的數據產品，滿足預期的質量要求，這和資產全生命周期管理的目標是一致的。但是，因為數據有很多自身的特點，又不完全相同。在數據管理領域，學術界和企業界的許多研究人員提出了不同的數據全生命周期管理模型。
3.1CSA模型
云安全聯盟（CSA）是管理安全云計算環境的世界領先組織。CSA為云環境中的數據安全提出了一個數據生命周期模型。提供的數據模型有六個階段，分別是創建、存儲、使用、共享、存檔和銷毀，如圖2所示。因此，這個模型解決了云計算環境中的一個特殊問題，安全性。
圖2CSA模型
研究結論：此模型涵蓋的內容并不全面，因為它是為云計算模型中的數據安全而設計的。因此，并未考慮數據質量、數據處理和數據分析等概念。
3.模型
地球數據觀測網是由美國國家科學基金會（NSF）資助的一個名為“數據一號”的組織。他們的數據模型旨在為生物和環境科學研究提供數據保存和再利用。擬議的數據生命周期包括收集、保證、描述、存放、保存、發現、集成和分析，如圖3所示。因此，該模型可以用于存儲和檢索長期使用的信息。
圖模型
研究結論：該模型是專門為數據保存和復用而開發的，不能看作是一個綜合模型。此外，對數據安全也沒有任何關注。
3.3DDI模型
數據文件倡議（DDI）是大學間政治和社會研究聯合會（ICPSR）的一個項目。DDI試圖為社會科學數據資源的描述生成元數據規范。所提供的模型包括八個元素，它們是研究概念、數據收集、數據處理、數據存檔、數據分發、數據發現、數據分析和重新調整用途，如圖5所示。
圖4DDI模型
研究結論：這幾乎是一個全面的模型信息系統生命周期分為，因為它成功地解決了數據生命周期中從收集到使用的大多數步驟。但是，似乎沒有對數據質量和數據安全有任何關注。
3.模型
來自數字新西蘭。他們的目標是為用戶收集和增加數字內容的數量，而數據模型是為存檔和使用數字信息而設計的。該模型包括選擇、創建、描述、管理、保存、發現、使用和復用等步驟，如圖5所示。該模型旨在管理數據利益相關者之間的數字信息交換。
圖5 內容模型
研究結論：此模型的設計只關注存檔和使用目的，因此不能將其視為一個全面的模型。此外，該模型不提供數據分析、數據集成、數據安全和數據質量。
3.5生態信息學模型
生態信息學是幫助科學家處理相關生物、環境和社會經濟數據和信息的框架。該模型旨在通過發現、管理、集成、分析、可視化和保存相關數據和信息的創造性工具和方法來構建新知識。如圖6所示，計劃、收集、保證、描述、保存、發現、集成和分析是該模型的步驟。因此，該模型提供了一個框架，以實現對某些特定科學的數據和信息的新見解。
圖6 生態信息學模型
研究結論：此框架設計幾乎是一個全面的模型，因為它是為數據收集、數據保存、數據發現和一些數據操作（如數據集成和數據分析）而設計的。然而，數據安全仍然沒有包括在內，所以它實際上也不是一個綜合模型。此模型看起來與模型非常相似，但在第一步中它們有所不同。
3.6一般科學模型
通用科學模型由科學機構提供，用于管理科學數字數據。此模型可用于管理用于存檔或處理數據的數據收集方法。
通用科學數據模型將計劃、收集、集成和轉換、發布、發現和通知以及存檔或丟棄作為生命周期的六個階段。這個模型，如圖7所示，可以用數據管理計劃使用的特定技術來預測下一組數據采集。
圖7 一般科學模型
研究結論：此模型不是整個數據生命周期的綜合模型，因為它是專門為數據存檔和處理而設計的。該模型不關心數據分析、數據安全和數據質量。
3.7地理空間模型
地理空間數據生命周期模型由聯邦地理數據委員會（FGDC）支持。該模型旨在為地理和相關空間數據活動探索和保存有價值的信息。圖8總結了地理空間數據生命周期的各個階段，包括定義、清點/評估、獲取、訪問、維護、使用/評估和歸檔。處理此模型是為了發現具有可接受的質量和業務需求的數據以供將來使用。
圖8地理空間模型
研究結論：此模型不能用作綜合模型，因為它是專門為搜索和存檔信息而設計的。另外，這個模型沒有涉及到循環中的數據分析和數據集成。此外，質量保證和質量控制包括在每個階段。
3.8德烏斯托大學模型
西班牙德烏斯托大學的一組研究人員提出了一種用于智能城市數據管理的數據生命周期模型。如圖9所示，該模型的不同階段是發現、捕獲、管理、存儲、發布、鏈接、利用和可視化。此模型是一個用于在智能城市中發現、存儲和發布數據的選項。
圖9 德烏斯托大學模型
研究結論：該模型不能被視為綜合模型，因為它是智能城市數據管理的專用模型。此外，模型中沒有對數據安全和數據質量（包括QA和QC）的關注。
3.9JISC模型
管理研究數據方案下的聯合信息系統委員會（JISC）致力于英國高等教育和研究的良好研究數據管理和共享。所提出的研究模型是為用戶之間的數據共享而設計的。該模型包括七個步驟：計劃、創建、使用、評估、發布、發現和復用，如圖10所示。所提供的模型是一個數據共享和發現框架，作為其全局數據管理起始點的一部分。
圖10 JISC研究模型
研究結論：此模型也不是綜合模型，因為它是為數據共享和發現而設計的。此模型不提供任何數據處理、數據集成和數據分析階段。此外，該模型涵蓋了“評估”步驟下的質量控制概念，但未提供質量保證。
3.10英國數據存檔模型
英國數據檔案館是英國最大的數字數據（包括社會和經濟數據）收集機構之一。英國的數據存檔模式側重于數字數據的獲取、管理和存檔。該模型包括創建數據、處理數據、分析數據、保存數據、訪問數據和復用數據，并將它們組織為一個周期，如圖11所示。因此，該模型對于跨數字數據的存檔和發現是一個很好的選擇。
圖11 英國數據存檔模式
研究結論：該模型可以假設為一個綜合模型，因為它提供了完整的數據生命周期，包括采集、管理和保存。但是，此模型不包括數據質量。
3.模型
美國地質調查局（USGS）數據集成社區（CDI）致力于處理與美國地質局科學研究相關的數據和信息管理問題。USGS數據模型提供了一個框架，用于評估和改進管理科學數據的政策和實踐，并確定需要新工具和標準的領域。該模型包括主要的和橫切的模型元素，如圖12所示。主要的模型元素是計劃、獲取、處理、分析、保存和發布/共享。此外，橫切模型元素還附帶了描述、管理質量、備份和安全等步驟。因此，該模型可以為科學數據的管理提供參考，以獲得更好的標準和工具。
圖12 美國地質勘探局模型
研究結論：這個模型可以被認為是一個綜合的模型，因為它為采集、整理和保存建議了數據周期。然而，該模型不包括數據安全，因為“存儲和安全”元素中的安全含義是指物理風險，例如硬件和軟件故障。
3.12北京郵電大學模型
該模型隸屬于北京郵電大學的一個研究小組。此模型用于云計算環境中的數據安全。圖13所示的基于圖的模型有五個階段，分別是創建、存儲、使用和共享、存檔和銷毀。該模型適用于云環境中的安全性。
圖13 北京郵電大學模型
研究結論：這個模型不能被認為是一個全面的模型，因為它的設計只支持云中的數據安全。此外，它不包括數據質量、數據分析和數據發布等階段。
3.13PII模型
個人身份信息生命周期模型涵蓋了從創建到存儲的PII數據。它從個人信息保護的視角，將生命周期劃分為采集、處理、存儲、轉移和維護，如圖14所示。
圖14 PII生命周期模型
研究結論：雖然這個生命周期是封閉的，但它包含銷毀過時數據的步驟。在這個周期的每一個步驟中，我們都注意到添加了額外的信息來保持信息的可跟蹤性。
3.模型
DAMA(國際數據管理協會)認為有效的數據數據管理開始于數據獲取之前，企業應先制定數據規劃，定義數據規范，然后再進行開發實施、創建和獲取、維護和使用、存檔和檢索，最后是清除。
圖15 DAMA模型
研究結論：DAMA數據生命周期模型也不能看作是一個全面的模型，因為它并沒有考慮數據安全、數據質量和數據共享分布等內容，而且它只給出了階段劃分，并沒有詳細說明每一階段的具體內容，只是一個理論模型。
3.15對比分析
為了進行分析，我選擇了20個階段：定義、計劃、開發實施、創建/接收、處理、保證、描述、管理、存儲、分發、發現、集成、維護、使用、可視化、評估、復用、共享/發布和歸檔。通過對比分析可以發現有些階段是每個模型共同的；比如創建/接收,有些階段則是獨有的，比如可視化。令我感到意外的是數據歸檔和銷毀居然很少有模型涉及，這說明很多模型并沒有把數據當作資產來看待，并沒有考慮數據管理的效益最大化，這也正是設計數據資產全生命周期模型的必要。為了使我的比較客觀且直觀呈現，我制作了一個分析圖表。
圖16各模型生命周期對應關系
之后，根據統計分析，結合大數據的特點已經企業實踐經驗保留了11個階段，包括計劃、定義、創建/接收、處理、集成、存儲、運維、共享、發現、使用和復用、歸檔&銷毀。
然后，我為每個生命周期分配一個分數，以便于評估模型。
圖17 各模型評估結果排名
這個排名也證實了DAMA在數據管理領域的專業地位，這是一個模型，幾乎包含了我在分析中保留的所有階段。我們在這個周期中唯一的缺點是數據集成、共享和發現階段仍然沒有，這幾個階段在數據使用過程中很重要。因此信息系統生命周期分為，我將此生命周期模型作為基礎，同時利用USGS、生態信息學模型和DCI等模型來彌補DAMA模型中的缺項。接下來，我將介紹一種適用于數據資產管理全生命周期管理的模型。
4數據資產全生命周期模型
我分析并描述了大多數數據生命周期模型。數據生命周期模型的出現表明，對數據管理和移動性的新要求給傳統的數據生命周期模型增加了一些具體的步驟，如數據質量、數據安全、數據復用等。此外，許多模型都是為解決數據管理中的一個特定問題或特定目的而設計的。當然，每個模型對于他們的研究或項目需求來說都是一個合適的設計，而且，它們可能會留下一些挑戰需要解決，因為這些挑戰超出了他們的目標范圍。基于這個原因，我想知道是否有一個綜合的模型能夠成功地滿足數據資產管理的需求。數據資產全生命周期模型（Data Asset Life Cycle Model，簡稱DALCM）主要貢獻是消除企業或組織在為任何新項目設計新模型時的認知差異和浪費。
圖18 數據資產全生命周期模型（DALCM）
數據資產全生命周期分為4大期間和11階段。4大期間包括數據資產生成的“入”期、數據資產保存的“存”期、數據資產應用的“用”期和數據資產退出的“出”期。四大期間下包含11個階段，有效的數據資產管理始于數據的產生之前開始，首先應該做好規劃和計劃，包括數據資產盤點、數據治理計劃、數據需求計劃等；然后對數據標準進行定義，制定數據管理規范，確保數據按照標準產生，從源頭抓起，有句古詩說得特別好：“問渠那得清如許？為有源頭活水來。”。在“存”的期間內，處理和存儲都沒什么好說的，比較容易理解，在這里把“集成”放進來主要是考慮到數據資產管理需要打通數據孤島，數據只有集成起來才能發揮更大的價值。只有實現了數據集成，數據倉庫才能稱之為數據倉庫，否則即使把數據集中起來存儲，也只能叫做數據垃圾堆。“用”這個期間是真正產生價值的周期，其他周期都是成本，數據因使用而生值，用處越多價值越大。在“用”這個期間要特別強調“數據復用”這個階段，時下比較流行的數據中臺架構，我認為最大的一個價值就是數據復用和服務復用，這對于節省成本，提高效率非常重要。未來企業或組織在評估一個數據產品值不值得開發很重要的一個指標應該看能不能復用。當然，如果不能復用，單個項目的收益足夠大的時候，也是可以投入的。“出”也非常重要，雖然現在存儲的價格越來越低，但是如果不加以管理也會產生很大的負擔，對于數據資產整體效益不利。另外，如不加以區分，本該歸檔或者清除的數據和活躍的數據存放在一起，將嚴重影響效率。
數據運維提供保障，主要負責對數據庫進行日常維護，對數據進行備份、恢復。確保數據完整性、一致性、及時性，保證數據質量。還要提供數據安全方面的防護，進行用戶授權、身份認證和訪問行為監控等，并保密級別較高的數據進行數據加密、脫敏、匿名化等操作。
數據資產運營是DALCM區別于數據生命周期不同之處。數據資產運營以數據資產效益最大化為目標，包括數據資產全生命周期成本核算、數據資產價值評估、數據資產變現、數據資產活性分析和數據資產投資收益分析等內容。
5企業實踐
筆者發現很多人在談數據生命周期管理的時候，只是提出了一個概念或者大概知道劃分哪些階段，但是并不知道具體怎么做，或者每個階段從管理上和技術上怎么操作。
下面，筆者就以數據銷毀階段為例，簡單介紹一下我在實踐中的具體做法。
首先，根據數據的血緣關系，繪制出整個數據調用的關系鏈，如下圖所示：
圖19 數據血緣關系
父級數據節點（如上圖，父表是兒子表和兒媳表的父級節點）的活性等于自身的調用次數加上所有子節點的調用次數。
舉例：比如上圖中父表的活性=父節點自身的調用次數+兒子節點的調用次數+兒媳節點的調用次數+孫子節點的調用次數。
將活性等級劃分為4個區間，分別為：死透、半死不活、活的一般、活得很好。
圖20 數據資產活性等級劃分
根據數據活性評估模型評估數據資產所處在的區間。通過一個月不間斷的評估，根據每天評估結果的算術平均值。每月出具數據活性分析報告，為數據管理提供決策支持，比如：對死透的數據選擇進行銷毀、遷移到低成本存儲設備或者想辦法激活。有的數據雖然不在活動，也不能直接銷毀，比如國家或行業監管有要求保存期限的。對于半死不活的數據可以考慮怎么樣激活，讓其被更多的利用，以創造更大的價值。
最后，還是得借助IT支撐工具實現自動化管理。通過數據資產全生命周期管理系統，可視化呈現數據活性最高的數據資產，自動出具數據活性分析報告，列示超過12個月的死掉的數據清單，根據處理結果，統計釋放的存儲空間、節約的成本以及提升的效率，并繪制相應的變化趨勢圖。通過數據資產目錄系統展示每一項數據資產的活性，以便于數據資產管理人員以及數據使用人員決策。
下一步，計劃結合數據資產地圖和數據資產活性繪制一份數據資產熱力圖（如圖21所示），更加直觀地呈現核心數據資產的分布和流向等。
圖21 數據熱力圖（示意）
6總結
隨著數字經濟時代的到來，數據是一種資產被廣泛認可，數據資產生命周期在各種數據管理框架中被提及，但是并沒有一個權威的數據資產全生命周期模型。筆者首先回顧了傳統資產全生命周期管理模型，然后分析了國內外幾種數據生命周期模型的優缺點，再結合企業實踐經驗，提出了DALCM模型（數據資產全生命周期模型）。本文的附加價值介紹了數據銷毀的具體做法，企業或組織看完后是立馬可以施行的。
7參考
1.DAMA模型.參考資料:.0，2017.2.5.9:p.28~29
2.
3.
4.國際數字管理雜志, 2008. 3(1): p. 134-140
5.
6.
7.
8.
9.
10. //a-16
11.
12.
13.
14.
15.
作者簡介：
李然輝是，數據管理專家，國際數據管理協會中國分會（DAMA中國）會員，CDMP，國家工程實驗室特聘工業大數據工程技術專家，中國企業數據治理聯盟成員，擁有豐富的數據資產管理體系搭建、數據資產價值評估、數據資產運營以及數據治理等相關領域的管理實戰經驗。
掃碼加入DAMA中國會員