你所理解的元數(shù)據(jù)是什么樣子的呢？
1
概述
元數(shù)據(jù)通常定義為”關(guān)于數(shù)據(jù)的數(shù)據(jù)”，元數(shù)據(jù)貫穿了數(shù)據(jù)倉(cāng)庫(kù)的整個(gè)生命周期，使用元數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)，使數(shù)據(jù)倉(cāng)庫(kù)自動(dòng)化，可視化。元數(shù)據(jù)打通了源數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)應(yīng)用，記錄數(shù)據(jù)從產(chǎn)生到消費(fèi)的全過程。
例如我們看一部電影，電影本身就是數(shù)據(jù)，那么元數(shù)據(jù)就是用來描述這部電影的數(shù)據(jù)。如下圖所示：
元數(shù)據(jù)主要記錄數(shù)據(jù)倉(cāng)庫(kù)中模型的定義、各層級(jí)間的映射關(guān)系、監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)狀態(tài)及 ETL 的任務(wù)運(yùn)行狀態(tài)。在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，元數(shù)據(jù)可以幫助數(shù)據(jù)倉(cāng)庫(kù)管理員和開發(fā)人員非常方便地找到他們所關(guān)心的數(shù)據(jù)，用于指導(dǎo)其進(jìn)行數(shù)據(jù)管理和開發(fā)工作，可以極大的提升工作的效率。
2
元數(shù)據(jù)定義
將元數(shù)據(jù)按用途的不同分為兩類：
1技術(shù)元數(shù)據(jù)
技術(shù)元數(shù)據(jù)是存儲(chǔ)關(guān)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉(cāng)庫(kù)使用的數(shù)據(jù)。常見的技術(shù)元數(shù)據(jù)有：
1.存儲(chǔ)元數(shù)據(jù)：
如表、字段、分區(qū)等信息。記錄了表的中英文名及表狀態(tài)。分區(qū)信息、責(zé)任人信息、對(duì)應(yīng)主題，文件大小、表類型，生命周期，權(quán)限信息
記錄列的字段中英文名、字段類型、字段備注、是否是分區(qū)字段，保密級(jí)別及權(quán)限信息等信息。
2.運(yùn)行元數(shù)據(jù)，
如大數(shù)據(jù)平臺(tái)上所有作業(yè)運(yùn)行等信息：類似于 Hive Job 日志，包括作業(yè)類型、實(shí)例名稱、輸入輸出、 SQL 、運(yùn)行參數(shù)、執(zhí)行時(shí)間存儲(chǔ)系統(tǒng)元數(shù)據(jù)圖譜化，執(zhí)行引擎等。
3.數(shù)據(jù)開發(fā)平臺(tái)中數(shù)據(jù)同步、計(jì)算任務(wù)、任務(wù)調(diào)度等信息
包括數(shù)據(jù)同步的輸入輸出表和字段，以及同步任務(wù)本身的節(jié)點(diǎn)信息：計(jì)算任務(wù)主要有輸入輸出、任務(wù)本身的節(jié)點(diǎn)信息 任務(wù)調(diào)度主要有任務(wù)的依賴類型、依賴關(guān)系等，以及不同類型調(diào)度任務(wù)的運(yùn)行日志等。
4.數(shù)據(jù)質(zhì)量和運(yùn)維相關(guān)元數(shù)據(jù)，如任務(wù)監(jiān)控、運(yùn)維報(bào)警、數(shù)據(jù)質(zhì)量、故障等信息，包括任務(wù)監(jiān)控運(yùn)行日志、告警配置及運(yùn)行日志、故障信息等。
2業(yè)務(wù)元數(shù)據(jù)
業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，它提供了介于使用者和實(shí)際系統(tǒng)之間的語(yǔ)義層，使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能夠讀懂”數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。
常見的業(yè)務(wù)元數(shù)據(jù)有維度及屬性(包括維度編碼存儲(chǔ)系統(tǒng)元數(shù)據(jù)圖譜化，字段類型，創(chuàng)建人，創(chuàng)建時(shí)間，狀態(tài)等)、業(yè)務(wù)過程、指標(biāo)(包含指標(biāo)名稱,指標(biāo)編碼，業(yè)務(wù)口徑，指標(biāo)類型，責(zé)任人，創(chuàng)建時(shí)間，狀態(tài)，sql等)，安全等級(jí)，計(jì)算邏輯等的規(guī)范化定義，用于更好地管理和使用數(shù)據(jù)。數(shù)據(jù)應(yīng)用元數(shù)據(jù)，如數(shù)據(jù)報(bào)表、數(shù)據(jù)產(chǎn)品等的配置和運(yùn)行元數(shù)據(jù)。
3
元數(shù)據(jù)管理
對(duì)于元數(shù)據(jù)管理，目前來說有三種方式可供選擇。
手工錄入保存
對(duì)于規(guī)模比較小，并且業(yè)務(wù)不大的公司，可能會(huì)用這種方式，但是這種方式太古老，且容易出錯(cuò)
2自研系統(tǒng)
自研元數(shù)據(jù)管理系統(tǒng)或者在數(shù)據(jù)平臺(tái)開發(fā)元數(shù)據(jù)管理模塊
很多公司會(huì)自研元數(shù)據(jù)管理系統(tǒng)或者相關(guān)模塊，直接讀取hive元數(shù)據(jù)或者數(shù)據(jù)平臺(tái)配置的任務(wù)及調(diào)度元數(shù)據(jù)進(jìn)行展示，相比較Excel人工導(dǎo)入，會(huì)更智能一點(diǎn)，但是相對(duì)于Atlas，成本更高且效果不一定有Atlas好，很多時(shí)候也需要批量導(dǎo)入和手工錄入
元數(shù)據(jù)管理(常用)
Atlas 是一個(gè)可伸縮且功能豐富的元數(shù)據(jù)管理系統(tǒng)，深度對(duì)接了 大數(shù)據(jù)組件。
簡(jiǎn)單理解就是一個(gè)跟 關(guān)系緊密的，可以用來做各類數(shù)據(jù)的元數(shù)據(jù)管理的一個(gè)軟件系統(tǒng)；
atlas本身從技術(shù)上來說，就是一個(gè)典型的系統(tǒng)，其整體結(jié)構(gòu)圖如下所示：
核心組件
核心特性
ATLAS的使用，包含兩個(gè)方面：
注入元數(shù)據(jù)信息到atlas中（本質(zhì)是：寫入元數(shù)據(jù)到atlas中）
使用atlas中的元數(shù)據(jù)信息來為我們服務(wù)（本質(zhì)是：從atlas中讀、改元數(shù)據(jù)）
4
元數(shù)據(jù)價(jià)值
元數(shù)據(jù)有重要的應(yīng)用價(jià)值，是數(shù)據(jù)管理、數(shù)據(jù)內(nèi)容、數(shù)據(jù)應(yīng)用的基礎(chǔ)，在數(shù)據(jù)管理方面為集團(tuán)數(shù)據(jù)提供在計(jì)算、存儲(chǔ)、成本、質(zhì)量、安全、模型等治理領(lǐng)域上的數(shù)據(jù)支持。例如在計(jì)算上可以利用元數(shù)據(jù)查找超長(zhǎng)運(yùn)行節(jié)點(diǎn)，對(duì)這些節(jié)點(diǎn)進(jìn)行專項(xiàng)治理，保障基線產(chǎn)出時(shí)間。在數(shù)據(jù)內(nèi)容方面為集團(tuán)數(shù)據(jù)進(jìn)行數(shù)據(jù)域、數(shù)據(jù)主題、業(yè)務(wù)屬性等的提取和分析提供數(shù)據(jù)素材。例如可以利用元數(shù)據(jù)構(gòu)建知識(shí)圖譜，給數(shù)據(jù)打標(biāo)簽，清楚地知道現(xiàn)在有哪些數(shù)據(jù)。在數(shù)據(jù)應(yīng)用方面打通產(chǎn)品及應(yīng)用鏈路，保障產(chǎn)品數(shù)據(jù)準(zhǔn)確、及時(shí)產(chǎn)出。例如打通DP和應(yīng)用數(shù)據(jù)，明確數(shù)據(jù)產(chǎn)等級(jí)，更有效地保障產(chǎn)品數(shù)據(jù)。
5
元數(shù)據(jù)應(yīng)用
數(shù)據(jù)的真正價(jià)值在于數(shù)據(jù)驅(qū)動(dòng)決策，通過數(shù)據(jù)指導(dǎo)運(yùn)營(yíng)。通過數(shù)據(jù)驅(qū)動(dòng)的方法，我們能夠判斷趨勢(shì) ，從而展開有效行動(dòng)，幫助自己發(fā)現(xiàn)問題，推動(dòng)創(chuàng)新或解決方案的產(chǎn)生。這就是數(shù)據(jù)化運(yùn)營(yíng)。同樣，對(duì)于元數(shù)據(jù)，可以用于指導(dǎo)數(shù)據(jù)相關(guān)人員進(jìn)行日常工作，實(shí)現(xiàn)數(shù)據(jù)化“運(yùn)營(yíng)”。比如對(duì)于數(shù)據(jù)使用者，可以通過元數(shù)據(jù)讓其快速找到所需要的數(shù)據(jù)；對(duì)于ETL 工程師，可以通過元數(shù)據(jù)指導(dǎo)其進(jìn)行模型設(shè)計(jì)、任務(wù)優(yōu)化和任務(wù)下線等各種日常ETL 工作；對(duì)于運(yùn)維工程師，可以通過元數(shù)據(jù)指導(dǎo)其進(jìn)行整個(gè)集群的存儲(chǔ)、計(jì)算和系統(tǒng)優(yōu)化等運(yùn)維工作。
# 參考《大數(shù)據(jù)之路：阿里巴巴大數(shù)據(jù)實(shí)踐》