幾乎所有大企業(yè)都面臨著管理數(shù)據(jù)量、速度和種類的挑戰(zhàn)。在大數(shù)據(jù)平臺,Hadoop在復(fù)雜數(shù)據(jù)分析能力以及按相對低廉的成本實(shí)現(xiàn)大數(shù)據(jù)擴(kuò)展性方面提供了一些優(yōu)勢,同時(shí)帶來的挑戰(zhàn)之一就是元數(shù)據(jù)管理,如果沒有良好的元數(shù)據(jù)管理和數(shù)據(jù)治理,Hadoop將會(huì)缺乏透明度、可審計(jì)性以及數(shù)據(jù)的標(biāo)準(zhǔn)化與重復(fù)利用能力,企業(yè)仍將需要對數(shù)據(jù)相關(guān)的關(guān)鍵信息如來源、質(zhì)量和所有權(quán)進(jìn)行可見性管理,否則Hadoop將變成環(huán)境內(nèi)的又一個(gè)更大的數(shù)據(jù)孤島。
數(shù)據(jù)治理有如下分類,但不是企業(yè)內(nèi)的數(shù)據(jù)治理需要全部用到,根據(jù)實(shí)際情況部署一到多個(gè)分類治理,達(dá)到預(yù)期目標(biāo)即可:
數(shù)據(jù)治理分類 | ||
數(shù)據(jù)標(biāo)準(zhǔn)管理 | 標(biāo)準(zhǔn)定義、標(biāo)準(zhǔn)查詢、標(biāo)準(zhǔn)發(fā)布 | |
數(shù)據(jù)質(zhì)量管理 | 質(zhì)量規(guī)則定義、質(zhì)量檢查、質(zhì)量報(bào)告 | |
數(shù)據(jù)集成管理 | 數(shù)據(jù)處理、數(shù)據(jù)加工、數(shù)據(jù)匯集 | 數(shù)據(jù)血緣 |
數(shù)據(jù)資產(chǎn)管理 | 數(shù)據(jù)資產(chǎn)編目、數(shù)據(jù)資產(chǎn)服務(wù)、數(shù)據(jù)資產(chǎn)審批 | |
數(shù)據(jù)安全管理 | 數(shù)據(jù)權(quán)限管理、數(shù)據(jù)脫敏、數(shù)據(jù)加密 | 數(shù)據(jù)備份 |
數(shù)據(jù)歸檔、數(shù)據(jù)銷毀 | ||
主數(shù)據(jù)管理 | 主數(shù)據(jù)申請、主數(shù)據(jù)發(fā)布、主數(shù)據(jù)分發(fā) |
中易科技在數(shù)據(jù)治理上的應(yīng)用案例:通過建立數(shù)據(jù)資產(chǎn)共享、管控、合作流程和機(jī)制,構(gòu)建數(shù)據(jù)資產(chǎn)管理平臺,規(guī)范數(shù)據(jù)資產(chǎn)生命周期管理,實(shí)現(xiàn)數(shù)據(jù)可視,提升數(shù)據(jù)質(zhì)量和使用效率,減少個(gè)人隱私保護(hù)風(fēng)險(xiǎn)。