很多年以前,,企業(yè)每天都在想方設(shè)法,把手頭的數(shù)據(jù)用好,。
錢來貨往,,大數(shù)據(jù)和人工智能火起來之后,沉淀的數(shù)據(jù)一下子多了起來,,如何管好+如何用好數(shù)據(jù),,成為大多數(shù)企業(yè)的難題。
數(shù)據(jù)發(fā)揮價值是近10-20年才有的概念,這就帶出了數(shù)據(jù)治理,。
數(shù)據(jù)治理,,是伴隨解決“糟心問題”而生的。
在數(shù)據(jù)開發(fā)的過程中,,會冒出各種“糟心事兒”,,五花八門(質(zhì)量、效率,、安全等方面),。
而數(shù)據(jù)治理的任務(wù)就是,對于這種“事兒”,,來一個“消滅”一個,。
有的問題三年五載都消除不了,那就(也)算(得)了(干),。
一直消除不了,,就一直有“痛點”。
一般來說,,數(shù)據(jù)治理研究的專家不會說得這么接地氣,,而是會說:“保障數(shù)據(jù)準確、全面和完整,,為業(yè)務(wù)創(chuàng)造價值,,同時嚴格管理數(shù)據(jù)的權(quán)限,避免數(shù)據(jù)泄露帶來的業(yè)務(wù)風(fēng)險,?!?/p>
高層聽了頷首,員工聽了翻白眼,。
而且數(shù)據(jù)治理不“接地氣”,,工作就得“接地府”。
某位大型互聯(lián)網(wǎng)科技公司的研發(fā)負責(zé)人,,和公司老總一起出差的時候,,抓住時機,用全程航班的時間安利了一把“數(shù)據(jù)中臺”,。
老總把知識點吸收得很好,,很喜歡,把“組件化”“標準化”“不重復(fù)造輪子”都學(xué)會了,,就安排研發(fā)負責(zé)人去推動,。
閉門研究了一段時間后,研發(fā)負責(zé)人就拿出一個大圖,,你干這個,,他干那個,。完全按照理想化的思路,來了個天翻地覆式的大改動,,無異于重新設(shè)計,。
很多管理層一看到這個“藍圖”都傻眼了,心里又氣又恨,,臉上還佯裝笑容,。
表面上夸創(chuàng)新,背地里和哥幾個關(guān)系好的,,交換眼色,,把手放在脖子上做了個橫刀一抹的動作。
數(shù)據(jù)中臺這塊蛋糕,,關(guān)系到絕大部分數(shù)據(jù)資產(chǎn)的管理權(quán)限,,你動了這塊蛋糕,也就是動了管理者們的核心利益,。
對于各個部門,、各事業(yè)群的一把手來說,這無疑相當(dāng)于重新劃分“勢力范圍”,。
你畫這個藍圖問過我的意見了嗎,?
沒有的話,那可不行,。
于是,,“齊心協(xié)力”把那個研發(fā)負責(zé)人整下崗了。
最終,,這位研發(fā)負責(zé)人,,鎩羽而歸,離職而去,。
數(shù)據(jù)中臺和數(shù)據(jù)治理是什么關(guān)系?
數(shù)據(jù)中臺是解決數(shù)據(jù)治理問題的方式之一,,但不是唯一方式,。
數(shù)據(jù)治理的概念20多年前就有了。
還有一個機構(gòu),,叫做數(shù)據(jù)治理研究所(DGI),。
據(jù)該所的定義,數(shù)據(jù)治理就是為了確定一系列的原則和實踐,,確保數(shù)據(jù)在其生命周期中的高質(zhì)量,。
之前,一聽到數(shù)據(jù)治理這四個字,,人們的條件反射就是安全,,管控,,規(guī)章制度,條條框框,。
說白了就是怎么樣確保數(shù)據(jù)安全,。
普通員工一聽,這不關(guān)我的事,,那是中高層的事,。
公司里有資產(chǎn)放著不用,或者用不好,,就是管理水平低,,數(shù)據(jù)資產(chǎn)也一樣。
但是,,數(shù)據(jù)越來越多,,存儲和處理又很費錢。
有人開始思考:
怎么樣把數(shù)據(jù)作為一個服務(wù)提供出來,,給整個公司的技術(shù)團隊,,甚至說非技術(shù)團隊,用起來,。
數(shù)據(jù)孤島,,始終存在,員工想在公司里看到更多數(shù)據(jù),,成了一項情商測試,。
得看人品,看關(guān)系,。
兩個部門之間,,即便一個部門的老板批了,對方部門的老板批了,,提供數(shù)據(jù)的方式可能還是發(fā)郵件或者U盤拷貝,,十分落后。
一些科技企業(yè)數(shù)據(jù)治理的主要“業(yè)績”,,就是促進跨部門的數(shù)據(jù)合作和使用,。
大部分傳統(tǒng)行業(yè)企業(yè)還沒有數(shù)據(jù)治理的意識。
即使萌生了一星半點意識,,其目標也只停留在合法合規(guī)安全管控不出亂子,。
甚至,不少傳統(tǒng)企業(yè)連“促進跨部門數(shù)據(jù)使用”這個意識都沒有,。
典型的數(shù)據(jù)技術(shù)部門是什么呢,?
比如,美團的數(shù)據(jù)科學(xué)與平臺部,,京東零售下面的京東技術(shù)與數(shù)據(jù)中心,,快手科技主站產(chǎn)品部下面的數(shù)據(jù)分析部,。
百度科技的大數(shù)據(jù)部,以前級別挺高,,現(xiàn)在在百度AI技術(shù)平臺體系內(nèi)了,。
經(jīng)過數(shù)據(jù)治理的一番努力,以前唯有數(shù)據(jù)技術(shù)部門能用的數(shù)據(jù),,會有更多的部門能用,。
以前用不了的數(shù)據(jù),現(xiàn)在能用了,。
但是,,好處也不是白來的,權(quán)利和責(zé)任是對應(yīng)的,。
原來非數(shù)據(jù)部門,、非技術(shù)部門沒權(quán)利去管理,同時也沒有義務(wù)去維護這些數(shù)據(jù)的質(zhì)量,。
現(xiàn)在不一樣了,,有權(quán)利去用,也要有更大的責(zé)任,,去維護數(shù)據(jù)質(zhì)量,。
負責(zé)數(shù)據(jù)治理的團隊,即使看到了“糟心問題”在某幾個團隊之間扯皮,,也不能直接介入處理,。
要把問題整理成“共通的痛點”,先給決策層做提案,,做建議,,然后才有下一步。
如此一來,,很多數(shù)據(jù)治理問題,,經(jīng)年歷久,拖成了“冤案”,。
短期還是依靠發(fā)郵件或者是U盤拷貝數(shù)據(jù),,如此這般,至少還能用上,。
有些公司被逼做“數(shù)據(jù)治理”的動力,也是啟動數(shù)據(jù)治理的大背景,,是數(shù)據(jù)質(zhì)量存在問題,。
比如數(shù)倉的及時性、準確性,、規(guī)范性,,數(shù)據(jù)應(yīng)用指標的邏輯一致性等問題,。
數(shù)據(jù)的質(zhì)量影響到使用,不得不干,。
過去,,企業(yè)內(nèi)部開發(fā)的大部分數(shù)據(jù)系統(tǒng),是為了解決某一個業(yè)務(wù)的問題而開發(fā)的,。
在開發(fā)數(shù)據(jù)系統(tǒng)的時候,,并沒有考慮到將來這部分的數(shù)據(jù)資產(chǎn)要用在別處(其他業(yè)務(wù)、其他系統(tǒng),、其他領(lǐng)域所用),。
一段時間之后,別人用到這些數(shù)據(jù)的時候,,不管從技術(shù)的性能,,還是各種服務(wù) SLA (服務(wù)級別協(xié)議)的角度來講,可用性都較低,。
變化一定是越來越多的,,比如說數(shù)據(jù)源從單一,變成了多個,。
從一朵云到多云,。
種類由關(guān)系型數(shù)據(jù)庫為主,變成文檔,、圖像,、視頻、聲音,、時間序列,。
比如REI是一個美國人喜愛的戶外用品零售商,REI使用Tableau整合了來自75個數(shù)據(jù)源的數(shù)據(jù),,使得REI可以分析完整的客戶體驗,。
數(shù)據(jù)的使用從BI報表、看板,、大屏,,到ad-hoc商業(yè)分析、數(shù)據(jù)科學(xué)分析,、機器學(xué)習(xí)應(yīng)用,。
還有,原來以數(shù)據(jù)倉庫為中心的技術(shù)棧相對簡單,,只需要管好ETL的過程,、存儲過程、查詢引擎,、可視化,,就可以了,。
現(xiàn)在可好,技術(shù)棧爆炸式地增長,,要管的東西掰著手指頭數(shù)不過來,。
好的數(shù)據(jù)治理,能夠讓企業(yè)轉(zhuǎn)身就獲得新的商業(yè)模式,。
Huel這家代餐食品公司就是這么說的,,而且他們還說能夠以98%的準確率來預(yù)測一月份每天的銷售量(該公司業(yè)務(wù)特點是預(yù)測一月份銷量最難)。
無論出于何種無奈,,數(shù)據(jù)治理遲早要做,,極少數(shù)走得快的,甚至用上了“超級智能化”服務(wù),。
反正,,窮的窮死,富的富死,,還有很多企業(yè)焦慮得要死,。
本文在創(chuàng)作過程中,采訪了楊薈博士,,他是一位連續(xù)創(chuàng)業(yè)者,,埃森哲中國數(shù)據(jù)科學(xué)和AI團隊創(chuàng)始人,現(xiàn)任某跨國快銷品公司數(shù)據(jù)和AI總監(jiān),。