要想考察大數(shù)據(jù)最好同時(shí)考察大數(shù)據(jù)背后的技術(shù),、商業(yè)和社會(huì)維度,。從發(fā)展成熟度來(lái)看,技術(shù)維度走的最遠(yuǎn),、商業(yè)維度有所發(fā)展但不算全面成熟,,社會(huì)維度發(fā)展最差,。所以雖然已經(jīng)談了很久大數(shù)據(jù),但除了孕育出大數(shù)據(jù)自身的幾個(gè)領(lǐng)域比如搜索等,,其它領(lǐng)域卻并沒(méi)有從大數(shù)據(jù)中獲得可見(jiàn)的收益,。大多時(shí)候人們還是處在覺(jué)得這里肯定有金子,但需要更多的耐心的狀態(tài),。這篇文章則嘗試對(duì)大數(shù)據(jù)本身的特征做點(diǎn)挖掘,,對(duì)未來(lái)的發(fā)展趨勢(shì)做點(diǎn)預(yù)測(cè)。
大數(shù)據(jù)上的深度和廣度
如果把大數(shù)據(jù)對(duì)應(yīng)到海量的數(shù)據(jù),,那它就是非常含糊的概念,,相當(dāng)于變成信息的同義詞,顯然也就很難回答信息到底能干什么這樣的問(wèn)題,。
這時(shí)候?yàn)榱送七M(jìn)思考通常需要先分類,。如果把時(shí)間空間作為最基本的視角,那首先要區(qū)分的就是大數(shù)據(jù)的深度和廣度,。從時(shí)間的角度看大數(shù)據(jù)是完整的歷史,,從空間的角度看大數(shù)據(jù)是全球活動(dòng)的痕跡。前者可以看成一種深度,,后者可以看成一種廣度,,不同的場(chǎng)景對(duì)深度和廣度的側(cè)重有所不同。
對(duì)于有些垂直的行業(yè),,比如醫(yī)療,,大數(shù)據(jù)的深度更重要,所有的歷史都可以在數(shù)據(jù)上得到找到之后,,人們就可以更好的認(rèn)知并優(yōu)化相應(yīng)的行業(yè),。
對(duì)社會(huì)而言,很多時(shí)候廣度則更重要,,具體到某個(gè)場(chǎng)景我們只有一鱗半爪的消息,但當(dāng)這種信息足夠多,,范圍足夠廣,,就有可能描述出相對(duì)及時(shí)的全貌。經(jīng)常舉的Google預(yù)測(cè)傳染病的例子依賴的就是這種廣度,。
這點(diǎn)決定了大數(shù)據(jù)的應(yīng)用發(fā)展趨勢(shì),,在深度重要的地方,公司這類組織需要成為主體,,困難是如何跨越數(shù)據(jù)所有權(quán)的邊界,。對(duì)于醫(yī)院而言,顯然把所有治療案例數(shù)據(jù)化并共享是有好處的,,但如果只有一個(gè)醫(yī)院這么做,,那對(duì)這一家醫(yī)院而言更多的可能是隱私上反彈所帶來(lái)的壞處,。
在廣度重要的地方,雖然在搜索這樣的領(lǐng)域里公司也可以受益,,但真正可以從大數(shù)據(jù)全面受益的機(jī)構(gòu)其實(shí)是政府,。數(shù)據(jù)越廣,其所描述的主體就越大,,而如果描述的是整個(gè)社會(huì),,那顯然應(yīng)該是社會(huì)的主要責(zé)任人會(huì)從中受益。這是個(gè)常識(shí)問(wèn)題,,就和看病的時(shí)候不會(huì)吃了醫(yī)生給別人開(kāi)的藥自己反倒好了差不多,。有的時(shí)候央視會(huì)播放百度做的春節(jié)期間人員流動(dòng)圖,這件事情也正好可以從側(cè)面說(shuō)明這問(wèn)題,。這種人員流動(dòng)地圖對(duì)能做出地圖的人公司幫助遠(yuǎn)沒(méi)有對(duì)政府的幫助大,。
簡(jiǎn)單總結(jié)下就是:深度和廣度兩個(gè)方向?qū)?shù)據(jù)的要求不同,前者需要更為詳盡,、有質(zhì)量的數(shù)據(jù)源后者則對(duì)此要求不高,,但兩者在應(yīng)用的時(shí)候都會(huì)面臨付出回報(bào)不對(duì)等問(wèn)題。大數(shù)據(jù)傾向于描述整體,,而有能力收集或處理大數(shù)據(jù)的往往是個(gè)體,,個(gè)體的回報(bào)在整體的提升中并不容易獲得清晰體現(xiàn)。
所以說(shuō)現(xiàn)在大數(shù)據(jù)發(fā)展的瓶頸不是技術(shù),,而是背后所需要的分配關(guān)系的建立,。這種關(guān)系理不順,數(shù)據(jù)就會(huì)停留在孤島層面,,每個(gè)組織都有自己的東西,,并把它命名為“大數(shù)據(jù)”。而為了理順這種關(guān)系則要回到一個(gè)非常經(jīng)典的問(wèn)題,,“公地”到底可不可以建立,。
數(shù)據(jù)公地的設(shè)想
大數(shù)據(jù)其實(shí)有點(diǎn)像公地,在經(jīng)濟(jì)學(xué)里非常出名的一個(gè)論點(diǎn)是公地悲劇,?!睹绹?guó)經(jīng)濟(jì)史》舉了一個(gè)非常易懂的例子來(lái)說(shuō)什么是公地悲劇:
...這些經(jīng)濟(jì)推理命題有利于解釋集體所有制和產(chǎn)出的共享(平分或固定份額)如何導(dǎo)致“免費(fèi)搭車者”問(wèn)題,。為了說(shuō)明這一點(diǎn),,考慮共享土地所有權(quán),且共同生產(chǎn)了100蒲式耳玉米的10個(gè)工人,,平均每人消費(fèi)10蒲式耳玉米,。假設(shè)一個(gè)工人開(kāi)始偷懶并將其勞動(dòng)努力減半,從而導(dǎo)致產(chǎn)出減少5蒲式耳,。由于產(chǎn)出共享制度的安排,,偷懶者的消費(fèi)量和其它工人一樣,,現(xiàn)在都是9.5蒲式耳。盡管他的努力已經(jīng)下降了50%,,但他的消費(fèi)量只下降了5%,。偷懶者是在搭他人勞動(dòng)的便車。...
這背后有非常深刻的人性問(wèn)題,,即使我們可以通過(guò)努力協(xié)作創(chuàng)造更多的財(cái)富,,個(gè)人也可以從中分享更多,但在群體里明顯的個(gè)人傾向則是自己工作更少但分享更多,。這與囚徒困境其實(shí)是相通的,。
基于實(shí)物的世界里眼下看不到徹底解決這問(wèn)題的方法,只能依賴于某種被大家基本認(rèn)可的分配秩序,,比如:以前的血統(tǒng)現(xiàn)在的物競(jìng)天擇,,但基于比特的數(shù)字財(cái)富眼下看卻有解決這問(wèn)題的可能。
基于比特的數(shù)據(jù)與實(shí)物最大的區(qū)別是數(shù)據(jù)并非是你拿走我就沒(méi)有的東西,,并且硬件的價(jià)格在飛速下降,,開(kāi)源又使數(shù)據(jù)的訪問(wèn)工具基本免費(fèi)。這幾者疊加在一起,,使數(shù)據(jù)公地成為可能,。
這里面很有意思的問(wèn)題是如果大家更在意我拿到的東西是不是絕對(duì)值變大了那數(shù)據(jù)公地的形成可能性就大些,因?yàn)槿绻嬖跀?shù)據(jù)公地,,那每個(gè)人(企業(yè))一定收獲更多,,但如果大家更在意我是不是比你多,那數(shù)據(jù)公地的建設(shè)就會(huì)多很多障礙,,因?yàn)楣仄鋵?shí)是讓相關(guān)人員站到同樣的競(jìng)爭(zhēng)起點(diǎn)上,。
大數(shù)據(jù)的問(wèn)題,在數(shù)據(jù)的使用上是技術(shù)問(wèn)題,,但在數(shù)據(jù)源上其實(shí)是社會(huì)經(jīng)濟(jì)問(wèn)題,,后者更難,所以大數(shù)據(jù)應(yīng)用的發(fā)展不取決于技術(shù)的發(fā)展而取決于社會(huì)經(jīng)濟(jì)方式的變革速度,。在有限的領(lǐng)域里,,比如搜索、電商,、云計(jì)算,技術(shù)已經(jīng)得到比較充分的發(fā)展,,眼下來(lái)看誰(shuí)付出誰(shuí)受益的問(wèn)題是把小數(shù)據(jù)變成大數(shù)據(jù)過(guò)程中最主要的問(wèn)題,。
大數(shù)據(jù)的路往那里走?
數(shù)據(jù)的內(nèi)在發(fā)展動(dòng)力是數(shù)據(jù)越全價(jià)值越大,,其實(shí)這也是一種網(wǎng)絡(luò)效應(yīng),,這種內(nèi)在動(dòng)力導(dǎo)致宏觀來(lái)看數(shù)據(jù)所有權(quán)的發(fā)展只有兩種趨勢(shì):
一種是像現(xiàn)在移動(dòng)端一樣,,每個(gè)人都有自己的私有數(shù)據(jù)源,接下來(lái)開(kāi)始你死我活的競(jìng)爭(zhēng),,最終有一家活下來(lái),,這也可以達(dá)成數(shù)據(jù)統(tǒng)一的終極目標(biāo)。
另一種則是在競(jìng)爭(zhēng)中開(kāi)始聯(lián)合,,建設(shè)上面所說(shuō)的數(shù)據(jù)公地,。
如前所述行業(yè)數(shù)據(jù)和全社會(huì)的數(shù)據(jù)性質(zhì)上差別很大所以要分開(kāi)來(lái)探討。
對(duì)于行業(yè)數(shù)據(jù)而言,,競(jìng)爭(zhēng)對(duì)手間彼此的坦誠(chéng)合作除非有極為特別的人物出現(xiàn),,否則是不太可能的。這種情況下最簡(jiǎn)單的辦法是引入第三方,。
比如說(shuō)每家運(yùn)營(yíng)商都握有幾乎所有網(wǎng)民的行動(dòng)數(shù)據(jù),,但要想讓運(yùn)營(yíng)商彼此間開(kāi)誠(chéng)布公的合作把這些數(shù)據(jù)整合在一起創(chuàng)造某種價(jià)值,這就很難,。這時(shí)候如果有第三方介入,,制定好利益分配方案那就是可能的。
如果這點(diǎn)可以達(dá)成,,那唯一的關(guān)鍵點(diǎn)就是相應(yīng)的商業(yè)模式是不是可以超越數(shù)據(jù)處理的成本,。這點(diǎn)必須強(qiáng)調(diào)下的是,大數(shù)據(jù)的價(jià)值密度是很稀疏的,,很多東西有價(jià)值但并不一定值得做,,視頻網(wǎng)站之所以賺不到錢(qián)一個(gè)關(guān)鍵原因就是帶寬和存儲(chǔ)的成本比較高,而對(duì)大數(shù)據(jù)而言商業(yè)模式找不好,,情形可能比視頻網(wǎng)站還差,。挖礦的成本怎么也要小于挖礦所得挖礦才有價(jià)值。
上述問(wèn)題在行業(yè)數(shù)據(jù)里可能問(wèn)題還不是太大,,一般來(lái)講行業(yè)數(shù)據(jù)的價(jià)值密度終究會(huì)大一些,,并且因?yàn)橄鄬?duì)比較垂直,總量終究有限制,。所以大數(shù)據(jù)的行業(yè)應(yīng)用比較容易發(fā)展,。
但對(duì)社會(huì)性的數(shù)據(jù),這在很多時(shí)候就是個(gè)問(wèn)題,。我們都知道樣本的全面性比數(shù)據(jù)的多少更有價(jià)值,,但是如果多是確保樣本全面性的唯一手段的話,那就意味必須有全的數(shù)據(jù)做一件事情才有意義,。
社會(huì)化的數(shù)據(jù)有兩種應(yīng)用方向,,一種就是企業(yè)可以搞定的比如Google,一種則是屬于社會(huì)層面,很難單獨(dú)屬于某個(gè)企業(yè)的比如智慧城市相關(guān)的人的活動(dòng)數(shù)據(jù),。后者則需要上面所說(shuō)的數(shù)據(jù)公地來(lái)做支撐,。
從數(shù)據(jù)的視角來(lái)看,現(xiàn)在有兩種數(shù)據(jù)存放形式:一種是Google這樣的企業(yè)擁有整個(gè)社會(huì)某個(gè)橫截面上的全部數(shù)據(jù),,這應(yīng)該是種特例,,并且數(shù)據(jù)會(huì)局限在公開(kāi)信息;一種則是被割裂的各種與人行為相關(guān)的數(shù)據(jù),,比如購(gòu)物相關(guān)的在電商,,與人相關(guān)的在社交網(wǎng)絡(luò)和IM,線下服務(wù)相關(guān)的則在O2O企業(yè),,鐵路相關(guān)的在12306等,。Google這種擁有全的數(shù)據(jù),但并不擁有人的行為,,所以說(shuō)Google這種企業(yè)相當(dāng)于擁有整個(gè)社會(huì)的一個(gè)橫截面的數(shù)據(jù),。而所有其它企業(yè)則只擁有某個(gè)垂直領(lǐng)域的數(shù)據(jù)。
如果依賴于企業(yè)做這種數(shù)據(jù)統(tǒng)一的嘗試,,在前者就會(huì)有投資200億做O2O類的舉動(dòng),,因?yàn)檫@會(huì)補(bǔ)全數(shù)據(jù),在后者就會(huì)有做電商的想做社交,,做社交的想做電商這類事發(fā)生,。類似的故事還可以在終端上發(fā)生,所有這些行為的終極目標(biāo)都是一家企業(yè)搞定所有這些事情,,但這是不可能的,,這種不可能還不單是經(jīng)濟(jì)原因。而數(shù)據(jù)不能打通,,那就只能在割裂的數(shù)據(jù)上做自以為是大數(shù)據(jù)的大數(shù)據(jù),。
所以說(shuō)這骨子里是數(shù)據(jù)公地究竟能不能建立的問(wèn)題,而要想建立數(shù)據(jù)公地,,那至少要解決誰(shuí)來(lái)做的問(wèn)題,,對(duì)此開(kāi)源給出的啟示有兩點(diǎn)非常關(guān)鍵:第一這不能是個(gè)盈利組織;第二這要能獲得眾多企業(yè)的支持,。因?yàn)閿?shù)據(jù)會(huì)牽涉隱私,,所以同開(kāi)源相比那就一定還要有比較清晰的界定數(shù)據(jù)使用的規(guī)則。
小結(jié)
在有一種切實(shí)的辦法解決數(shù)據(jù)所有和使用權(quán)之前,,大數(shù)據(jù)的應(yīng)用應(yīng)該還都是局部的,。因?yàn)樗纳疃葢?yīng)用牽涉社會(huì)很多部分的彼此協(xié)調(diào),所以這個(gè)過(guò)程可能是非常漫長(zhǎng)的,。這里面有意思的事情是,,大數(shù)據(jù)的出現(xiàn)直接推動(dòng)了機(jī)器智能的發(fā)展,,而機(jī)器智能產(chǎn)生影響的速度可能會(huì)遠(yuǎn)快于大數(shù)據(jù)本身。