大數(shù)據(jù)技術發(fā)展分析

數(shù)據(jù)即價值是目前計算機領域極其推崇的觀念。數(shù)據(jù)無論多少都被歸結(jié)為大數(shù)據(jù)，數(shù)據(jù)分析越來越熱門，資本也對貼有大數(shù)據(jù)標簽的公司趨之若鶩。如同流動的數(shù)字貨幣一樣被一再的評估、追崇。

1、數(shù)據(jù)核心原理：從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心

大數(shù)據(jù)時代，計算模式也發(fā)生了轉(zhuǎn)變，從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心。Hadoop體系的分布式計算框架已經(jīng)是“數(shù)據(jù)”為核心的范式。非結(jié)構(gòu)化數(shù)據(jù)及分析需求，將改變IT系統(tǒng)的升級方式：從簡單增量到架構(gòu)變化。大數(shù)據(jù)下的新思維——計算模式的轉(zhuǎn)變。

科學進步越來越多地由數(shù)據(jù)來推動，海量數(shù)據(jù)給數(shù)據(jù)分析既帶來了機遇，也構(gòu)成了新的挑戰(zhàn)。大數(shù)據(jù)往往是利用眾多技術和方法，綜合源自多個渠道、不同時間的信息而獲得的。為了應對大數(shù)據(jù)帶來的挑戰(zhàn)，需要新的統(tǒng)計思路和計算方法。

2、數(shù)據(jù)價值原理：有功能是價值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價值

大數(shù)據(jù)真正有意思的是數(shù)據(jù)變得在線了，這個恰恰是互聯(lián)網(wǎng)的特點。非互聯(lián)網(wǎng)時期的產(chǎn)品，功能一定是它的價值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價值。

數(shù)據(jù)表示，每一個客戶的消費傾向，他們想要什么，喜歡什么，每個人的需求有哪些區(qū)別，哪些又可以被集合到一起來進行分類。大數(shù)據(jù)是數(shù)據(jù)數(shù)量上的增加，以至于能夠?qū)崿F(xiàn)從量變到質(zhì)變的過程。

3、全樣本原理：從抽樣轉(zhuǎn)變?yōu)樾枰繑?shù)據(jù)樣本

需要全部數(shù)據(jù)樣本而不是抽樣，你不知道的事情比你知道的事情更重要，但如果現(xiàn)在數(shù)據(jù)足夠多，它會讓人能夠看得見、摸得著規(guī)律。

數(shù)據(jù)這么大、這么多，所以人們覺得有足夠的能力把握未來，對不確定狀態(tài)的一種判斷，從而做出自己的決定。

4、關注效率原理：由關注精確度轉(zhuǎn)變?yōu)殛P注效率

關注效率而不是精確度，大數(shù)據(jù)標志著人類在尋求量化和認識世界的道路上前進了一大步，過去不可計量、存儲、分析和共享的很多東西都被數(shù)據(jù)化了，擁有大量的數(shù)據(jù)和更多不那么精確的數(shù)據(jù)為我們理解世界打開了一扇新的大門。大數(shù)據(jù)能提高生產(chǎn)效率和銷售效率，原因是大數(shù)據(jù)能夠讓我們知道市場的需要，人的消費需要。大數(shù)據(jù)讓企業(yè)的決策更科學，由關注精確度轉(zhuǎn)變?yōu)殛P注效率的提高，大數(shù)據(jù)分析能提高企業(yè)的效率。

競爭是企業(yè)的動力，而效率是企業(yè)的生命，效率低與效率高是衡量企來成敗的關鍵。一般來講，投入與產(chǎn)出比是效率，追求高效率也就是追求高價值。手工、機器、自動機器、智能機器之間效率是不同的，智能機器效率更高，已能代替人的思維勞動。智能機器核心是大數(shù)據(jù)制動，而大數(shù)據(jù)制動的速度更快。在快速變化的市場，快速預測、快速決策、快速創(chuàng)新、快速定制、快速生產(chǎn)、快速上市成為企業(yè)行動的準則，也就是說，速度就是價值，效率就是價值，而這一切離不開大數(shù)據(jù)思維。

5、關注相關性原理：由因果關系轉(zhuǎn)變?yōu)殛P注相關性

關注相關性而不是因果關系，社會需要放棄它對因果關系的渴求，而僅需關注相關關系，也就是說只需要知道是什么，而不需要知道為什么。這就推翻了自古以來的慣例，而我們做決定和理解現(xiàn)實的最基本方式也將受到挑戰(zhàn)。

在這個不確定的時代里面，等我們?nèi)フ业綔蚀_的因果關系，再去辦事的時候，這個事情早已經(jīng)不值得辦了。所以“大數(shù)據(jù)”時代的思維有點像回歸了工業(yè)社會的這種機械思維——機械思維就是說按那個按鈕，一定會出現(xiàn)相應的結(jié)果，是這樣狀態(tài)。而農(nóng)業(yè)社會往前推，不需要找到中間非常緊密的、明確的因果關系，而只需要找到相關關系，只需要找到跡象就可以了。社會因此放棄了尋找因果關系的傳統(tǒng)偏好，開始挖掘相關關系的好處。

非法在屋內(nèi)打隔斷的建筑物著火的可能性比其他建筑物高很多。紐約市每年接到2.5萬宗有關房屋住得過于擁擠的投訴，但市里只有200名處理投訴的巡視員，市長辦公室一個分析專家小組覺得大數(shù)據(jù)可以幫助解決這一需求與資源的落差。該小組建立了一個市內(nèi)全部90萬座建筑物的數(shù)據(jù)庫，并在其中加入市里19個部門所收集到的數(shù)據(jù)：欠稅扣押記錄、水電使用異常、繳費拖欠、服務切斷、救護車使用、當?shù)胤缸锫省⑹蠡纪对V，諸如此類。

接下來，他們將這一數(shù)據(jù)庫與過去5年中按嚴重程度排列的建筑物著火記錄進行比較，希望找出相關性。果然，建筑物類型和建造年份是與火災相關的因素。不過，一個沒怎么預料到的結(jié)果是，獲得外磚墻施工許可的建筑物與較低的嚴重火災發(fā)生率之間存在相關性。利用所有這些數(shù)據(jù)，該小組建立了一個可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統(tǒng)。他們所記錄的建筑物的各種特征數(shù)據(jù)都不是導致火災的原因，但這些數(shù)據(jù)與火災隱患的增加或降低存在相關性。這種知識被證明是極具價值的：過去房屋巡視員出現(xiàn)場時簽發(fā)房屋騰空令的比例只有13%，在采用新辦法之后，這個比例上升到了70%——效率大大提高了。

全世界的商界人士都在高呼大數(shù)據(jù)時代來臨的優(yōu)勢：一家超市如何從一個17歲女孩的購物清單中，發(fā)現(xiàn)了她已懷孕的事實;或者將啤酒與尿不濕放在一起銷售，神奇地提高了雙方的銷售額。大數(shù)據(jù)透露出來的信息有時確實會起顛覆。比如，騰訊一項針對社交網(wǎng)絡的統(tǒng)計顯示，愛看家庭劇的男人是女性的兩倍還多;最關心金價的是中國大媽，但緊隨其后的卻是90后。而在過去一年，支付寶中無線支付比例排名前十的竟然全部在青海、西藏和內(nèi)蒙古地區(qū)。

6、預測原理：從不能預測轉(zhuǎn)變?yōu)榭梢灶A測

大數(shù)據(jù)的核心就是預測，大數(shù)據(jù)能夠預測體現(xiàn)在很多方面。大數(shù)據(jù)不是要教機器像人一樣思考，相反，它是把數(shù)學算法運用到海量的數(shù)據(jù)上來預測事情發(fā)生的可能性。正因為在大數(shù)據(jù)規(guī)律面前，每個人的行為都跟別人一樣，沒有本質(zhì)變化，所以商家會比消費者更了消費者的行為。

此外，隨著系統(tǒng)接收到的數(shù)據(jù)越來越多，通過記錄找到的最好的預測與模式，可以對系統(tǒng)進行改進。它通常被視為人工智能的一部分，或者更確切地說，被視為一種機器學習。真正的革命并不在于分析數(shù)據(jù)的機器，而在于數(shù)據(jù)本身和我們?nèi)绾芜\用數(shù)據(jù)。一旦把統(tǒng)計學和現(xiàn)在大規(guī)模的數(shù)據(jù)融合在一起，將會顛覆很多我們原來的思維。所以現(xiàn)在能夠變成數(shù)據(jù)的東西越來越多，計算和處理數(shù)據(jù)的能力越來越強，所以大家突然發(fā)現(xiàn)這個東西很有意思。所以，大數(shù)據(jù)能干啥?能干很多很有意思的事情。

互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和云計算機保證了大數(shù)據(jù)實時預測的可能性，也為企業(yè)和用戶提供了實時預測的信息，相關性預測的信息，讓企業(yè)和用戶搶占先機。由于大數(shù)據(jù)的全樣本性，人和人都是一樣的，所以云計算機軟件預測的效率和準確性大大提高，有這種跡象，就有這種結(jié)果。

7、信息找人原理：從人找信息，轉(zhuǎn)變?yōu)樾畔⒄胰?/p>

互聯(lián)網(wǎng)和大數(shù)據(jù)的發(fā)展，是一個從人找信息，到信息找人的過程。先是人找信息，人找人，信息找信息，現(xiàn)在是信息找人的這樣一個時代。信息找人的時代，就是說一方面我們回到了一種最初的，廣播模式是信息找人，我們聽收音機，我們看電視，它是信息推給我們的，但是有一個缺陷，不知道我們是誰，后來互聯(lián)網(wǎng)反其道而行，提供搜索引擎技術，讓我知道如何找到我所需要的信息，所以搜索引擎是一個很關鍵的技術。

大數(shù)據(jù)還改變了信息優(yōu)勢。按照循證醫(yī)學，現(xiàn)在治病的第一件事情不是去研究病理學，而是拿過去的數(shù)據(jù)去研究，相同情況下是如何治療的。這導致專家和普通人之間的信息優(yōu)勢沒有了。

谷歌有一個機器翻譯的團隊，最開始的時候翻譯之后的文字根本看不懂，但是現(xiàn)在60%的內(nèi)容都能讀得懂。谷歌機器翻譯團隊里頭有一個笑話，說從團隊每離開一個語言學家，翻譯質(zhì)量就會提高。越是專家越搞不明白，但打破常規(guī)讓數(shù)據(jù)說話，得到真理的速度反而更快。

圖表：大數(shù)據(jù)技術的應用

欲了解更多行業(yè)的未來發(fā)展前景，可以點擊查看中研普華產(chǎn)業(yè)院研究報告《2025-2030年中國人工智能行業(yè)發(fā)展前景及投資戰(zhàn)略分析報告》。