大數(shù)據(jù)技術(shù)十大核心原理
作者： 合力為科技
來(lái)源： 物聯(lián)網(wǎng)智庫(kù)
發(fā)布時(shí)間：2017-04-17 00:00
科學(xué)進(jìn)步越來(lái)越多地由數(shù)據(jù)來(lái)推動(dòng)，海量數(shù)據(jù)給數(shù)據(jù)分析既帶來(lái)了機(jī)遇，也構(gòu)成了新的挑戰(zhàn)。大數(shù)據(jù)往往是利用眾多技術(shù)和方法，綜合源自多個(gè)渠道、不同時(shí)間的信息而獲得的。究竟大數(shù)據(jù)技術(shù)的核心原理是哪幾方面呢？??數(shù)據(jù)即價(jià)值是目前計(jì)算機(jī)領(lǐng)域極其推崇的觀念。數(shù)據(jù)無(wú)論多少都被歸結(jié)為大數(shù)據(jù)，數(shù)據(jù)分析越來(lái)越熱門(mén)，資本也對(duì)貼有大數(shù)據(jù)標(biāo)簽的公司趨之若鶩。如同流動(dòng)的數(shù)字貨幣一樣被一再的評(píng)估、追崇。數(shù)據(jù)能告訴我們，每一個(gè)客戶的消
科學(xué)進(jìn)步越來(lái)越多地由數(shù)據(jù)來(lái)推動(dòng)，海量數(shù)據(jù)給數(shù)據(jù)分析既帶來(lái)了機(jī)遇，也構(gòu)成了新的挑戰(zhàn)。大數(shù)據(jù)往往是利用眾多技術(shù)和方法，綜合源自多個(gè)渠道、不同時(shí)間的信息而獲得的。究竟大數(shù)據(jù)技術(shù)的核心原理是哪幾方面呢？
數(shù)據(jù)即價(jià)值是目前計(jì)算機(jī)領(lǐng)域極其推崇的觀念。數(shù)據(jù)無(wú)論多少都被歸結(jié)為大數(shù)據(jù)，數(shù)據(jù)分析越來(lái)越熱門(mén)，資本也對(duì)貼有大數(shù)據(jù)標(biāo)簽的公司趨之若鶩。如同流動(dòng)的數(shù)字貨幣一樣被一再的評(píng)估、追崇。數(shù)據(jù)能告訴我們，每一個(gè)客戶的消費(fèi)傾向，他們想要什么，喜歡什么，每個(gè)人的需求有哪些區(qū)別，哪些又可以被集合到一起來(lái)進(jìn)行分類(lèi)。
數(shù)據(jù)核心原理：從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心
大數(shù)據(jù)時(shí)代，計(jì)算模式也發(fā)生了轉(zhuǎn)變，從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心。Hadoop體系的分布式計(jì)算框架已經(jīng)是“數(shù)據(jù)”為核心的范式。非結(jié)構(gòu)化數(shù)據(jù)及分析需求，將改變IT系統(tǒng)的升級(jí)方式：從簡(jiǎn)單增量到架構(gòu)變化。大數(shù)據(jù)下的新思維——計(jì)算模式的轉(zhuǎn)變。
科學(xué)進(jìn)步越來(lái)越多地由數(shù)據(jù)來(lái)推動(dòng)，海量數(shù)據(jù)給數(shù)據(jù)分析既帶來(lái)了機(jī)遇，也構(gòu)成了新的挑戰(zhàn)。大數(shù)據(jù)往往是利用眾多技術(shù)和方法，綜合源自多個(gè)渠道、不同時(shí)間的信息而獲得的。為了應(yīng)對(duì)大數(shù)據(jù)帶來(lái)的挑戰(zhàn)，我們需要新的統(tǒng)計(jì)思路和計(jì)算方法。
數(shù)據(jù)價(jià)值原理：有功能是價(jià)值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價(jià)值
大數(shù)據(jù)真正有意思的是數(shù)據(jù)變得在線了，這個(gè)恰恰是互聯(lián)網(wǎng)的特點(diǎn)。非互聯(lián)網(wǎng)時(shí)期的產(chǎn)品，功能一定是它的價(jià)值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價(jià)值。
數(shù)據(jù)能告訴我們，每一個(gè)客戶的消費(fèi)傾向，他們想要什么，喜歡什么，每個(gè)人的需求有哪些區(qū)別，哪些又可以被集合到一起來(lái)進(jìn)行分類(lèi)。大數(shù)據(jù)是數(shù)據(jù)數(shù)量上的增加，以至于我們能夠?qū)崿F(xiàn)從量變到質(zhì)變的過(guò)程。
全樣本原理：從抽樣轉(zhuǎn)變?yōu)樾枰繑?shù)據(jù)樣本
需要全部數(shù)據(jù)樣本而不是抽樣，你不知道的事情比你知道的事情更重要，但如果現(xiàn)在數(shù)據(jù)足夠多，它會(huì)讓人能夠看得見(jiàn)、摸得著規(guī)律。
數(shù)據(jù)這么大、這么多，所以人們覺(jué)得有足夠的能力把握未來(lái)，對(duì)不確定狀態(tài)的一種判斷，從而做出自己的決定。這些東西我們聽(tīng)起來(lái)都是非常原始的，但是實(shí)際上背后的思維方式，和我們今天所講的大數(shù)據(jù)是非常像的。
關(guān)注效率原理：由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率
關(guān)注效率而不是精確度，大數(shù)據(jù)標(biāo)志著人類(lèi)在尋求量化和認(rèn)識(shí)世界的道路上前進(jìn)了一大步，過(guò)去不可計(jì)量、存儲(chǔ)、分析和共享的很多東西都被數(shù)據(jù)化了，擁有大量的數(shù)據(jù)和更多不那么精確的數(shù)據(jù)為我們理解世界打開(kāi)了一扇新的大門(mén)。大數(shù)據(jù)能提高生產(chǎn)效率和銷(xiāo)售效率，原因是大數(shù)據(jù)能夠讓我們知道市場(chǎng)的需要，人的消費(fèi)需要。大數(shù)據(jù)讓企業(yè)的決策更科學(xué)，由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率的提高，大數(shù)據(jù)分析能提高企業(yè)的效率。
競(jìng)爭(zhēng)是企業(yè)的動(dòng)力，而效率是企業(yè)的生命，效率低與效率高是衡量企來(lái)成敗的關(guān)鍵。一般來(lái)講，投入與產(chǎn)出比是效率，追求高效率也就是追求高價(jià)值。手工、機(jī)器、自動(dòng)機(jī)器、智能機(jī)器之間效率是不同的，智能機(jī)器效率更高，已能代替人的思維勞動(dòng)。智能機(jī)器核心是大數(shù)據(jù)制動(dòng)，而大數(shù)據(jù)制動(dòng)的速度更快。在快速變化的市場(chǎng)，快速預(yù)測(cè)、快速?zèng)Q策、快速創(chuàng)新、快速定制、快速生產(chǎn)、快速上市成為企業(yè)行動(dòng)的準(zhǔn)則，也就是說(shuō)，速度就是價(jià)值，效率就是價(jià)值，而這一切離不開(kāi)大數(shù)據(jù)思維。
關(guān)注相關(guān)性原理：由因果關(guān)系轉(zhuǎn)變?yōu)殛P(guān)注相關(guān)性
關(guān)注相關(guān)性而不是因果關(guān)系，社會(huì)需要放棄它對(duì)因果關(guān)系的渴求，而僅需關(guān)注相關(guān)關(guān)系，也就是說(shuō)只需要知道是什么，而不需要知道為什么。這就推翻了自古以來(lái)的慣例，而我們做決定和理解現(xiàn)實(shí)的最基本方式也將受到挑戰(zhàn)。
在這個(gè)不確定的時(shí)代里面，等我們?nèi)フ业綔?zhǔn)確的因果關(guān)系，再去辦事的時(shí)候，這個(gè)事情早已經(jīng)不值得辦了。所以“大數(shù)據(jù)”時(shí)代的思維有點(diǎn)像回歸了工業(yè)社會(huì)的這種機(jī)械思維——機(jī)械思維就是說(shuō)按那個(gè)按鈕，一定會(huì)出現(xiàn)相應(yīng)的結(jié)果，是這樣狀態(tài)。而農(nóng)業(yè)社會(huì)往前推，不需要找到中間非常緊密的、明確的因果關(guān)系，而只需要找到相關(guān)關(guān)系，只需要找到跡象就可以了。社會(huì)因此放棄了尋找因果關(guān)系的傳統(tǒng)偏好，開(kāi)始挖掘相關(guān)關(guān)系的好處。
非法在屋內(nèi)打隔斷的建筑物著火的可能性比其他建筑物高很多。紐約市每年接到2.5萬(wàn)宗有關(guān)房屋住得過(guò)于擁擠的投訴，但市里只有200名處理投訴的巡視員，市長(zhǎng)辦公室一個(gè)分析專(zhuān)家小組覺(jué)得大數(shù)據(jù)可以幫助解決這一需求與資源的落差。該小組建立了一個(gè)市內(nèi)全部90萬(wàn)座建筑物的數(shù)據(jù)庫(kù)，并在其中加入市里19個(gè)部門(mén)所收集到的數(shù)據(jù)：欠稅扣押記錄、水電使用異常、繳費(fèi)拖欠、服務(wù)切斷、救護(hù)車(chē)使用、當(dāng)?shù)胤缸锫?、鼠患投訴，諸如此類(lèi)。
接下來(lái)，他們將這一數(shù)據(jù)庫(kù)與過(guò)去5年中按嚴(yán)重程度排列的建筑物著火記錄進(jìn)行比較，希望找出相關(guān)性。果然，建筑物類(lèi)型和建造年份是與火災(zāi)相關(guān)的因素。不過(guò)，一個(gè)沒(méi)怎么預(yù)料到的結(jié)果是，獲得外磚墻施工許可的建筑物與較低的嚴(yán)重火災(zāi)發(fā)生率之間存在相關(guān)性。利用所有這些數(shù)據(jù)，該小組建立了一個(gè)可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統(tǒng)。他們所記錄的建筑物的各種特征數(shù)據(jù)都不是導(dǎo)致火災(zāi)的原因，但這些數(shù)據(jù)與火災(zāi)隱患的增加或降低存在相關(guān)性。這種知識(shí)被證明是極具價(jià)值的：過(guò)去房屋巡視員出現(xiàn)場(chǎng)時(shí)簽發(fā)房屋騰空令的比例只有13%，在采用新辦法之后，這個(gè)比例上升到了70%——效率大大提高了。
全世界的商界人士都在高呼大數(shù)據(jù)時(shí)代來(lái)臨的優(yōu)勢(shì)：一家超市如何從一個(gè)17歲女孩的購(gòu)物清單中，發(fā)現(xiàn)了她已懷孕的事實(shí)；或者將啤酒與尿不濕放在一起銷(xiāo)售，神奇地提高了雙方的銷(xiāo)售額。大數(shù)據(jù)透露出來(lái)的信息有時(shí)確實(shí)會(huì)起顛覆。比如，騰訊一項(xiàng)針對(duì)社交網(wǎng)絡(luò)的統(tǒng)計(jì)顯示，愛(ài)看家庭劇的男人是女性的兩倍還多；最關(guān)心金價(jià)的是中國(guó)大媽?zhuān)o隨其后的卻是90后。而在過(guò)去一年，支付寶中無(wú)線支付比例排名前十的竟然全部在青海、西藏和內(nèi)蒙古地區(qū)。
預(yù)測(cè)原理：從不能預(yù)測(cè)轉(zhuǎn)變?yōu)榭梢灶A(yù)測(cè)
大數(shù)據(jù)的核心就是預(yù)測(cè)，大數(shù)據(jù)能夠預(yù)測(cè)體現(xiàn)在很多方面。大數(shù)據(jù)不是要教機(jī)器像人一樣思考，相反，它是把數(shù)學(xué)算法運(yùn)用到海量的數(shù)據(jù)上來(lái)預(yù)測(cè)事情發(fā)生的可能性。正因?yàn)樵诖髷?shù)據(jù)規(guī)律面前，每個(gè)人的行為都跟別人一樣，沒(méi)有本質(zhì)變化，所以商家會(huì)比消費(fèi)者更了消費(fèi)者的行為。
此外，隨著系統(tǒng)接收到的數(shù)據(jù)越來(lái)越多，通過(guò)記錄找到的最好的預(yù)測(cè)與模式，可以對(duì)系統(tǒng)進(jìn)行改進(jìn)。它通常被視為人工智能的一部分，或者更確切地說(shuō)，被視為一種機(jī)器學(xué)習(xí)。真正的革命并不在于分析數(shù)據(jù)的機(jī)器，而在于數(shù)據(jù)本身和我們?nèi)绾芜\(yùn)用數(shù)據(jù)。一旦把統(tǒng)計(jì)學(xué)和現(xiàn)在大規(guī)模的數(shù)據(jù)融合在一起，將會(huì)顛覆很多我們?cè)瓉?lái)的思維。所以現(xiàn)在能夠變成數(shù)據(jù)的東西越來(lái)越多，計(jì)算和處理數(shù)據(jù)的能力越來(lái)越強(qiáng)，所以大家突然發(fā)現(xiàn)這個(gè)東西很有意思。所以，大數(shù)據(jù)能干啥？能干很多很有意思的事情。
互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和云計(jì)算機(jī)保證了大數(shù)據(jù)實(shí)時(shí)預(yù)測(cè)的可能性，也為企業(yè)和用戶提供了實(shí)時(shí)預(yù)測(cè)的信息，相關(guān)性預(yù)測(cè)的信息，讓企業(yè)和用戶搶占先機(jī)。由于大數(shù)據(jù)的全樣本性，人和人都是一樣的，所以云計(jì)算機(jī)軟件預(yù)測(cè)的效率和準(zhǔn)確性大大提高，有這種跡象，就有這種結(jié)果。
信息找人原理：從人找信息，轉(zhuǎn)變?yōu)樾畔⒄胰?/strong>
互聯(lián)網(wǎng)和大數(shù)據(jù)的發(fā)展，是一個(gè)從人找信息，到信息找人的過(guò)程。先是人找信息，人找人，信息找信息，現(xiàn)在是信息找人的這樣一個(gè)時(shí)代。信息找人的時(shí)代，就是說(shuō)一方面我們回到了一種最初的，廣播模式是信息找人，我們聽(tīng)收音機(jī)，我們看電視，它是信息推給我們的，但是有一個(gè)缺陷，不知道我們是誰(shuí)，后來(lái)互聯(lián)網(wǎng)反其道而行，提供搜索引擎技術(shù),讓我知道如何找到我所需要的信息，所以搜索引擎是一個(gè)很關(guān)鍵的技術(shù)。
大數(shù)據(jù)還改變了信息優(yōu)勢(shì)。按照循證醫(yī)學(xué)，現(xiàn)在治病的第一件事情不是去研究病理學(xué)，而是拿過(guò)去的數(shù)據(jù)去研究，相同情況下是如何治療的。這導(dǎo)致專(zhuān)家和普通人之間的信息優(yōu)勢(shì)沒(méi)有了。原來(lái)我相信醫(yī)生，因?yàn)獒t(yī)生知道的多，但現(xiàn)在我可以到谷歌上查一下，知道自己得了什么病。
谷歌有一個(gè)機(jī)器翻譯的團(tuán)隊(duì)，最開(kāi)始的時(shí)候翻譯之后的文字根本看不懂，但是現(xiàn)在60%的內(nèi)容都能讀得懂。谷歌機(jī)器翻譯團(tuán)隊(duì)里頭有一個(gè)笑話，說(shuō)從團(tuán)隊(duì)每離開(kāi)一個(gè)語(yǔ)言學(xué)家，翻譯質(zhì)量就會(huì)提高。越是專(zhuān)家越搞不明白，但打破常規(guī)讓數(shù)據(jù)說(shuō)話，得到真理的速度反而更快。
機(jī)器懂人原理：由人懂機(jī)器轉(zhuǎn)變?yōu)闄C(jī)器更懂人
不是讓人更懂機(jī)器，而是讓機(jī)器更懂人，或者說(shuō)是能夠在使用者很笨的情況下，仍然可以使用機(jī)器。甚至不是讓人懂環(huán)境，而是讓我們的環(huán)境來(lái)懂我們，環(huán)境來(lái)適應(yīng)人，某種程度上自然環(huán)境不能這樣講，但是在數(shù)字化環(huán)境中已經(jīng)是這樣的一個(gè)趨勢(shì)，就是我們所在的生活世界，越來(lái)越趨向于它更適應(yīng)于我們，更懂我們。哪個(gè)企業(yè)能夠真正做到讓機(jī)器更懂人，讓環(huán)境更懂人，讓我們隨身攜帶的整個(gè)的生活世界更懂得我們的話，那他一定是具有競(jìng)爭(zhēng)力的了，而“大數(shù)據(jù)”技術(shù)能夠助我們一臂之力。
大數(shù)據(jù)技術(shù)的其中一個(gè)核心目標(biāo)是要從體量巨大、結(jié)構(gòu)繁多的數(shù)據(jù)中挖掘出隱蔽在背后的規(guī)律，從而使數(shù)據(jù)發(fā)揮最大化的價(jià)值。由計(jì)算機(jī)代替人去挖掘信息，獲取知識(shí)。從各種各樣的數(shù)據(jù)（包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）中快速獲取有價(jià)值信息的能力，就是大數(shù)據(jù)技術(shù)。大數(shù)據(jù)機(jī)器分析中，半監(jiān)督學(xué)習(xí)、集成學(xué)習(xí)、概率模型等技術(shù)尤為重要。
電子商務(wù)智能原理：大數(shù)據(jù)改變了電子商務(wù)模式，讓電子商務(wù)更智能
商務(wù)智能，在今天大數(shù)據(jù)時(shí)代它獲得的重新的定義。例如：傳統(tǒng)企業(yè)進(jìn)入互聯(lián)網(wǎng)，在掌握了“大數(shù)據(jù)”技術(shù)應(yīng)用途徑之后，會(huì)發(fā)現(xiàn)有一種豁然開(kāi)朗的感覺(jué)，就像在黑屋子里面找東西，找不著，突然碰到了一個(gè)開(kāi)關(guān)，發(fā)現(xiàn)那么費(fèi)力的找東西，原來(lái)很容易找得到。大數(shù)據(jù)思維，事實(shí)上它不是一個(gè)全稱(chēng)的判斷，只是對(duì)我們所處的時(shí)代某一個(gè)緯度的描述。
大數(shù)據(jù)時(shí)代不是說(shuō)我們這個(gè)時(shí)代除了大數(shù)據(jù)什么都沒(méi)有，哪怕是在互聯(lián)網(wǎng)和IT領(lǐng)域，它也不是一切，只是說(shuō)在我們的時(shí)代特征里面加上這么一道很明顯的光，從而導(dǎo)致我們對(duì)以前的生存狀態(tài)，以及我們個(gè)人的生活狀態(tài)的一個(gè)差異化的一種表達(dá)。
當(dāng)然，同樣的技術(shù)也可以運(yùn)用到疾病診斷、推薦治療措施，甚至是識(shí)別潛在犯罪分子上?；蛘哒f(shuō)，在你還不知道的情況下，體檢公司、醫(yī)院提醒你趕緊去做檢查，可能會(huì)得某些病，商家比你更了解你自己，以及你這樣的人在某種情況下會(huì)出現(xiàn)的可能變化。就像互聯(lián)網(wǎng)通過(guò)給計(jì)算機(jī)添加通信功能而改變了世界，大數(shù)據(jù)也將改變我們生活中最重要的方面，因?yàn)樗鼮槲覀兊纳顒?chuàng)造了前所未有的可量化的維度。
定制產(chǎn)品原理：由企業(yè)生產(chǎn)產(chǎn)品轉(zhuǎn)變?yōu)橛煽蛻舳ㄖ飘a(chǎn)品
下一波的改革是大規(guī)模定制，為大量客戶定制產(chǎn)品和服務(wù)，成本低、又兼具個(gè)性化。比如消費(fèi)者希望他買(mǎi)的車(chē)有紅色、綠色，廠商有能力滿足要求，但價(jià)格又不至于像手工制作那般讓人無(wú)法承擔(dān)。因此，在廠家可以負(fù)擔(dān)得起大規(guī)模定制帶去的高成本的前提下，要真正做到個(gè)性化產(chǎn)品和服務(wù)，就必須對(duì)客戶需求有很好的了解，這背后就需要依靠大數(shù)據(jù)技術(shù)。
在互聯(lián)網(wǎng)大數(shù)據(jù)的時(shí)代，商家最后很可能可以針對(duì)每一個(gè)顧客進(jìn)行精準(zhǔn)的價(jià)格歧視。我們現(xiàn)在很多的行為都是比較粗放的，航空公司會(huì)給我們里程卡，根據(jù)飛行公里數(shù)來(lái)累計(jì)里程，但其實(shí)不同顧客所飛行的不同里程對(duì)航空公司的利潤(rùn)貢獻(xiàn)是不一樣的。所以有一天某位顧客可能會(huì)收到一封信，“恭喜先生，您已經(jīng)被我們選為幸運(yùn)顧客，我們提前把您升級(jí)到白金卡?！边@說(shuō)明這個(gè)顧客對(duì)航空公司的貢獻(xiàn)已經(jīng)夠多了。有一天銀行說(shuō)“恭喜您，您的額度又被提高了，”就說(shuō)明錢(qián)花得已經(jīng)太多了。
正因?yàn)樵诖髷?shù)據(jù)規(guī)律面前，每個(gè)人的行為都跟別人一樣，沒(méi)有本質(zhì)變化。所以商家會(huì)比消費(fèi)者更了消費(fèi)者的行為。也許你正在想，工作了一年很辛苦，要不要去哪里度假？打開(kāi)e-Mail，就有航空公司、旅行社的郵件。
企業(yè)產(chǎn)品直接銷(xiāo)售給用戶，省去了中間商流通環(huán)節(jié)，使產(chǎn)品的價(jià)格可以以出廠價(jià)銷(xiāo)售，讓銷(xiāo)費(fèi)者獲得了好處，網(wǎng)上產(chǎn)品便宜成為用戶的信念，網(wǎng)購(gòu)市場(chǎng)形成了。要讓用戶成為你的產(chǎn)品粉絲，就必須了解用戶需要，定制產(chǎn)品成為用戶的心愿，也就成為企業(yè)發(fā)展的新方向。
合力為科技：www.ekxox.cn
關(guān)鍵詞：
兩問(wèn)解析︱?yàn)楹卫罴握\(chéng)、雙馬押注？小米模式潛力在哪？
2018-07-10
服務(wù)熱線：