自2012年以來，“big data”——大數(shù)據(jù)（巨量資料），這個詞越來越多的被提到，人們用它來描述和定義信息爆炸時代的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。
現(xiàn)在的社會是一個高速發(fā)展的社會，科技發(fā)達(dá)，信息流通，人們之間的交流越來越密切，生活越來越方便，大數(shù)據(jù)就是這個時代的產(chǎn)物。
大數(shù)據(jù)，顧名思義，他的特點就是數(shù)據(jù)量大、數(shù)據(jù)種類多、要求實時性強、數(shù)據(jù)所蘊藏的價值大。
大數(shù)據(jù)的采集?？茖W(xué)技術(shù)及互聯(lián)網(wǎng)的發(fā)展，推動著大數(shù)據(jù)時代的來臨，各行各業(yè)每天都在產(chǎn)生數(shù)量巨大的數(shù)據(jù)碎片，數(shù)據(jù)計量單位已從從Byte、KB、MB、GB、TB發(fā)展到PB、EB、ZB、YB甚至BB、NB、DB來衡量。大數(shù)據(jù)時代數(shù)據(jù)的采集也不再是技術(shù)問題，只是面對如此眾多的數(shù)據(jù)，我們怎樣才能找到其內(nèi)在規(guī)律。
大數(shù)據(jù)的挖掘和處理。大數(shù)據(jù)必然無法用人腦來推算、估測，或者用單臺的計算機進(jìn)行處理，必須采用分布式計算架構(gòu)，依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù)，因此，大數(shù)據(jù)的挖掘和處理必須用到云技術(shù)。
隨著云時代的來臨，大數(shù)據(jù)也吸引了越來越多的關(guān)注。大數(shù)據(jù)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。
在現(xiàn)今的社會，大數(shù)據(jù)的應(yīng)用越來越彰顯他的優(yōu)勢，它占領(lǐng)的領(lǐng)域也越來越大，電子商務(wù)、O2O、物流配送等，各種利用大數(shù)據(jù)進(jìn)行發(fā)展的領(lǐng)域正在協(xié)助企業(yè)不斷地發(fā)展新業(yè)務(wù)，創(chuàng)新運營模式。有了大數(shù)據(jù)這個概念，對于消費者行為的判斷，產(chǎn)品銷售量的預(yù)測，精確的營銷范圍以及存貨的補給已經(jīng)得到全面的改善與優(yōu)化。
“大數(shù)據(jù)”在互聯(lián)網(wǎng)行業(yè)指的是這樣一種現(xiàn)象：互聯(lián)網(wǎng)公司在日常運營中生成、累積的用戶網(wǎng)絡(luò)行為數(shù)據(jù)。這些數(shù)據(jù)的規(guī)模是如此龐大，以至于不能用G或T來衡量。
截止到2012年，數(shù)據(jù)量已經(jīng)從TB（1024GB=1TB）級別躍升到 PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)級別。國際數(shù)據(jù)公司（IDC）的研究結(jié)果表明，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB，2009年的數(shù)據(jù)量為0.8ZB，2010年增長為1.2ZB，2011年的數(shù)量更是高達(dá)1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，全人類歷史上說過的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱，整個人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。每一天，全世界會上傳超過5億張圖片，每分鐘就有20小時時長的視頻被分享。然而，即使是人們每天創(chuàng)造的全部信息——包括語音通話、電子郵件和信息在內(nèi)的各種通信，以及上傳的全部圖片、視頻與音樂，其信息量也無法匹及每一天所創(chuàng)造出的關(guān)于人們自身的數(shù)字信息量。
這樣的趨勢會持續(xù)下去。我們現(xiàn)在還處于所謂“物聯(lián)網(wǎng)”的最初級階段，而隨著技術(shù)成熟，我們的設(shè)備、交通工具和迅速發(fā)展的“可穿戴”科技將能互相連接與溝通?？萍嫉倪M(jìn)步已經(jīng)使創(chuàng)造、捕捉和管理信息的成本降至2005年的六分之一，而從2005年起，用在硬件、軟件、人才及服務(wù)之上的商業(yè)投資也增長了整整50%，達(dá)到了4000億美元。
十年前，葛大爺曾說過，“21世紀(jì)什么最貴?”——“人才”，深以為然。只是，十年后的今天，大數(shù)據(jù)時代也帶來了身價不斷翻番的各種數(shù)據(jù)。由于急速拓展的網(wǎng)絡(luò)帶寬以及各種穿戴設(shè)備所帶來的大量數(shù)據(jù)，數(shù)據(jù)的增長從未停歇，甚至呈井噴式增長。[7] 一分鐘內(nèi)，微博推特上新發(fā)的數(shù)據(jù)量超過10萬；社交網(wǎng)絡(luò)“臉譜”的瀏覽量超過600萬…… 這些龐大數(shù)字，意味著什么？ 它意味著，一種全新的致富手段也許就擺在面前，它的價值堪比石油和黃金。 事實上，當(dāng)你仍然在把微博等社交平臺當(dāng)作抒情或者發(fā)議論的工具時，華爾街的斂財高手們卻正在挖掘這些互聯(lián)網(wǎng)的“數(shù)據(jù)財富”，先人一步用其預(yù)判市場走勢，而且取得了不俗的收益。 讓我們一起來看看——他們是怎么做的。 這些數(shù)據(jù)都能干啥。具體有六大價值： ●1、華爾街根據(jù)民眾情緒拋售股票； ●2、對沖基金依據(jù)購物網(wǎng)站的顧客評論，分析企業(yè)產(chǎn)品銷售狀況； ●3、銀行根據(jù)求職網(wǎng)站的崗位數(shù)量，推斷就業(yè)率； ●4、投資機構(gòu)搜集并分析上市企業(yè)聲明，從中尋找破產(chǎn)的蛛絲馬跡； ●5、美國疾病控制和預(yù)防中心依據(jù)網(wǎng)民搜索，分析全球范圍內(nèi)流感等病疫的傳播狀況； ●6、美國總統(tǒng)奧巴馬的競選團(tuán)隊依據(jù)選民的微博，實時分析選民對總統(tǒng)競選人的喜好。 大數(shù)據(jù)時代的特征： 數(shù)據(jù)量大 第一個特征是數(shù)據(jù)量大。大數(shù)據(jù)的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。 類型繁多 第二個特征是數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。 價值密度低 第三個特征是數(shù)據(jù)價值密度相對較低。如隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”，是大數(shù)據(jù)時代亟待解決的難題。 速度快、時效高 第四個特征是處理速度快，時效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。 既有的技術(shù)架構(gòu)和路線，已經(jīng)無法高效處理如此海量的數(shù)據(jù)，而對于相關(guān)組織來說，如果投入巨大采集的信息無法通過及時處理反饋有效信息，那將是得不償失的。可以說，大數(shù)據(jù)時代對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。 “大數(shù)據(jù)”可能帶來的巨大價值正漸漸被人們認(rèn)可，它通過技術(shù)的創(chuàng)新與發(fā)展，以及數(shù)據(jù)的全面感知、收集、分析、共享，為人們提供了一種全新的看待世界的方法。更多地基于事實與數(shù)據(jù)做出決策，這樣的思維方式，可以預(yù)見，將推動一些習(xí)慣于靠“差不多”運行的社會發(fā)生巨大變革。
