凡是過去，皆為序曲是大數據業者最喜歡引用的語句。大數據是現在的潮流，《大數據時代》被認為是了解大數據的初級讀物。近期連續讀了兩遍，第二遍是為了寫這篇讀後感，總體而言，值得一看，但細節方面卻需要討論了。
維基百科對大數據的解釋：Big data，或稱巨量數據、海量數據、大資料，指的是所涉及的數據量規模巨大到無法通過人工，在合理時間內達到截取、管理、處理、並整理成為人類所能解讀的信息。
有人說現在是讀圖時代，除去小說、心靈雞湯以外，現在的暢銷書基本都有圖片，這本書是一個特例(書里唯一的圖是出品方湛廬文化做的)
首先嘗試解析一下作者的三大觀點，這三大觀點是大數據業者很喜歡引用的三句話：
1 不是隨機樣本，而是全體數據
我想所有人都能意識到對全體數據的分析優於對隨機樣本的分析，但在現實中我們經常拿不到全體數據：一是對象的特性：比如炸彈的威力，你不可能把所有炸彈都炸掉來得到全體數據;二是數據的收集方法，每一種方法都有適用的範圍，不太可能包羅萬象;三是數據分析的角度，戰鬥機只能統計到飛回來的飛機上的彈孔，而墜毀的則無法統計，沃德通過分析飛回來的戰鬥機得出來最易導致墜毀的薄弱點;四是處理能力跟不上，就像以前的天氣預報太離譜是因為來不及算那些數據。“採樣分析是信息缺乏時代和信息流通受限制的模擬數據時代的產物”，作者顯然只關注了一部分原因。
從語言的理解上看，什麼是全體數據，究竟是“我們需要的所有數據”，還是“我們能收集到的所有數據”，書中的很多商業案例中，處理的只是“我們能收集到的所有數據”，或者說是“我們認為的全體數據”。人對自然的認識總是有限的，存在主義認為世界沒有終極的目標。書中舉例“Farecast使用了每一條航線整整一年的價格數據來進行預測”，而“整整一年”就是一個採樣，或者是“我們需要的所有數據”。
從歷史的角度看，國外的托勒密建亞歷山大圖書館唯一的目的是“收集全世界的書”，實現“世界知識總匯”的夢想，國內的乾隆彙編四庫全書，每個收集的過程都有主觀因素在裡面，而他們當時都認為可以收集全部的書籍，到最後，我們也沒有得到那個夢中的全體。
2 不是精確性，而是混雜性
既然我們過去總是在抽樣，那本身就是在一個置信水平下，有明確的容錯度或者是偏差值。人類永遠知道我們是在精確性受限的條件下工作。同時，作者本身也承認 “錯誤並不是大數據固有的特性，而是一個亟需我們去處理的現實問題，並且有可能長期存在”。那大數據的特徵究竟是精確性還是混雜性?
由此衍生出一個問題，大數據的品質如何控制：一、本身就不要求精確，但是不精確到何種程度是需要定義的，否則就亂套了，換個角度，如果定義了容錯度，那符合條件的都是精確的(或者說我這句話還是停留在小數據時代?這裡的邏輯我沒有理順)。就像品質管理大師克勞斯比提出過零缺陷理論，我一直覺得是一個偽命題，缺陷是一定存在的，就看如何界定了;二、大量非結構化數據的處理，譬如說對新聞的量化、情感的分析，目前對非SQL的套用還有巨大的進步空間。
“一個東西要出故障，不會是瞬間的，而是慢慢地出問題的”。“通過找出一個關聯物並監控它，我們就能預測未來”。這句話當然是很認同，但不意味著我們可以放棄精確性，只是說我們需要重新定義精確度。之於項目管理行業，如果一個項目出了嚴重的問題，我們相信，肯定是很多因素和過程環節中出了問題，我們也失去了很多次挽救的機會。而我們一味的容忍混雜性的話，結果顯然是不能接受的。
3 不是因果關係，而是相關關係
這是本書對大數據理論的最大的貢獻，也是最受爭議的地方。連譯者都有點看不下去了。
相關關係我實在是太熟了，打小就學的算命就是典型的“不是因果關係，而是相關關係”。算命其實是對趨向性的總結，在給定條件下，告訴你需要遠離什麼，接近什麼，但不會告訴你為什麼那樣做。
我們很多時候都在說科學，然而，什麼是科學，沒有人能講清楚。我對科學的認識是：一、有一個明確的範圍;二、在這個範圍內樹立一個強制正確的公理;三、有明確的推演過程;四 可以複製。科學的霸道體現在把一切不符合這四個條件的事物都斥為偽科學、封建迷信，而把自己的錯誤都用不符合前兩條來否決。從這個定義來看，大數據不符合科學。
混沌學理論中的蝴蝶效應主要關注相關關係。它是指對初始條件敏感性的一種依賴現象，輸入端微小的差別會迅速放大到輸出端，但能輸出什麼，誰也不知道。
人類一旦放棄了對因果關係的追求，也就放棄了自身最優秀的品質：意志力。很多人不願意相信算命是擔心一旦知道了命運，就無法再去奮鬥。即使我相信算命，也在探求相關關係中的因果要素。我放棄第一份工作的原因之一是厭倦了如此確定的明天：一個任務發出去，大概能預測到哪些環節會出問題，只要不去 follow，這些環節十有八九會出問題。
解析完這三大觀點，下面是我對大數據理論的一些疑惑。大數據是目前風行的反饋經濟中的重要一環，在金融、網際網路行業的套用最為廣泛，而這些行業都是大家所認為的高薪領域。很多時候我就在想，所謂無形的手所產生的趨勢究竟是不是無形的。比如幾家公司強推一個概念，說這是趨勢，不久就真的變成趨勢了。我們身邊活生生的例子就是天貓的雙十一和京東的618，一個巨頭開路，無數人跟風，自然就生造出購物節，至於合理不合理，追究的意義也不大，因為很多事情是沒有可比性的。這和沒有強制控制中心的蜂群思維又不一樣。
1 數據獨裁。個人意志將受制於集體意志，個人的自由在哪裡?用大數據預測來懲罰人的行為又確定的違反了無罪推定的原理。
2 所有數據都來源於過去，大數據分析出來的確定性結果是否意味著我們在重複過去?拉普拉斯的決定論已經被認為是錯誤的，愛因斯坦也說過“上帝不會跟宇宙玩骰子”，但霍金不同意這句話。
3 在金融市場中，每個相關性都有對應的利潤空間。如果大家都基於同樣的數據(假設我們必須用全體數據，那全體數據顯然是一樣的)，最優秀的數據算法師會得出同樣的結果，市場也會反應得非常高效，導致相關性套利空間的減少和消失。歷次金融市場的危機，也都是量化交易觸發了相同的交易方向，導致市場失控。就像大家都認為明天會堵車而不開車，明天自然就不會堵了，海森堡的不確定性原理也這么說。
4 涉及的隱私問題，這點在書里寫了一些，我始終覺得還欠缺什麼，只是沒想好。
5 數位化之後的數據保存期限，在企業的ISO管理中有對保留時限的要求，這些數據基本都是原始數據。在大數據的背景下，分析後的數據是否也需要保存?因為這也屬於全體數據啊。順便列一下數據量級的縮寫：2的10次方是KB，20次方是MB，30次方是GB，40次方是TB，50次方是PB，60次方是 EB，70次方是ZB，80次方是YB。
6 資產價值，這點書里也寫了，當大數據真的被公眾接受的話，會計準則如果調整也會是一個大問題。
看完這本書，總是覺得作者說的過於絕對，也許是我的認識太淺了吧，所以最後用法演四戒做總結：
勢不可以使盡，使盡則禍必至
福不可以受盡，受盡則緣必孤
話不可以說盡，說盡則人必易
規矩不可行盡，行盡則事必繁