[閱讀筆記] 大數據 BIG DATA

2015/2/8 BIG  DATA COVER

相信閱讀,知識無價（點我進博客來立即購買！）

緣起

大數據 BIG DATA 是我蠻有興趣的題目之一, 上次返台心裡惦記著這本書, 家樂福暢銷排行榜上擺著這本『顯學』豈能錯過, 立馬用公司禮卷購買(免費！), 帶回菲律賓閱讀,增進我對這些新事物的理解！

巨量資料

巨量資料比我想像的數量級還要更大, 處理數百萬筆資料來偵測各種變化, 而藉由電腦運算能力的進步和無線傳輸進步, 資料以更快速/無感/無形的傳輸進入伺服器存儲存. 以往需要曠日費時的資料收集工作, 現在肯定能用更快速/廣泛/準確的蒐集. 以往蒐集資料可能是為了某一個特目的來研究, 因此可能需要先設定要研究的項目格式, 使之標準化容易整理, 來符合研究目的解決某一個特定問題. 但在現在蒐集資訊過程中,則是不一定要按照特定格式來記錄而是盡量蒐集任何可以得到的資訊,結構化資料庫與未結構化的資料庫設計也是應運而生, 儘管大數據所得到的資料不盡然絕對精確, 但從其中所發掘資訊價值則是可以讓我們忽略這些雜訊, 而這些資料可以一再而在的重複使用, 取不同資料庫交集產生新的洞見, 從資料中窺見其他增生的價值, 這是在以往的有限樣本中, 無法得到的!

分析技術

資料分析以往受限於樣本取得不易, 採隨機取樣, 但隨機取樣與母體之間存在一定程度偏差. 而在採集巨量資料的技術之後, 可以得到的巨量資料會近乎於樣本等於母數的結論, 使其推論出來的結果更具代表性. 從巨量資料分析來說, 過去再做研究是先提出一個假說,透過設計實驗來對照驗證假說是否成立, 而在巨量資料分析來說, 則是應用統計學和資訊科學將資料分析, 研究不同子項目變數之間的『相關性』, 而非『因果性』. 我覺得作者在一般人常有的因果論是屬於單獨個體之間的局限, 因為個體資訊所限絕對比不上巨量資料代表的『整體性』. 

社會網路分析是在研究所時期覺得最新奇的科目, 當時做的題目實在太無趣, 沒有引發學習狂熱, 但在這本書中我看到著曾經熟悉的統計學, 語音辨識技術, 相關係數, 為什麼在求學時期沒有好好的學習這些項目呢？我有把握....現在再讓我念電機一次, 絕對可以念得津津有味, 對的引導, 就能改善學習效果啊！！！

巨量思維

本書共有 10個章節, 從昨天週六晚上開始到今天晚上看完, 其實蠻輕鬆易讀, 亦發人省思！盡信大數據又不能照單全收！大數據的泡沫化？! 思考資料是如何採集？必然是透過有形的機器來蒐集物理現象與數位訊號, 而這是來自於『有形』的行為結果, 那『無形』的無言以對, 話說到一半, 開不了口細膩心思, 道德邊界....巨量資料又能採集到嗎？ 書中在最後一直強調『巨量資料』的風險與管控, 更是要去檢視我們所用的資料是否為真？巨量資料的解讀可以讓我們對周遭生活，工作，思考有新的方向來探索已知與未知．過去已知也許會顛覆，卻也是讓我們探索未知的新工具

資訊科技，資訊從文/數字/圖片/影音等以不同的形式儲存下來, 科技躍步運算處理/儲存分析/自動化讓過去資訊從類比時代到數位化, 當所好所惡當被當成資料記錄下來, 這些資料不就成立歷史供人解讀, 而什麼為是巨量資料尚未征服的領域？不就是人類的自由選擇意志,是『無為

之處』, 是尚無法記錄的思維想法, 巨量資料為『果』,思維邏輯選擇為『因』. 巨量資料可以顯示不同變數之間的『相關性』, 卻無法證明『因果論』重點：如何蒐集/定義/使用/解讀巨量資料相關性比純分析技術更加重要！ 

相信閱讀,知識無價（點我進博客來立即購買！）