在這幾年, 到處都是在講 "Data/資料", 到處都看得到 Data, 其中最有名的就是 Big Data, Linked Data, Open Data 與 Data Mining, 這四個感覺起來都是獨立的議題, 但某方面都有其共通性, 而這五講要講的不是每一個單一的議題, 而是這些之間的關係, 這些不同與相同點, 以及現在與未來的可能性.
在一開始要講的是, 甚麼是 Data Revolution 資料革命, 也就是說, 資料到底過去與未來有甚麼不一樣, 這不一樣的特色在於那邊, 這邊就讓大家了解一下. 其中為甚麼我們不講 "資訊/Information" 而是講資料 (Data), 當然見人見智, 但在某方面的觀點 "資訊" 這名詞已經在社會有特化的定義了, 這樣反而會模糊真正我們面對 "資料" 的溝通與態度, 用這種最基礎的方式強掉資料的流程與邏輯是對的.
資料革命代表的是我們在革命之前與之後處理資料的差異, 這差異包含幾點:
1. 資料的透明與透通 (Data Transparency): 資料革命最大的差異就是資料不再封閉, 而是具有 Open (開放) 與透明的屬性, 這代表資料不是只有引用, 而是可以串通連結的.
2. 資料的來源, 量, 時間與效率的差異: 在 Big Data 中不只是速度, 多樣格式, 量的差異, 更重要的是在處理資料是更廣泛的, 包含透過機制 (Infrastructure) 來串接即時的資訊, 更重要的透過即時性對未來做決策輔助.
3. 擁有權與使用 (Owenership & Usage): 資料革命代表資訊擁有權不再限制為管理者或政府, 會更為開放到人民皆可使用, 且使用的範圍應該更廣, 在分享與授權的機制會更暢通.
4. 權利與隱私權 (Rights & Privacy): 資料的透明與透通本身就是種權力與隱私, 關係者可以參與跟決定應用範圍, 包含使用者各個環節的權力, 包含生產者, 收集者, 儲存者, 管理者與傳遞者.
在某方面甚至應該可以加上 Social Data Revolution, 也就是說這些資料很多是用在社會的資料, 而且在於使用情境上都會有不同的價值與應用方式, 人在這邊的資料都是息息相關的.
在國外, 早在 2011 年就提出過, 大家可以去參考 Leding Edge Forum 的 DATA rEVOLUTION, 其中下面他把資料革命前後的差別用個表呈現出來, 我覺得很值得參考, 尤於其中比較著重 Big Data 與 Data Mining 的技術, 所以我在原本的 11 點又加了 5 點上去.
1. Data as a fact of Life vs Data as a factor of production: 資料原本只是呈現生命與真實的表相用的, 而進成資料本質就是是產生變化的要素.
2. Collecting vs Connecting: 資料從原本單向的搜集, 變成雙相的連結.
3. Analyzing vs Prediction: 原本資料是用來分析用, 來證明原本的觀察與假設, 但革命後可以做到預測, 甚至可以未來決策使用.
4. Information vs Insight: 資料原本只是資訊而已, 現在更能洞察出一些見識.
5. "One version of the truth" vs Multiple sources and perspectives: 從原本想要靠一個版本的真理, 演化成透過不同觀點的來源來看事情.
6. Structured vs Unstructured: 原本資料只能處理結構化的資料, 現在已經變成非結構化都能處理.
7. Relational vs Non-relational: 資料與資料庫的結構與處理方式原本都必須要有關係來拆組, 現在已經不須要或不是.
8. Centralized processing vs Distributed parallel processing: 原本是中央性的處理中心才能處理資料, 現在已經變成分散且平行的處理.
9. Terabytes vs Petabyes, exabytes, ...: 資料從 10的 12 次方 (TB, 千億位元組) 到 10 的 15 次方 (PB, 百兆位元組) 甚至更多的資料.
10. Analytics as niche vs Analytics for everyone: 從原本狹礙專業專職分析, 到現在每一個人都可以做分析.
11. Limited participation vs An era of experimentation and innovation: 最初能夠參與跟實踐的範圍是相當有限, 現在進一個實驗性與創新性的領域.
12. Closed vs Open: 之前的資料是相當封閉的, 現在則是相當開放.
13. Period of time vs All time: 原本在做分析只能做有定區間的計算, 現在則是所有的歷史資料都能派上用場.
14. Human involve vs Automation system: 之前在處理資料不少都須要經過人主觀的介入, 而現在是一個自動化的客觀系統.
15. Time gap vs Real time: 之前資料的處理是有時間差的, 現在則是即時的資料.
16. Offline or online vs Offline to online: 原本現實的線下資料與線上處理有很大的差距, 現在已經可以整合.
上面說的這 16 點, 是融合了 Big Data, Linked Data, Open Data and Data Mining 四個領域所產生的資料革命, 這些都不完全獨立而都有其關連的, 但從這邊可以大概描括出這四個 Data 觀點的關係.
我相信在網路上已經有不少這四種領域與議題的文章來介紹, 而我這邊不會再多做重覆的工作, 將會以資料革命來串起這四個之間的差異與特色, 以及目前與未來, 也包含很多人目前的盲點.
(按: 圖片取自 http://www.faforever.com/ 透過 http://www.fotor.com/ 編輯而成)
訂閱:
張貼留言 (Atom)
熱門文章
-
在標題應該是這樣子的: (我的(你的(我的小城市))), 因為是在想我如何使用 (你我的小城市) 這個系統~~~, 當然還是在講 MyMiniCity .. 有點繞口.. 首先先講不是我做的部份, 在 Create My City 的 Forum 看到一篇, A List of ...
-
這篇報導是在 http://tw.news.yahoo.com/article/url/d/a/100809/11/2ar0a.html 這裏, 到中午, TWNIC 的人就一直打電話給我, 而我還在會議中搞不太清楚是甚麼, 但就大意上面指的都是講了很多有問題的話, 而我一上...
-
Weather.DataMining.Tw 做了一個多月了, 這代表資料也搜集一個多月了, 已經幾乎到可以發表的狀況了, 且有個記者朋友也真的寫了篇採訪稿, 但他跟我們講中央氣象局的人說我們的資料有問題, 我一面岔意一面檢查, 果然資料真的有問題. 雖然在這種抓資料的程式, 最麻...
-
標題這句話怎模說呢? 在這次地震之前, Page Rank 是 6 的部落格有 15 個, 而算到剛剛, 目前有 13 個部落格的 PR 值是 6 分, 且其中有 7 個部落格是進步到 6, 這句話是說, 原本的 15 個 PR=6 部落格中, 只有 6 個是保持不變的, 這句話...
-
上一篇還有很多沒寫到的地方: 1. 在最初的規劃這個數字是 Increamental 的, 也就是為了避免沒有抓到資料時的問題, 而這三種數字有兩個是一直增加的, 一個卻是在變化的. 2. 在第二組的距離, 事實上最後應該只會採用一個, 做一下 x*y*z 應該對資源影響不大. ...
-
用了 3.5G 以後, 最大的問題是若是沒有正常慢慢退出的話, 很有可能因為系統認為虛擬光碟還在, 所以不讓你休眠.... 所以此時比較好的方式就是先登出後再休眠, 只是要花較久的時間.. 而昨天當我按休眠後不給休眠, 我就按開關 7 秒鐘後直接關機, 沒想到第二天慘劇就發生了,...
-
在半個月前開始計算推噗次數, 現在來統計一下, 看有沒有出乎意料 Times Plurker Content 43 thebz1 推 房東很委婉的形容了,同學請� 30 formosadream is 彭醫師和您分享~目前最佳 賞� 27 jasonforce 推 IE6, 你給...
-
很意外的到了 2007 年, 因為心態好像 2006 年還有一大堆 ToDo 還沒做, 而因為前一個月跑去國立藝術大學的達文士吃晚餐, 發現那邊看 101 蠻清楚, 所以就決定跨年在那邊看.... 很幸運的在那邊是屬於一種很 High 但又不擁擠的感覺, 又有點人文藝術氣息且不...
-
明明所謂的政治是所有人的事, 但在權力與媒體運作的情型下, 感覺政治只有政治人物才玩得起的遊戲, 難到真的是這樣嗎? 從臉書的掘起, 粉絲團現在變成所有政治人物展現實力的一個場所, 甚至現在的選戰運作理論分成三種力量: 1. 陸軍 : 看政治人物自己的實力, 人脈, ...
-
因為部落格百傑的朋友, 問我要如何選擇 BSP 呢? 她簡單寫了幾點做開端: 1. 服務多元化 2. 活動吸引度 3. 部落客回饋力 4. 系統穩定度 5. 主客互動性 當然上面這幾點都沒問題, 而之前這樣的題目我也寫過, 但經過了四年思維應該多少會有些不一樣: 1. 系統穩定度...
沒有留言:
張貼留言