一個表格

Group 1	Yi-Ting Cheng	Vista Cheng	Charles Chuang	T.h. Schee	Jeph Lo	鄭國威	Fred Jame	Yenwen Feng	Cheng-Li Hsu	Vincent Huang
	張育章	Carol Lin	Mark Wu	Angel Yang	Tenz Shih	Ken Worker	Ivan Lin	Tim Shyu	Hsiang-Tai Chien	Funck Chen
	Pipper Lee
Group 4	Joyce Hsu	Albert Chen	Ken Hsu	William Lin	I-Chien Jan	于文強	Woody Young	Roxman Yang	程九如	May Kao
	Jacky Lin	林文傑
Group 5	Cloud Lin	Charles Lee	吳艾瑪	Lin Wisely	Bart Chen	Theresa Hong	Anise Chuang	Joe Lin	楊登傑	Kate Wang
	Chun-Hsuan Lai
Group 8	Muki Wu	林伯融	沈政達	拆組達人	張香腸	Azo Freeware	Iqmore Yang	Scopio Liu	張海芋	Lee Leo

網事, 你的網站有在成長嗎? 迴歸線圖版

在 iSearch  的演講中, 我難得用剪貼的方式來講我想說的, 從 Google Analytics 來看網站的成長是很累的, 尤其是下面三個問題:

1. 要解決每週的周期問題?
2. 兩個數字就能決定成長嗎?
3. 你每天要這樣看嗎?

而我當時剪了幾張圖:

這個是 Google Analytics 最標準的流量圖, 從上圖的確是很難判斷這網站有沒有在成長? 而比較好的方式, 就是用區間做比較, 如下圖:

雖然可以從數字的上升與下降, 但還是很難看得出有沒有在成長, 因為這區間比較太不敏感了, 即使我們改成用週為單位來看:

這樣就好看多了, 但說起來, 若真的去畫出迴歸線的話, 還蠻清楚可以看得出來的:

當加入了月迴歸與週迴歸是否就容易判斷了呢? 但更重要的是最左下角的一個計算, 也就是上一篇所說的 "燈號":

Signal: -17.01 

因為我們即使去做區間比較, 或者是迴歸分析, 不是準確度不足, 不然就是敏感度不足, 或者是會有矛盾現像, 雖然說有的數字是成長, 有的數字是退步, 代表進入一個不穩定狀態, 但要真正的判斷成長與否, 用燈號是最準的.

而之前 "網事" 的警示燈在我眼中已經是不夠準確的了, 因此有進去用的人會發現被這圖表的趨示取代, 不只算出燈號給你看, 也畫出迴歸趨勢圖給你做參考的依據, 甚至最有趣的是從週迴歸與月迴歸可以看到長期與短期的趨向, 雖然燈號比較受短期影響, 但也不會乎略長期的價值.

Anyway, 若還沒試的人可以用用看, 跟我講你的想法.

而我在這邊也開放我這個部落格的趨勢, 我想應該有人就看出有趣的地方了, 迴歸線圖不只不會受到一些突然大量流量的影響, 甚至在現在的狀況是:

IMHO, 黑貘來說
Week Slope: -0.67 Yint: 46
Week Trend: -1.45%
Month Slope: 0.13 Yint: 36
Month Trend: 0.36%
Signal: 19.17 

也就是週斜率, 月斜率不一致, 而信號居然沒跟週斜率一至的有趣現像, 而我覺得現在這個部落格是成長的沒錯, 因此可以證明看週斜率並不是好事, 大家可以來看趨勢圖的 Live Demo, 會不會覺得數字是相當有趣的事阿!?

你網站有在成長嗎? 最困難的數學題.....

有時, 最簡單的問題往往是最困難的問題, .....

這幾個月我遇到數學系的教授或畢業的朋友, 我就一直問他一個問題:

若我們知道一個時間序列, 知道它是有週期性的, 但除外, 往往會遇到一些變異突然變高與變低, 能找到一個系統去排除這種不是誤差數字, 找到這時間序列的真正走向嗎?

上面這樣說聽起來很玄, 事實上就是若我們知道一個網站的訪客狀況, 而我們知道這對象本來就有依每週的週期變化, 但往往遇到活動就或暴量, 遇到機器問題就或掛掉, 在不知道這些事情的情型下, 卻又能夠排除這個巨量 "誤差", 找到這網站是否真的有在成長或是在衰退?

因此要知道網站有沒有在成長的計算, 不是單純的比較兩個週期的數字變化那麼簡單, 要符合下面四個問題或要求:

1. 要解決週期變化
2. 要解決巨量誤差
3. 要能夠很敏感的知道最近的改變
4. 要能夠很穩定的不要有錯誤警報

當然還有一個更重要的問題: 學習區間要越短, 收斂要很快, .......

這下子就很麻煩的, 甚至在某些觀點, 上面的要求是 "互斥" 的, 當然不是這意思, 而是說要同時滿足是相當困難的.

而我在三個月信誓旦旦的寫出一篇, 網事, 網站的成長與燈號, 裏面有說到我用三個方法解決掉這個問題:

1. 移動平均: 消瀰掉週期產生的變動差異.
2. 過濾離峰值: 也就是 Data Cleaning, 去掉一些事件產生的離峰值.
3. 迴歸分析: 算出最接近的成長斜率.

但當我寫完之後, 我就開始後悔了, 因為這方法, 距離真正要解決最上面的四個問題還有段距離, 因此這三個月我就懸滯在這邊了, 雖然主要因為是過年的關係, 但這個問題我一直放在心上想辦法解決.

的確我也說: 畢竟這個數值是種猜測, 是永遠猜不準的, 即使猜得很準有時意義也沒這麼高, 對經營者而言, 就是希望網站一直成長, 成長越多越好, 但是若是讓他知道, 除了活動與機器掛掉外, 還有甚麼 "基本功" 做對或做錯, 而讓網站成長或衰退, 而從過去看現在, 從現在決定未來該怎麼走, 這件事也是挺重要的, 若能夠算得更準也是好事.

而在兩個星期在跟某教授聊完天後, 我就在想說還有甚麼解法是我沒想到的, 而我那時想的是傅立葉
的計算方式, 來去看週期走向, 但在想, 事實上我們很清楚人的行為就是每週的週期是最強的, 扣掉這個不是月, 就是季與年, 但我們在做經營決策若是用這種週期就太糟糕了, 應該是跟據每天最新的數字去行動才對.

因此我就想說, 做個最基本的微分差來看變化, 當時一直覺得我們看微分的變化通常不是指趨向, 而是趨向的改變, 而我當時想到若是我放棄移動平均, 而是用週期的變化平均, 說不定是有解的, 不只是移動平均是不須要的, 甚至是迴歸更不須要.

我在那時才發現我一直被既有的算式給綁住, 這問題說不定就如同最基本的答案, 只要看最基礎的成長狀況, 只是不一樣的是不能看整個區間, 而是要每天每天去看, 然後再來去算 "平均".

因此最後的演算法是:

1. 算出每天跟上週同期的變化 (消瀰週期性)
2. 過濾離峰值 (這跟之前是一樣)
3. 用半衰期的方式去求平均

而為甚麼用半衰期的方式去求平均, 這是我在前年做 "神貘天氣" 時想很久的方法, 也就是我們知道越近的資料越準確, 而我們如何去用一連串的預測來去求平均, 此時我就覺得幸好當時有做這專案, 不然遇到這問題我還真不知道如何解決, 此時, 這四個問題就真的有解了.

的確, 這個數學題很難, 但事實上是看起來很難罷了, 因為某些茫點讓我們限制了一些思考以及方向,有時用最簡單的方式就可以解決, 因此最後還是用很簡單的數學, 連迴歸都沒用到, 只是做基本的差分, 甚至我原本想要套用一個 "當高次方程式參數比低次很小的時候可以忽略", 但後來想想還是直接做掉好了, 最後終於讓我放下我一直覺得不夠好的大石頭.

在上個星期我在一場 iSearch 的演講說到網事, 裏面有幾張投影片可以給大家分享, 從這邊大概就可以知道網事是在解決甚麼問題了, 只是解決的夠不夠好罷了....

從誰能跟我去旅行(3.0版/FB版)談起

人不能只是個專家, 成為有技能的人之前, 要先成為人......

(這樣說來, 我跟約克瑪也認識四年了...)

雖然很多人知道, 我大學研究所唸了很多年, 很多間, 這其中橫跨了 理, 工, 文, 商, 管等幾個學院 (希望今年能夠再多一個學院), 但沒有人知道我唸最多次, 最久的是商管學院, 畢竟我一直強調的是人不能只是個專家, 成為有技能的人之前, 要先成為人.

而其中我最常延伸的言論就是: "台灣最大的問題, 就是有太多人想要成為管理經營的有錢人, 但沒有人想要真的去捲起袖子來實作", 以及: "一個好的經營管理, 行銷企劃, 美術視覺, 程設系統的人, 通常具有的能力是能夠實踐經營管理, 行銷企劃, 美術視覺, 程設系統的大部份工作, 只是剛好他最善長的是他現在做的這項而已".

當然前面兩個問題要討論較為完整的話, 可能這篇文章就不太可能今天發佈了, 所以這不是重點, 而我要講的就是 "實作能力" 的重要性.

但也因此即使我是個不喜歡認識陌生人的糟糕個性下, 聽到有人可以在工餘時間獨立完成一個這樣的專案的時候, 就會探聽這個人的存在, 若知道那個人不是那種 "我要成為賺大錢的創業家" 個性的人, 我就會不懷好意的主動去認識, ... (我並不是指想賺大錢的創業家不是好人, 只是就我的個性高攀不起)

在 2009 年的時候, 約克瑪做出了這個旅伴篩選器的時候, 因為那時候台灣因為噗浪也是打的火熱時候的 SNS, 而這個程式又是極少數不是用 "亂數" 產生的結果, 這跟我想要做出透過有意義的系統分析來協助人的行為目標是一致的, 因此我就透過關係認識他, 而現在他可以說是含我四個人最常一起吃喝玩樂的 "那群玩家" 之一.

我知道約克瑪做這個誰適合跟我去旅行 (旅伴篩選器) 跟很多創業家不一樣, 不是為了甚麼偉大的目標, 只是因為自己長年的自助旅行經驗, 而想出一個系統與方法來去配對出人與人的關係, 而讓自己與朋友使用, 而這些數字是有意義的, 但不絕對, 真正的精神在於問題與分析出來的結果讓大家來參考, 了解自助旅行可能面臨的問題.

當然這幾年他並不常跟我吃喝玩樂, 因為他還是持續的到處走走, 還去加拿大當台勞(!?)一年, 雖然賺的錢也拿去自助旅行花掉了, 但也因為自己是個: 使用者, 程設, 美術, 企劃, 經營的複合角色, 這套系統絕不是譁眾取寵沒有意義的事, 而也因此這樣, 過了長達四年的怠惰 (應該不是認識我的關係吧?) 也終於推出第三版, 也就是 Facebook 版, 透過臉書的交友系統, 更可以知道你跟朋友的關係.

所以很多人看到 "這又是一個騙個資的程式", 可以保證這系統不會做這種騙錢的無聊事, 也不會做 "自動貼文" 的無限制散播這件事, 因為真正要做的是想要從語意網路, 文字探勘等資料探勘的角度來做分析, 除了幫你找到你到底適合認識人 (一起旅行) 外, 更想要做的事是透過這樣的系統, 幫你找到更有趣的吃喝玩樂可能性 (這是重點), 之外也會順便幫你找到你工作方向與社會的交換價值 (比較不重要!?).

剛好今天適逢愚人節, 所以大家可以用愚人節的心態來玩一下這系統, 看你跟朋友是 "看著伴" 還是 "湊合著伴", 但之外真正的目標是讓大家來想一下一件事:

我們是否已經失去了自己實作的能力, 都想說只要靠點子就能夠創業賺大錢, 最後只能出張嘴?

說不定台灣的問題就是這樣, 雖然我是不確定, 但我知道, 我總是透過一次又一次實作的經驗, 累積出很多實力, 這不是只包含程設與系統, 更也要包含自己行銷, 社群經營, 如此透過這樣重頭倒尾的經驗, 更讓我了解我在每一份公司的工作中, 即使只扮演系統, 程設, 可行性分析, 企劃等等顧問角色時, 更了解每一個環節所須要的資源與可能面臨的問題, 更多角度的去看每一份工作, ....

每次我回想起 30 歲以前, 覺得我是一個比大家認定的草莓族還要草莓的失敗者, 雖然我並不想要成功, 但我更期代的是我能夠一次又一次的更完整的做出我想做的事情, 或許也是這樣我已經沒那麼社會型失敗了, 所以寫這篇給大家參考..

又, 順便廣告一下, 想要了解甚麼是實作動手作的精神, 不只來玩旅伴篩選器 (網址: https://apps.facebook.com/traavo_fb/ ) 很重要, 有機會也來參與下面的 Maker Faire Taipei 2013...(非廣告)

挖掘巨量資料的秘密步驟

現在已經有太多的報導說某某公司利用使用者的行為記錄, 來算出每一個人的喜好, 並且導出商機等等新聞到處可見, 但我相信大家看再多次, 不是覺得這樣會不會太可怕了? 不然就是這好厲害阿! 這兩種答案, 不然就是兩種都有.

但事實上這件事並不神奇或可怕, 會覺得這樣是因為大部份的人不知道怎麼做, 或者是說這能夠做甚麼, 若是你知道後, 發現這跟本只是個套來套去經過計算的結果, 甚至在某方面你用手來算都可以, 只是不一樣的是人只能處理少量資料, 而電腦可以處理巨量資料, 當很多事情會有量變產生質變的時候, 威力就在此顯現, 但這些步驟, 說穿了一點都不聰明, 甚至還非常的機械化的制式.

當然我不是很好的深入淺出的作者, 所以沒辦法寫給大多數的讀者看, 而是寫給已經有一點實務經驗的人, 尤其是程式設計師或資料庫管理師等工程師, 但若沒有這技術背景, 我相信做這樣的拆解, 可以讓大家從一知半解變成知道個大概, 而透過這樣的了解, 讓大家有機會去應用是我寫這幾篇的目的.

只是還有一個前提, 就是我不會在這邊寫資料探勘的基礎, 也就是說, "請先去看本資料探勘的書", 再來看下面幾篇文章吧.

目標: 能夠知道某個特定人喜歡甚麼東西, 購買每一個商品的機率, 或者是說我們該如何推薦商品給他, 以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

1. 瀏灠
2. 放入清單
3. 購買
4. 評價或評論
5. 其他

上面每一種行為都有其數量化的差異, 有些是一年幾次, 幾十次或到幾百次或更多, 而每一個行為都可能有個 "權重 (Weight)", 以及時間 (Time) 與次數 (Times) 的屬性, 甚至更有可能是一個 Vector (向量) 的指標, 例如喜好, 觀感等等, 無論是可以量化或不能量化, 這些都可以成為建立人與商品的 "關連".

所有的資料探勘系統實作都是從這些資料做轉化, 甚至是簡化, 畢竟可以運算, 以及算得出結果才是重點, 甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨.

但有趣的事是很多實用的系統都很少是用單一方法去建構出來的, 畢竟除了人的行為之外, 商品有有幾個屬性:

1. 商品本質, 內容
2. 商品描述 (meta-data) 與分類
3. 最後才是商品的使用

在還沒有 Semantic Web 之前, 我們能用的就是商品的使用, 也就是我們使用者/消費者與商品/物品之間的關係, 而在有了語意網路之後, 我們就可以進一步的處理本質 (文化商品) 與描述了, 只是在這之前還要有幾個前置作業.

1. 會自動化新增關鍵字詞的表
2. 會自動化連結出語意網路的表

這兩個表若是可以扣掉前面 "會自動化新增/連結" 的話, 我相信很多人都有從很多單位去取得這樣的詞庫與關連庫, 但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時, 沒有一種機制能夠新增或更新的話, 幾乎是不實用的.

只是這新增/更新有時不見得是自動化, 因為自動化是件相當困難的事, 就我所知有不少在做這項業務的公司單位, 用的就是 "工人智慧", 而不是人工智慧, 但無論如何, 有了這兩個表之後, 再加上從資料探勘能夠得知的:

1. 關連分析 (一階, 或高階)
2. 群落分析 (Clustering)
3. 時間序列預測

有了上面三個很基本的工具後, 可以配合產出很多的可能性:

1. 最常見的關連購買
2. 在搜尋結果中做排序
3. 從分類結果做語意分析產出因子
4. 有了高階的關連分析可以透過配對做活動
5. 從銷售預測中作備品或庫存準備
6. 只要你想得到的

當然上面說得很簡單, 好像是三兩天就可以開發出來的東西, 但事實上單單一個 "會自動化連結出語意網路的表", 我記得當時就弄了兩三個月才弄出來, 當然現在再弄一次就只須要兩三天到兩三個星期了, 畢竟有經驗跟沒有經驗還是差很多的.

記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事, 但現在的機器已經比 5 年前快 5 倍了,  加上資料庫的多樣性, 雲端系統的完善, 讓寫這樣的系統跟之前簡單不只 5 倍, 我在兩個月以前自己從無到有又自己跑一次, 以前須要半年的現在只要半個多月就夠了, 想想時代還真可怕阿.

所以說, 在這樣成熟的時機而言, 導入真正的巨量資料探勘已經不是預算的問題, 也不是技術的問題, 而是心態的問題了, 你準備好了嗎?

我在說謊: 壞人最不該唸的一本書, 但也是好人最該唸的一本書

雖然說, 唸不到三分之一, 我就已經有如標題的想法, 但當放下這本書 (事實上是 ipad) 時, 不會因為已經確定這結論而覺得輕鬆很多, 取而代之的是更強的感覺, ....... 如同作者自序中的最後一句話: "至於要如何使用這些資訊,就取決於你自己了。"

這本書是 "Trust Me, I am Lying", 也就是 "我在說謊".....

若要說, 這本書是本可以讓有能力判斷的人, 看完後更容易去判斷事情的真假, 但相對的就是讓壞人利用這本書的方法, 更容易去操作別人, 而你要成為那一種人, 就只在一念之間, 雖然事實上大部份的人都是在其中, 只是比例不一樣罷了.

這本書雖然講的是美國的部落格文化, 這跟台灣是有一定的差別, 但這本書主要講的是如何操作玩弄新聞, 這個在台灣並不多見, 甚至在某方面台灣部落客玩得起的人相當有限, 可能手指頭就可以數的出來, 只是台灣很多大眾媒體直接省略很多步驟就開始 "操弄新聞", 畢竟台灣並不存在 "地方新聞" 與 "全國新聞" 這種層級的差異.

反到是更類似的是台灣 "鄉民" 文化被一些廠商去操弄的血淋淋, 倒是十分貼切, 畢竟操作模式即使不一樣, 但操作者總是存在在任何地方, 只要能夠因此獲利, 或是是獲得名聲, 那不會有人去走捷徑. 所以你看完這本書, 回想一下台灣的許多事情, 會不會有覺得似曾相識呢?

事實上我更相信作者會寫這本書, 說是他要 Confession 反省自白, 還不如他已經 Level Up 升級, 現在無論是更好或更壞, 這些方法已經對他用不太上了, 所以在也不希望自己再用或不希望別人再用的情形下寫出這本如此 "入骨" 的書, 這對大眾也是個好事阿.

有時我很慶幸我雖然是在網路媒體業, 也接過這樣許多類似的案子, 因為身為一個分析者及技術顧問, 都可以用不在其職閃過這些事, 但我知道有太多人面臨這樣的決擇時選了 "比較簡單的 Easy Way", 那是甚麼樣的路大家都知道, 我很少看到有人走 "Too Damn Hard" 的路, 這也是為甚麼我一直想幫助大家把這條路變得沒有那麼 "Hard 困難" 的原因.

這本書講的方法, 80% 在台灣還是相當的 "實用", 至少方法必須不一樣, 只是這本書不是甚麼社會學批判的書, 說穿了就是把作者做過的事用方法論的整理出來, 並沒有刻意的作解釋與觀察, 所以若能夠在之前多唸幾本有關網路的社會學會更容易上手.

我看完這本書還有一個很大的感慨是這本書沒有著墨的:

"事實上大多數的部落客都是很有正義感的, 只是出名的總是那些假藉正義的名號去煽動群眾的那些人"

這倒底是部落客的問題, 還是讀者的問題呢? 只是這又是另一個問題了, 雖然這才是真正的問題.

Anyway, 你已經決定好該不該去唸這本書了嗎?

編按: 最後書名是叫 "被新聞出賣的世界：「相信我，我在說謊」，一個媒體操縱者的告白", http://www.books.com.tw/exep/prod/booksfile.php?item=0010576995

網事, 部落格社群指數

不知道關鍵字廣告檢核系統算不算第一個分支, 但部落格社群指數一定是個分支, 因為這個系統並不是為了解讀 Google Analytics 設計的, 而是應用 GA 的資料而已.

在兩三年前, 我跟紅色死神聊到說要做這套系統, 但說起來是個看起來簡單但又不簡單的東西, 雖然說部落格小工具做起來對我而言已經駕輕就熟了, 只是這系統有太多須要維護的事, 單單去區別那些 SNS 社群網站就會瘋掉了, 因此這計劃就這樣延怠了兩三年了.

我在做網事時, 在某方面是蠻沒有成就感的, 因為這系統是給 Business 企業或 Heavy User 重度使用者使用的, End User 一般使用者是意義不高, 雖然做出來後已經有很多家公司想找我 "合作", 但都依我的個性而言, 社會貢獻是比賺錢更重要, 至少不要因為只是賺錢而失去社會價值, 而是透過商業化來提高社會貢獻, 且其中一點就是不希望我做的東西沒辦法 Open Service 或有 Exclusive 的狀況.

因此我在想說, 有甚麼副產品是可以給大家使用的, 此時我就想到了這個塵封許久的計劃:

"一個部落格/網站的 Widget/Plug-In 讓你知道你社群經營的成果與屬性, 以及歷史變化軌跡"

就像是我這個部落格, 應該是從 Plurk 噗浪, 到 Google+ 居家, 一直到 Facebook 臉書, 雖然在我認知我現在是 G+ 與 FB 同時經營, 但不否認的是臉書的效應較大, 但實際如何呢? 我們來看看:

Period	Blogger	Facebook	Google+	Plurk	Pocket	Netvibes	Twitter	Instapaper	HootSuite	Tumblr	Wretch
This Week	34.15%	58.54%	4.88%	2.44%	0.00%	0.00%	0.00%	0.00%	0.00%	0.00%	0.00%
Last Week	48.15%	51.85%	0.00%	0.00%	0.00%	0.00%	0.00%	0.00%	0.00%	0.00%	0.00%
This Month	21.60%	71.60%	3.09%	3.70%	0.00%	0.00%	0.00%	0.00%	0.00%	0.00%	0.00%
Last Month	7.65%	68.31%	18.03%	4.37%	1.09%	0.55%	0.00%	0.00%	0.00%	0.00%	0.00%
This Season	3.55%	75.68%	5.87%	11.27%	0.16%	0.12%	3.19%	0.08%	0.04%	0.04%	0.00%
Last Season	1.07%	44.96%	18.27%	30.41%	0.08%	0.08%	4.94%	0.04%	0.00%	0.00%	0.15%
This Year	2.98%	56.80%	15.83%	20.31%	0.09%	0.10%	3.72%	0.06%	0.01%	0.01%	0.09%

上面就是我這個部落格的社群分佈, 這 365 天, 臉書還是占一半, 噗浪占兩成, G+ 有一成五, Twitter 有 4%, 但這季整個 FB 跳到四分之三, G+ 降到 6%, 噗浪雖然說有 11% 但還是少很多, 也就是說我的確是在這季開始使用臉書的沒錯.

當然接下來就是要把這數字做成貼紙給大家用, 且會挑出有用有趣的重點, 請大家拭目以待吧....

網事, 付費關鍵字檢核工具

在一做完網事的關鍵字建議工具之後, 就有不只三個人(公司)問我說, 有沒有可能做出檢核付費關鍵字有效性的系統? 我當下是認為這個不難, 但仔細想想沒那麼簡單, 其中有一個很大的議題是:

通常會下關鍵字廣告的人, 也期望有更多人進來網站, 即使排名已經在前三名, 雖然使用者會點到付費區, 即使他若沒看到的話, 也會在自然排序區點擊, 只是也無法保證他會點, 此時你願意多花錢去賺這個 5% 的流量嗎?

但工具畢竟是工具, 工具沒必要先入為主的幫人做決定, 只是要幫忙決策支援就好, 因此接下來就是演算法的設計以及如何抓取了.

原本我是想說建立不同的 Filter, 來去做 Organic/自然/有機 及非 Organic 的兩個 profile (project), 因為很多下關鍵字廣告的人, 不只會用 PPC, 也會改變 medium 媒介, 甚至關鍵字都會因為設計的關係造成 Google Analytics 抓取時的錯誤, 但實際上 GA 的 Metrics 就有 organic search 的元素可以抓, 因此要不要 Filter 並不重要了.

接下來演算法就要朝幾個方向想:

1. 如何區分 Google 與 Yahoo?
2. 到底怎樣的量才是必要做調整?
3. 如何定義不須要再付費的關鍵字廣告?
4. 排名在這邊的意義?

當然這系統並不是希望大家不要用關鍵字廣告, 而是更希望用在對的關鍵字上面, 因此檢核出來的是:

1. 本身已經會在自然搜尋中出現
2. 自然搜尋在一定的比例
3. 自然搜尋已經有一定的名次

而網事本身並沒有關鍵字排名的查詢系統, 而 "網點" 則是剛好有, 因此要做到這件事代表要把這兩個系統整合起來才做得好, 這是一個相當有趣的經驗阿, 這也證明我常說的, 一個實用的系統, 往往有很多也很實用的中間產品, 不可能一促而及.

事實上這系統說起來也是只要人工手動就可以做到的, 就是依照相同關鍵字比較自然搜尋與關鍵字廣告的數字,  記錄下來, 算兩個的差距與比例, 以及排序, 並加入自然搜尋名次做參考就可以了, 但說起來簡單, 但要人去計算沒有幾小時是弄不好的, 且更容易出錯, 此時就可以看得出來 API 的好用地方了.

最後接下來就是介面的問題, 在我的觀點, 這個才是最頭痛的, 因為使用者的使用方式, 會決定要設計怎樣的資料庫來儲存, 也要去思索資料的有效性, 這比任何問題都還要大.

很不幸的, 這邊無法 Show 出 Demo 示範抓圖, 因為會下關鍵字廣告的都是公司, 不方便公開, 所以有興趣想看的就只好在私下叫我幫忙算, 只要請我一杯咖啡就好.

[網事] 如何解讀關鍵字經營建議

認識我很久的人都知道, 我不會為了別人做系統, 但總是做了之後一定會給別人用, 不會做只給自己用的系統, 更不會做自己不用的系統, 而網事也就是一個標準的範例.

已經有三個不認識的人問我有關 "關鍵字經營建議" 的事了, 雖然這個是比 alpha testing 還要更 alpha testing, 但我也習慣直接作 beta testing, 因此若不寫篇文章大概解釋一下就說不過去了.

上一篇 "網事, 關鍵字建議工具" 中已經講說這系統是為了給不常看 Google Analytics 的人能夠一下子抓到重點, 不然真的要能夠從中解讀出些有用的資訊不是要花很久的時間不然就是要很有經驗.

而關鍵字經營建議是個幫使用者作過濾的一套系統, 它從開站第一天 (使用 GA) 開始解讀搜尋引擎來源的關鍵字, 然後每天做一次排名, 然後取前 N 名為單位, 將出現過的關鍵字記錄下來, 記錄第一次出現在這排行榜的日期, 以及到現在曾出現過在這排行榜的天數, 並順便記錄最高的次數與日期, 以及最高的名次.

只是這個 N 到底應該多少我很難做判斷, 因為這牽涉到網站的屬性:

1. 流量越小, 前 10 名就算不完了, 流量越大, 前 100 名還是有其意義.

2. 功能性網站或形像網站關鍵字變化很少, 新聞內容網站與電子商務網站變化很高.

因此我直接做前 10 名, 前 30 名與前 100 名給大家看, 大家要依自己網站的屬性來自行判斷.

在這邊做個名詞解釋:

出現日期: 第一次出現在這排行榜的日期最高次數: 單一天帶進 Vistors 訪客的最高次數最高日期: 出現最高次數的日期天數: 有多少天排進這排行榜

當然這系統理論上是從開始使用 Google Analytics 開始計算, 因此就是所有的資料的意思, 並沒有時間區間, 也都是到最新的昨天 (今天還沒出來阿).

只是這邊有兩個小注意事項:

1. 這邊所指的關鍵字包含自然/隨機 (Organic) 以及關鍵字廣告 (CPC), 若要去區分的話, 請用 Filter 去做不同的區隔, 然後再加 720727917395@developer.gserviceaccount.com 一次.

2. 當這關鍵字從 30 名跳到前 10 名時, 前 30 名的資料都會被 Freeze 冷凍不更新, 所以最高名次一定大於 10 名, 最高次數, 最高日期以及排行榜天數也不會再更動, 因為這關鍵字已經不屬於這檔次了, 因此 100 到 30, 或 100 到 10 也是一樣的道理, 也包含第一天就暴衝到前 10 名時, 之後 30, 100 名就不會有這個關鍵字的資料.

而目前 Default 初始的排序當然是以最近的出現日期開始顯示 20 筆, 但也可以按日數以及最高日期排序都是有意義的.

要去判斷一個關鍵字值不值得經營有四個地方要看.

1. 出現日期越近代表越有價值

2. 最高次數越窩也代表越有價值

3. 日數越多也代表越有價值

4. 最高日期持續再更新也代表越有價值

嗯, 感覺好像是在繞口令, 簡而言之, 就是越多訪客, 越新且有持續力的關鍵字當然是越有經營價值, 但這些數字畢竟只是個參考, 做決策與做事情的還是在人的身上, 這工具只是輔助讓你提高視野, 尤其是歷史, 以及避免漏失與提醒.

工具有工具最好的使用方式, 人有人自己智慧的價值, 我做這些並不是要取代人力, 而是想要創造更多人的價值, 透過這樣的系統使用與學習, 讓 22K 的議題不再存在, 真的提升大家的能力與社會交換價值 (薪水), 所以請大家好好的使用.

有任何問題可以透過 Google Plus 傳訊給我, 或 http://www.facebook.com/genehong 也可以.

PQI Air Card, 一個差一點成功的例子

這一篇文章跟其他 PQI Air Card 的開箱文不一樣的地方是, 這不是業配文或廣編稿, 而是個期許以及建議大家先不急著買的文章.

當 Eye-Fi 出來時, 大家都覺得這是一個很有趣的商品, 一個可以照像立刻上傳的 SD 卡, 雖然這須求是每一個人都想要的, 而實作出來才是最不容易的, 只是並沒有很多人買的原因有兩個:

1. 很貴, 都是 3000 起跳, 比一般的 SD 卡貴不知多少倍
2. 他是先上傳到 Server, 然後再用電腦去操作, 而伺服器之間的頻寬與容量是最大的問題

而 PQI Air Card 有趣的地方是在是把這卡當作 Adapter, 然後接 Micro-SD, 此時容量只受限在 SDHC, 雖然我覺得若能提供 SDXC 會更好, 但在目前而言是已經很實用了, 但重點不在這邊, 而是他把這張 SD 卡當成個無線 Wireless AP 基地台, 並內建了個 Web Server 網頁伺服器來存取.

也就是說, 當你的手機或電腦要連到這張卡, 要開啟 Wifi 或者是切換基地台, 當然這在大部份的邏輯是沒問題的, 只是接下來的問題是這張卡夠不夠力的問題.

在這張這麼小的卡, 裝上個 AP 及 Web Server, 不只受限必須在 5 公尺內, 重點是 App 的使用者經驗, 也就是 User Experience/UX, 而這張卡犯下了一個超級的致命傷:

當你的照片很多的時候, 讀相片就會很慢了.

雖然說這系統已經寫了 Cache 快取, 但期望使用者不關這系統一直瀏灠是錯誤的, 因為大部份的使用者應該是照了之後, 用手機選擇分享後就會關起來, 畢竟不只是相機這樣開著會沒電, 手機也是一樣, 而一口氣要讀幾十張幾百張相片在這樣的設備就真的太吃力了, 無論是對 Air Card 或手機, 因此當你要打開時就會發生慘劇, 先等個幾分鐘把相片的小圖讀完再說, 這樣的使用者經驗是很糟糕的, 所以若不是真的很想要要求畫質, 不然就用相機照照上傳較快.

事實上這並不是不能解決的, 依照 UEO (User Experience Optimization) 及 UI (User Interface) 的觀點來看, 使用者會使用到及分享到的相片一定是剛剛照的, 因此若是當打開的時候直接就只顯示這一個小時內照的照片, 這樣就很夠了, 而當天, 當週以及其他天的照片應該是用其他的 Tab 或展開就夠了, 跟本不須要一口氣讀這麼多的圖, 當圖片控制在一定範圍的時候, 速度與使用經驗就會改善很多.

而在這次的 SA (系統分析) 來看, 沒有好好的去做真正的使用者經驗, 想靠幾個社群文來搜集資料, 這就太高估這些寫 3C 的人能夠花在這產品的時間了, 畢竟越有能力的部落客時間越少.

但除了這個缺點以外並不是說沒有, 只是這夠就弊大於利了, 因此你去看 Air Card+ 這個 App 的評論就知道多慘了, 事實上若 Air Card+ 能夠直接 Share 到 Facebook 臉書之類不用下載, 或者是下載的流程簡化, 或者是至少可以目錄設定一次不用每次設定, 都會讓使用者經驗好很多.

會這樣的流程是不意外, 因為這是由工程師直接發想開發, 因為寫程式的人知道這是最簡單可以快速開發出來的使用者介面 (User Interface), 但這個離真正好用的使用者現實差很遠, 即使這產品再便宜再有用. 只是我們都知道, 一個產品的成功不只是表相的主要功能, 而是魔鬼藏在細節中, 我想當初的開發者應該沒想到被這樣的魔鬼打敗吧?

網事, 網站的成長與燈號

會取名網事是有原因的, 不單純的只是 "網站的事情", 也是因為我習慣用雙關語與諧音來命名的關係, 因此這個 "往事" 也代表來看過去, 從看過去的事, 來做現在的事, 因而決定未來.

因此會有一個很有趣的功能, 也就是我很喜歡的數字分析: 成長史, 畢竟要自己來算一個網站的成長是很累的, 透過 web.mas.ter.tw 就可以自動幫你產出一個你網站/部落格的歷史軌跡, 就像下表就是這個網站的編日史:

• 2011-09-07: 累積訪客數超過 100000
• 2010-08-23: 累積點擊數超過 100000
• 2010-08-23: 訪客數記錄 => 4298
• 2010-08-23: 點閱數記錄 => 6330
• 2009-07-31: 累積訪客數超過 50000
• 2009-03-30: 累積點擊數超過 50000
• 2009-01-21: 訪客數記錄 => 1333
• 2009-01-21: 點閱數記錄 => 1649
• 2008-03-20: 累積訪客數超過 20000
• 2007-10-31: 累積點擊數超過 20000
• 2007-09-28: 訪客數記錄 => 1108
• 2007-09-28: 點閱數記錄 => 1303
• 2007-09-27: 累積訪客數超過 10000
• 2007-09-27: 訪客數記錄 => 765
• 2007-09-27: 點閱數記錄 => 878
• 2007-07-11: 累積點擊數超過 10000
• 2007-06-09: 累積訪客數超過 5000
• 2007-06-09: 訪客數記錄 => 572
• 2007-06-09: 點閱數記錄 => 675
• 2007-06-06: 點閱數記錄 => 204
• 2007-05-07: 訪客數記錄 => 161
• 2007-05-07: 點閱數記錄 => 180
• 2007-04-30: 累積點擊數超過 5000
• 2007-04-28: 訪客數記錄 => 98
• 2007-04-27: 訪客數記錄 => 87
• 2007-04-10: 點閱數記錄 => 137
• 2007-03-31: 訪客數記錄 => 83
• 2007-03-27: 累積訪客數超過 2000
• 2007-03-07: 訪客數記錄 => 73
• 2007-03-07: 點閱數記錄 => 119
• 2007-02-22: 累積點擊數超過 2000
• 2007-02-21: 訪客數記錄 => 51
• 2007-02-18: 累積訪客數超過 1000
• 2007-02-17: 訪客數記錄 => 44
• 2007-01-24: 累積訪客數超過 500
• 2007-01-22: 累積點擊數超過 1000
• 2007-01-15: 點閱數記錄 => 81
• 2007-01-10: 累積點擊數超過 500
• 2007-01-08: 累積訪客數超過 200
• 2007-01-02: 累積點擊數超過 200
• 2007-01-02: 累積訪客數超過 100
• 2006-12-30: 累積訪客數超過 50
• 2006-12-30: 累積點擊數超過 100
• 2006-12-28: 累積點擊數超過 50
• 2006-12-28: 累積訪客數超過 20
• 2006-12-28: 累積點擊數超過 20
• 2006-12-28: 累積訪客數超過 10
• 2006-12-28: 累積點擊數超過 10
• 2006-12-28: 訪客數記錄 => 40
• 2006-12-28: 點閱數記錄 => 74 

從這個歷史表, 可以看到這個網站最輝煌的時間是過去還是正在發生, 很明顯的這個部落格已經沒落很久了.... 真慘.....

事實上這個表格不只可以看整個網站, 還可以分搜尋引擎進來, 還有訂閱 (Feed) 的觀點以及 Twitter, edm 等等, 事實上只要你的網站有定義出 medium (媒介) 都可以區分, 因此我都很意外的這個網站還真的有人會因為 RSS/Feed 點進來看, 雖然累積點擊數只有 1000 人, 且最高是單日 35 人, 看到右邊的 Feedburner 有 500 人訂閱果然是假的.

但這系統最重要的是提供燈號給不想看 Google Analytics 的人看的, 如左上角的圖, 有寫著這個網站下降 7.86%, 燈號是黃燈警示, 這才是給主管看的 Dashboard 用的, 只是目前完成的是每日燈號, 而中階主管看的每小時燈號還在開發中.

這個計算可不是像 GA 那樣用區間計算幅度而已, 這個是經過幾次的 Normalization 算出來的結果:

1. 移動平均: 消瀰掉週期產生的變動差異.
2. 過濾離峰值: 也就是 Data Cleaning, 去掉一些事件產生的離峰值.
3. 迴歸分析: 算出最接近的成長斜率.

因此再經過定義就可以產生紅, 黃, 綠的燈號, 倒時會做成 API, Widget 或 App 給大家使用, 這才是這系統的重點之一.

有興趣嘗試的請進入 http://web.mas.ter.tw/ , 別忘了先加 "720727917395@developer.gserviceaccount.com" 讀取權限到你想看的 Google Analytics 帳號中.

網事, 關鍵字建議工具

在 Google Analytics 的 9 項改變與解讀 這篇文章中, 提出兩個很重要的方向:

1. 網站進入須要 Dashboard 來輔助經營管理的時代
2. 即時產生報表的時代已經來臨


這意思是說, 我們必須更主動與被動的從線上大量資料分析工具中看出線索, 也就是說有幾個前提:


1. 能夠即時處理大量的資料
2. 能夠計算出有用的資訊

其中最重要的關鍵就是 "Future is Now!!!", 也就是說, 報表不再只是看過去的觀點, 而是能夠對現在行為產生幫助的觀點, 進一步的對未來有所幫助, 而越即時, 就越有價值與意義, 也就是說, 以前我們公司經營, 不是以週為單位就是以月為單位來看事情, 甚至是以季或年為單位, 但網路是瞬息萬變, 要每小時每分去計算出最新的資訊才是對的.


在做所謂的 "Big Data" 或 "Data Mining" 我都會強調一個前提, 人才是最重要且最有能力的中心, 只是人的能力與經驗有時很難複製與傳承, 所以要將之轉化成為一個系統, 用大量資料的計算去 "模擬" 人, 畢竟人的精神與時間是有限的, 要時常去看這麼多資料是很浪費的, 因此有些前置作業是可以讓電腦來幫忙完成, 而最後的決策是由人來下定論.

第一個 網事 (Web.mas.ter.tw) 的工具就是個 "關鍵字方向經營建議工具", 一個唸過圖書館的資料分析師, 若對網站的內容與使用者社群很有概念的話, 看過歷史的資訊一定可以整理出一個很不錯的 "關鍵字建議", 但這是不可能存在的情境.


所以在想說若是寫一個 Agent, 把這網站每天的關鍵字看一遍, 看那些關鍵字最近比較熱門, 然後提供給經營者判斷或提示, 這會比直接看 Google Analytics 更簡單, 因為我們每天看 GA 的報表, 會發現每天都是大同小異, 因為大部份熱門的都是那些, 例如下表是這個網站的隨機關鍵字的報告..

從上面來看, 若對於剛接手的人這些資訊大部份是沒有意義的, 因為這些字已經沒有操作與加碼的價值了, 而若是透過網事這系統的話可以整理出下面這個表:

也就是說當每天有新的關鍵字出現時, 就會在第二天提醒經營者該去經營那個關鍵字, 而日期就會出現在上面, 只是這個例子不是很好, 因為這個部落格已經很少有新關鍵字了, 下面是某個網站, 因為內容一直有在經營, 就是不錯的例子:

一個經營者就可以很清楚的知道下一步要經營 "小小群英傳" 或者是變臉機之類的關鍵字, 而不見得是排名前 5 名已經存在很久的關鍵字.

當然這個系統事實上只是幫你做排序, 記錄, 過濾與統整的工具, 真正還是要靠人的智慧, 而這工具只是時間到幫你計算提醒出來這個字, 決定要不要做專欄給讀者更新的資訊是內容創作者須要下的工夫, 不是系統自己能夠做到的.... (事實上多少也是可以做到啦)

這個工具將會做成 Dashboard 的其中一項工具, 更會做成 email notification 當有新的關鍵字會寄信給你或者從 App 來看, 會更有意義.

網事知多少, web.mas.ter.tw 啟動

我在前年寫了一篇文章, 講說網站一定要很多 "Panel/探知器" 去了解使用者的行為, 但說要去實作並不是難事, 只是這個在很多網站經營者的優先次序往往是很低的, 能夠真的實作的公司並不多, 除非是規模大到一定的公司, 才有可能排得上.

但事實上我說的這些資料源, 從 Google Analytics 的資料源中, 有 60% 是算得出來的, 而小公司網站裝 GA 的機會反倒是比大公司大非常多, 因此我就在想, 要求 100 分是不太可能的, 但就從 60 分做起也是總比沒做好.

只是要去了解與解讀 Google Analytics 不是那麼簡單, 不只是 GA 的資料單單是了解與解讀是困難的, 再加上很多事是要跟網站屬性, 去比較與差異會更深刻體會, 這個有時是很難做到, 而這個做不到, 那至少可以跟自己網站的歷史做比較時, 就會知道若真的從 GA 看得出如何經營方向, 就已經是了不起好的 Web.mas.ter 了.

要找到好的 Web.mas.ter 是相當困難的, 甚至我一直認為這必須是一個跨部門的 Task force 專案小組是最合適的, 且每一個必須對網站過去的事瞭若指掌, 此時就必須不能是部門主管或臨時的人員, 但每一個部門能夠管好自己就萬幸的情形下, 要去生一個這樣的常態性跨部門組織在我顧問的經驗中, 是 "沒看過", 因此這只是種理想.

在這種情形下, 我就想說要用 Dashboard 來解決這問題, 一個能夠去做 Alert Notification 警示通知, 能夠有歷史比較 (History Log), 一個即時 (Real-Time), 自動化不須要人去操作, 能夠隨時被動的看到, 更重要的是能夠很簡單的作判斷的 "主控台", 這種事情雖然是很困難, 但總比 Webmaster Task Force 簡單多了.

雖然說簡單多了, 但真的在我顧問的公司能做出實用的也是曲指可數, 而我就在想, 能否以我的角度做出一個很快可以使用的 Dashboard 做基本功, 讓願意認真學習與經營的台灣網路工作者透過這樣的系統了解資訊的價值, 進一步提升自己的視野與能力, 提高網站的使用量, 也讓自己的價值提升能夠有更高的薪水..... (扯遠了)

前幾天已經有不少朋友若是在線上已經被我逼來做 Beta Test, 而現在已經半自動化了, 所以已經可以開放大家測試了, 有興趣的人可以直接跟我講, 或直接把 Google Analytics 授權給 "720727917395@developer.gserviceaccount.com" 這個帳號讀取, 然後第二天登入 http://web.mas.ter.tw/ 就可以了....

Google Analytics 的 9 項改變與解讀

很多人今天打開 GA (Google Analytics) 應該有嚇一跳吧, 平常習慣的介面都不一樣了吧? 有個人立刻整理出這次 GA 的九項改版:

1. 最上面的導覽列多了首頁選項, 把新的報告整進去, 變成只有報告 (原本是分標準報告).

2. 導覽列也固定不動了

3. 新的 "最近瀏灠" 下拉選單

4. 因為報告整進去後, 左邊的導灠也隨之調整

5. 新的 Dashboard 設計與進階區間

6. 新的 Dashboard 版型

7. 多了兩個新的 Dashboard 元素 (地圖與柱狀圖)

8. 一些小改變如顏色, 以及圖示

9. 速度更快了


這 9 項改變一起過來有人認為對一些人會造成困擾, 但在邏輯上是更完整了一些, 尤其是在我眼中有兩個很重要的宣示:

1. 網站進入須要 Dashboard 來輔助經營管理的時代
2. 即時產生報表的時代已經來臨

而 Google Analytics 已經不再只是馬後砲做事後分析, 而是把角色變得更前端, 這也是我最近在想的來寫一些 GA 的附加功能, 然後導入 Dashboard 的應用, 讓大家不只是裝了 GA 後很少去看, 而是更前端的做為網站經營的前置參考, 只是這些須要再做一些計算及整理才行.

而現在 GA 自己本身也更強調 Dashboard, 此時我想到我還欠人一篇講 Dashboard 的未來的文章已經快半年了, 逃~~~

這個部落格改網址, gene.speaking.tw

部落格改網址是最好不要的事, 尤其是對 SEO, 但畢竟我這個部落格本來就不是那種很多人會上來看的那種, 所以在某方面是不用太擔心這件事, 畢竟這個部落格的初衷是:

"避免一件事講很多次, 所以寫成文章再叫朋友來看"

但對於 blogspot 這次的 .tw 事件, 多少有點不愉快, 既然是 2013 年的開始, 所以我就把這個部落格網址直接定下來, 雖然這部落格開始的確是無心插柳, 而現在變成我最認真寫的部落格, 若不是用自己的網址還真的說不過去阿...

所以舊網址 geneoralspeaking.blogspot.com 變成 gene.speaking.tw, 一口氣少了 12 個字, 應該對打字的人會好打很多吧, ....

在此, 若有誰想要用 speaking.tw 這網址的, 可以向我申請, 反正不會說比較多人用比較多錢, 網域名稱怎樣就是一筆錢.

Anyway, 2013 開始了, 大家有沒有想要在這一年有個甚麼樣的新的新希望或舊的新希望呢?