10大A/B測試該做與不該做的注意事項

10大A/B測試該做與不該做的注意事項

為了提升Email成效，將收信母體分群組，做A/B測試是很常見的事，無論是測試標題、信件內容、族群..等，沒有什麼方法是比做A/B測試來得快又清楚，如果你對A/B測試不熟，沒關係，以下我們列出10項該做與不該做的事情，導引你將A/B 測試做得更好！

1. 經常做測試，確保信件效益成長曲線

如果你有操做過A/B測試，你可能會知道，信件裡有太～多～太～多可以測試的東西了，什麼意思?信件標題、影片、信件內容偏好...等，都是可分析顧客行為的測試項目，但千萬別過度分析，就是即使你知道了你的顧客有這些習性，但對你的營銷活動並不會帶來任何影響，這樣的分析就沒那麼必要！簡而言之，在做A/B測試以前，先搞清楚你的目的，這些實驗都必須要有意義，去挖掘你的受眾特性，記得！要有耐心！A/B測試是一門科學，更是一門藝術！

2. 不要測試一年只發送一次的E-mail元素

一年內可能會發幾次節日性質或活動性質的E-mail，雖然提供了讓你測試顧客喜好的機會，但事實上你沒必要在一年只發一次的E-mail例如聖誕節賀卡，去調整雪花圖案的大小看顧客喜歡什麼，你應該更著重測試會對企業帶來巨大影響的元素，或許測試的元素很平凡，但長期看來可能都是會影響Email活動的重要元素。

3. 像一個科學家一樣的測試

你還記得你小時候念化學的時候，做實驗的時候要注意什麼嗎?做實驗前會先擬控制因素、可變因素以及假設性結果，請確保在做A/B測試的時候，這些因素你都有控制好，例如先產生一個A實驗組，而B對照組跟A十分相近，但只差了一個因素。假如你測試的是標題長度，以下是不良示範：

A：朋友們，快來採取行動！

B：T-Shirts現在特價$4.99美元，別錯過了！

這兩個不只長度不一樣，連目的跟內容也都不一樣，而調整後的示範如下：

A：快來搶購$4.99美元的T-shirts

B：快來搶購$4.99美元多樣不同款式及顏色的T-shirts

一次測試一個因素就好，並確保母體是隨機抽樣。

4. 測試時間不要分開

維持所有的固定因素，在不同時間測試變數似乎看起來沒有什麼不行，所謂時間是這週跟下週的同一時間，但事實上，最好都在同一週，發信時就應該兩者同時發送，結果較為準確。

5. 別被數據給迷惑了！

測試出來的數據常會令人迷惑，例如B組比A組低了5%的開信率，但點擊率卻比A組高了8%，測試結果是?B比較好嗎?當然不能這樣看，你必須分開看這些數據，如果你在乎的是開信率，那你應該想想你當初測試的目的是為了要改善開信率嗎?如果是，才能確認是什麼因素影響了，那如果你想測試的是內容，那你就要看看提高了的點擊率，是否對入站後的行為有產生影響?!不管是瀏覽行為、停留時間..等，找出點擊率提高的因素是什麼!?

6. 別太早查看實驗結果

做了實驗當然就很希望看到結果，但如果你用的是現有的發信系統，數據都會在一段時間以後才會準確，最好察看結果的時間是在發信後的24小時以後，但如果你的對象是年輕人，可能時間要延長到48小時。

7. 請觀察實際轉換率

不要做沒意義的測試，如何讓你的測試更有意義?那就例如你發送了100,000封信，希望從中得到200張訂單，你覺得應該要有多少新訂閱戶才能達成這個目標?

8. 不要對同一樣本過度測試

你知道你的Email發送限制，如果你有25,000個訂閱戶，你可能不能在一週內就跑4個測試因素，所以請把樣本切割，做出的實驗數據也比較有意義，沒有更快更方便的測試方法。

9. 根據你的實驗結果做出實際改變

如果你已經從測試中獲得肯定的數據，那就趕快把這項因素套用下去，如果CTA(Call to Action)的圖片大小會影響CTR(點擊率)，那測試出來的結果你務必要調整，畢竟這會直接影響到銷售，下次你可以試試看調整CTA的顏色、文字，看看會發生什麼事，另一部分，也要同時汰換掉沒有吸引力的商品圖片。

10. 別以為測試的結果是長久的

A/B測試是總是變化多端、不可預測的，沒有一成不變的A/B測試結果，你不僅要測試一個因素很多次，因為環境因素與機會可能都會造成不同的結果，並且對於你的結果還要抱持著質疑，多試幾次結果才會準確，每隔幾個月或幾年，都還需要再重新測試。