AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

微軟商城首頁左邊欄優化

公司簡介

微軟(Microsoft)公司由比爾·蓋茨與保羅·艾倫創始于1975年,總部設在華盛頓州的雷德蒙市,是全球最大的電腦軟件提供商。微軟公司現有雇員6.4萬人,2005年營業額368億美元。其主要產品為Windows操作系統、Internet Explorer網頁瀏覽器及Microsoft Office辦公軟件套件。微軟商城是微軟中國的官方商城,銷售Windows Phone等數碼產品以及微軟旗下軟件產品。商城內全部貨品有官方正品保證,用戶購買后享受30天無理由退貨,2年有限保修,7*24在線服務等權益。

?

案例背景

作為商城首頁首屏的展示位,產品部門希望左邊欄的部分能夠得到充分利用。然而,經過對現有數據的統計分析,產品部門發現目前所展示的商品點擊量非常低。因此,他們希望通過A/B測試的方式對這個黃金位置進行優化改進,從而找到能夠使這部分發揮最好效果的展示方案。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。

產品部門將策劃的兩套頁面展示方案如下:

%e5%be%ae%e8%bd%af%e5%95%86%e5%9f%8e%e9%a6%96%e9%a1%b5%e5%b7%a6%e8%be%b9%e6%a0%8f%e4%bc%98%e5%8c%96%e5%af%b9%e6%af%94

原始版本:首頁左邊欄展示三個熱門商品,用戶點擊后會分別跳轉到對應的商品頁面;

試驗版本:首頁左邊欄展示產品目錄鏈接,用戶點擊后會分別跳轉到對應產品主題頁。

同時設置左邊欄的所有按鈕點擊量總和為主要優化指標。

 

測試目標

此次試驗主要是希望可以通過對兩套首頁左邊欄方案的數據對比,找到能夠利用該黃金位置的最佳展示方案,從而優化該部分的整體點擊轉化率。

 

A/B測試數據反饋

本次試驗在PC端網頁進行,在試驗運行了近兩周后(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周),產品部門得到了客觀科學的數據結論。

-試驗在運行近1周后,試驗版本(產品目錄)的總點擊量就遠超出原始版本(熱門商品),提升幅度達到5倍以上;

-基于上述非常顯著的優化對比,產品部門即刻調大了試驗版本的流量分配,使更多用戶接觸到試驗版本,并實時觀察流量調整后不同版本的數據表現;

-在試驗運行近兩周后,試驗數據趨于穩定,置信區間也逐漸收斂。此外,試驗版本的方案同時促進了商城訂單量的增長;

-試驗結果表明,試驗版本(產品目錄)獲勝,其總點擊量高出原始版本5倍之多。于是產品部門選定試驗版本為此次的優化方案,使首頁的黃金位置得到更好的利用。

17849 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
新加坡2分彩平台注册