AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

中國黃金市場某領軍企業首頁改版優化

 

公司簡介

公司成立于2012年9月,是一款專注于上海黃金交易所的,提供上海黃金交易所所有品種、紙黃金、紙白銀、外匯指數等多市場行情,集交易、行情、策略、視頻直播、在線客服等服務為一體的行情交易軟件。2015年中國互聯網巨頭——新浪公司正式宣布入主該企業,進一步增強其在中國黃金市場的核心競爭力和領袖地位。2016年8月24日,該企業以“換股+現金”的方式借道中概股登陸納斯達克。

 

案例背景

由于平臺定位發生了轉變,從原有的交易型APP逐步轉向營銷支撐+資訊共享的產品類型,因此出于運營需求,產品決定進行首頁改版。同時,為了進一步提高首頁的空間利用率,尤其是首屏和第二屏的頁面使用頻率,本次改版的調整幅度較大,希望能夠借此充分發揮大流量區域的曝光作用。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察用戶對優化改版方案的數據反饋。同時,根據試驗的數據發現用戶反饋最好的版本,作為最終的新版本迭代方案。

基于現有首頁樣式,同時考慮運營策略的調整,產品部門設計新老版本如下:

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

本次改版的主要調整在于:

– 增加主題板塊入口;

– 下移或移除banner、直播等欄目;

– 整合資訊模塊,提高熱門資訊的曝光度;

– 調整底部導航欄排序,將“客服”版塊移除,替換為“資訊”和“直播”。

將各模塊的點擊情況和轉化率,作為本次首頁改版的核心關注指標。

 

測試目標

本次改版一方面在于滿足產品定位調整后的運營策略需求,另一方面如何保證在改版后不影響用戶的原有產品體驗,以及是否能夠對產品活躍度有積極地作用,這些都需要通過A/B測試的方式得到驗證。

 

A/B測試數據反饋

此次A/B測試在Android和iOS端同時進行,考慮到本次改版的幅度較大,因此產品部門決定通過10%的小流量先行驗證新版上線后的數據效果。試驗周期為兩周左右(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周),在對數據進行分析后,產品部門得到了意想不到的結果:

%e8%af%95%e9%aa%8c%e6%95%b0%e6%8d%ae

-試驗版本數據遠低于原始版本的數據表現,這與產品部門之前的預期完全相反;

-不論是iOS端還是Android端,試驗版本都出現了不同程度的數據下滑(其中Android端更嚴重);

-試驗數據表明,產品和運營部門之前對用的行為理解不夠深入,需要從其他層面分析原因,找到真正有效的改版設計方案。

10884 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
新加坡2分彩平台注册