AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

某知名廣場舞社區平臺APP首頁Banner優化

公司簡介

該產品自2011年成立以來,收獲來自社會各界的認可與贊賞,也收獲了國內眾多廣場舞愛好者們的一致喜愛。產品于2016年7月發布廣場舞TV版,正式開啟多屏互動時代,滿足舞蹈愛好者們看、賞、學、秀的需求。目前提供國內90%以上的廣場舞名師及廣場舞作品,全國覆蓋超300萬領隊用戶以及5000萬舞友用戶,其中超過90%以上為女性用戶,是中國最大的中年女性廣場舞社區平臺。秉持著“讓中老年人通過產品獲得健康和快樂”的初衷,產品除了為全國中年女性用戶提供廣場舞視頻作品以外,還有健身、減肥、養生、美妝、美食、旅游等多視角的生活內容,讓每一位用戶都能夠開啟甜蜜生活,擁有健康體魄。

 

案例背景

產品APP首頁布局由banner、版塊主題、視頻推薦等組成,為了提高用戶對不同版塊主題的點擊,產品部門提出希望通過AppAdhoc A/B Testing的可視化功能,探究改變版塊位置是否可以增加各主題的點擊情況。

 

測試方案

AppAdhoc A/B Testing的可視化編輯功能專為滿足UI優化需求設定,支持APP及Web環境,無需任何編程經驗與開發人員介入,即可輕松創建試驗版本。此外,平臺采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征。在試驗過程中,企業可以隨時調整用戶流量,以保證在新版本上線之前,用最低成本觀察用戶對優化改版方案的數據反饋。

本次試驗采用可視化模式,產品部門在線創建并編輯試驗版本,形成包括1個原始版本和1個試驗版本的A/B測試雛形。

%e7%b3%96%e8%b1%86-%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:APP首頁由上至下的內容為:Banner、版塊分類、新手必看、猜你喜歡;

試驗版本:將首頁Banner位剔除,其他內容依次上移(版塊分類提升至頁面頂端),其余頁面元素保持不變。

將版塊分類中的5個按鈕的點擊數據,設置為本次試驗的核心關注指標。

 

測試目標

本次試驗的主要目的是,觀察去掉Banner位之后的版塊分類按鈕的點擊情況,驗證這種布局變動是否能夠帶來各版塊的用戶點擊增加。

 

A/B測試數據反饋

此次試驗應用可視化編輯功能,試驗為期兩周(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周)。在對比分析各版本試驗數據后,產品部門得出了科學可靠的數據結果。

%e7%b3%96%e8%b1%86-%e8%af%95%e9%aa%8c%e6%95%b0%e6%8d%ae%e5%9d%87%e5%80%bc

-原始版本勝出,無論是從點擊均值還是用戶轉化數據對比,試驗版本(踢掉Banner位提升版塊分類位置)均呈現出明顯的下降趨勢,且置信區間收斂,統計結果顯著;

-按照頁面用戶專注理論,用戶的重點一般在頁面中間偏上的位置,本次試驗在次證明了這個結論:原始版本的版塊分類位于首頁中間偏上位置,而試驗版本將分類模塊移至頁面最頂端,偏離了用戶關注的黃金位置,也導致了按鈕轉化率的極大下降;

-基于效果顯著的試驗數據,產品部門最終決定保留Banner位置,同時也明確了后續的優化試驗方向。

10462 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
新加坡2分彩平台注册