AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

小恩愛任務獎勵灰度發布

公司簡介

小恩愛是2011年7月創建一款情侶應用產品,能夠從生活服務的各個角度滿足情侶的不同需求。秉持著“讓天下情侶更幸?!钡脑瓌t,小恩愛為情侶提供了多種私密功能,情侶可通過產品免費發送只有彼此才能看到的短信、語音和圖片等,打造屬于情侶的最私密的二人世界。除此之外,小恩愛致力于為情侶提供全面的一站式服務,不斷完善對情侶生態場景產品的發展,包括情侶游戲、禮物電商、情侶金融、周末旅行、情侶主題餐廳和酒店等等,讓情侶可以輕松享受豐富多彩的二人世界。截至2016年7月,小恩愛已成功收獲了8000萬精準用戶,月交易額達到3000萬元。

 

案例背景

小恩愛APP即將上線“任務獎勵”的新功能:用戶根據任務指示完成對應行為,即可獲得小恩愛產品中的虛擬錢幣。這個功能的主要目的是通過獎勵的方式,激勵用戶使用產品和相應功能,進一步促進用戶活躍度。為了降低該功能上線時可能因bug造成的用戶體驗風險,產品部門決定通過灰度發布的功能,逐步調整新功能上線流量。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征。同時,平臺還支持灰度發布的功能,企業可在試驗過程中隨時調整用戶流量,在版本穩定無bug的前提下,逐步擴大新版的使用群體,完成產品發布的平穩過渡。

本次試驗中的“任務獎勵”功能具體如下:

%e5%8e%9f%e5%a7%8b%e7%89%88%e6%9c%ac%e4%bb%bb%e5%8a%a1%e5%a5%96%e5%8a%b1-%e8%af%95%e9%aa%8c%e7%89%88%e6%9c%ac

新功能入口位于產品導航條“發現”頁面的右上角,展現形式為圓形icon+“獎”文案,用戶點擊進入二級頁面,將看到任務列表和虛擬貨幣金額,并根據賬戶情況進行獎勵領取和恩愛幣兌換。

 

測試目標

本次試驗的主要目的在于,通過灰度發布避免“任務獎勵”功能上線時出現bug等意外情況。依據用戶反饋及內部體驗情況,觀察是否存在異常,判斷是否可以逐步調大流量至該功能全量上線。

?

A/B測試數據反饋

本次試驗在雙平臺同步運行(包括iOS 和Android),由于試驗內容是針對新功能的灰度發布,所以本次試驗中,沒有給原始版本分配流量。試驗成功與否的主要評判標準在于是否出現異常bug以及用戶體驗是否良好,因此小恩愛的產品部門對此次試驗并沒有明確的關鍵指標需求。

-試驗的運行周期為5天,將初始流量設置為10%,持續觀察2天后未發現異常,于是調大試驗流量至20%,仍未發現異常情況;

-由于在灰度發布的流量調節過程中,新功能都沒有出現異?,F象,且用戶反饋體驗不錯,因此產品部門決定全量上線新功能至所有線上用戶。

11087 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
新加坡2分彩平台注册