AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

小恩愛美洽客服灰度發布

公司簡介

小恩愛是2011年7月創建一款情侶應用產品,能夠從生活服務的各個角度滿足情侶的不同需求。秉持著“讓天下情侶更幸?!钡脑瓌t,小恩愛為情侶提供了多種私密功能,情侶可通過產品免費發送只有彼此才能看到的短信、語音和圖片等,打造屬于情侶的最私密的二人世界。除此之外,小恩愛致力于為情侶提供全面的一站式服務,不斷完善對情侶生態場景產品的發展,包括情侶游戲、禮物電商、情侶金融、周末旅行、情侶主題餐廳和酒店等等,讓情侶可以輕松享受豐富多彩的二人世界。截至2016年7月,小恩愛已成功收獲了8000萬精準用戶,月交易額達到3000萬元。

 

案例背景

隨著產品功能和第三方業務越來越豐富,產品團隊考慮加入一個第三方客服功能入口,來處理用戶在使用產品中的相關問題。對比之后,選擇先接入美恰的客服SDK看下效果,小恩愛的產品團隊非常關注產品的穩定性,任何涉及第三方的SDK的接入,都需要通過灰度發布的方式來評估可行性。本次試驗的思路也借鑒了中國移動10086接入人工檢測詐騙短信入口的案例。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征。同時,平臺還支持灰度發布的功能,企業可在試驗過程中隨時調整用戶流量,在版本穩定無bug的前提下,逐步擴大新版的使用群體,完成產品發布的平穩過渡。

本次試驗中的“美洽客服”功能具體如下:

%e7%be%8e%e6%81%b0%e5%ae%a2%e6%9c%8d%e8%b7%af%e5%be%84

將帶美恰客服接口的版本做成灰度版本,新功能入口位于“設置”頁面,用戶點擊“在線客服”進入對話頁面。

 

測試目標

此次試驗主要用于測試美洽第三方SDK的穩定性和用戶使用情況,觀察是否存在異?;騜ug,進一步評估這個在線客服接口是否可行。同時,基于灰度流量比例帶來的用戶反饋,預估線下客服團隊的人員編制。

?

A/B測試數據反饋

本次試驗在雙平臺同步運行(包括iOS 和Android),由于試驗內容是針對新功能的灰度發布,所以本次試驗中,沒有給原始版本分配流量。通過AppAdhoc的動態流量分配功能,先設置帶有美洽接口的試驗版本初始流量為5%,線上監測美恰客服功能入口的穩定性以用戶反饋數量。

-前半個月,放量雙平臺各5%的流量,美恰功能穩定性良好,帶該接口的灰度版本也沒用出現任何閃退和異常,客服團隊也反饋在通過美恰客戶端處理用戶反饋的體驗良好;

-放量到20%持續進行監測,在此期間,用戶反饋數量提升,客服團隊在適應美恰客戶端的各項功能后,回復效率也大大提升;

-綜合評估后,小恩愛的產品部門決定全量發布附帶美恰客服入口的版本。

15387 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
新加坡2分彩平台注册