AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

摩拜單車第三方監測日志灰度發布

公司簡介

摩拜單車創建了全球首個智能共享單車模式,其自主研發的專利智能鎖集成了GPS和通訊模塊,采用了新一代物聯網技術,通過智能手機APP讓用戶隨時隨地可以定位并使用最近的摩拜單車,騎行到達目的地后,就近停放在路邊合適的區域,關鎖即實現電子付費結算。

摩拜單車于2015年1月成立,2016年4月22日地球日當天在上海正式推出智能共享單車服務,并已先后進入上海、北京、廣州、深圳、成都、寧波、佛山、廈門、武漢、東莞、昆明、南京、珠海、???、南寧等30多個國內城市和海外城市新加坡,穩居全球最大的智能共享單車運營平臺。摩拜在所到的城市中掀起騎行的熱潮,推動“讓自行車回歸城市”,為更多人的出行帶來方便,也給城市倡導綠色出行提供了可持續發展的智能解決方案。

 

案例背景

摩拜的產品部門有計劃于近期引入第三方的監測日志,但考慮到盲目上線后可能會帶來的產品性能風險,給用戶體驗造成不良影響,他們希望借助AppAdhoc的灰度發布功能,先給小流量用戶更新帶有第三方監測日志的版本,通過觀察用戶的使用情況,再決定是否將該日志正式發布至全量用戶。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征。同時,平臺還支持灰度發布的功能,企業可在試驗過程中隨時調整用戶流量,在版本穩定無bug的前提下,逐步擴大新版的使用群體,完成產品發布的平穩過渡。

本次試驗采用灰度發布的方式,在后臺逐步放大參與試驗版本(使用第三方監測日志)的用戶流量。同時,結合摩拜單車系統自帶的日志,觀察崩潰率、系統性能、CPU利用率和卡頓率等指標,實時掌握用戶使用狀況,并進行效果分析。

 

測試目標

此次試驗的主要目的在于,驗證第三方監測日志的使用是否會給用戶體驗造成不良影響,在保證使用狀況良好的前提下,逐步放大直至全量上線該日志,反之則可及時避免上線風險。

?

A/B測試數據反饋

本次試驗在安卓端進行,考慮到摩拜單車的較大用戶量,試驗周期只維持了一周的時間,產品部門就得出了科學的試驗結論。

-通過AppAdhoc后臺的分流機制,產品部門逐步開放了90%的流量到試驗版本(使用第三方監測日志),根據摩拜系統自帶日志分析,原始版本的用戶體驗更好;

-分析發現,第三方監測日志會導致CPU利用率卡頓,影響了2W個用戶的設備的性能,其中,有5000臺左右的系統被卡死(CPU利用率100%);

-產品部門隨即將試驗版本關停,暫不發布帶有第三方監測日志的應用版本,本次試驗有效的驗證了新功能包含的潛在風險,避免了全量上線可能造成的負面影響。

17639 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
新加坡2分彩平台注册