看阿里云如何用云上技术创新,帮助哈啰单车实现智能数据收治
簡介:?客戶通過把日志數據遷移到SLS,替代原有的kafka、ES、ClickHouse,累積節省成本達到30%,同時滿足了穩定性、擴展性需求,以及對日志查詢分析的需求。
更多存儲標桿案例
歡迎點擊下方鏈接查看
阿里云存儲標桿案例樣板間
公司介紹
哈啰出行是國內領先的專業移動出行平臺,致力于為用戶提供便捷、高效、普惠、安全的出行工具和服務。公司于2016年9月在上海成立。成立四年多來,秉持著“科技推動出行進化”的使命,憑借卓越的創新能力、差異化的發展戰略和技術驅動下的優異運營能力,哈啰從激烈的市場競爭中脫穎而出。目前公司已經進化為包括兩輪出行(哈啰單車、哈啰助力車、哈啰電動車、小哈換電)、四輪出行(哈啰順風車、全依托于智能鎖,賦能了在線的實時調度。單車數據、APP數據無縫打通,因而催生了數據的實時采集、分析、存儲需求。業務場景介紹2網叫車、哈啰打車)等的綜合化移動出行平臺,APP累計注冊用戶超4億。
截至2020年10月底,哈啰出行旗下哈啰單車已經進駐全國超460城,用戶累計騎行240億公里,累計減少碳排放量近280萬噸;哈啰助力車已進入全國超400城,用戶累計騎行近80億公里,節約碳排放28萬噸;哈啰順風車已覆蓋全國超300城,認證車主逾1800萬名。
業務場景介紹
依托于智能鎖,賦能了在線的實時調度。單車數據、APP數據無縫打通,因而催生了數據的實時采集、分析、存儲需求。
每天增量數據TB級別,影響系統穩定性
客戶原有架構是數據采集到kafka,然后應用日志寫入ELK做查詢,同時寫入ClickHouse做分析。由于每天增量數據在TB級別,對ES穩定性壓力比較大。當查詢數據操作,會影響ES的寫入延時。由于寫入量大,查詢基本處于不可用狀態。因此,當天數據采用單副本,隔天再生成多副本。這種方式對數據的可靠性時很大的挑戰。同時,自建Kafka、ES、ClickHouse成本較高,急需降低成本。
日志服務提供TB級別日志的實時采集、彈性擴容、實時查詢
阿里云日志服務為客戶提供了TB級別日志的實時采集、彈性擴容、實時查詢的能力。
?
?
在數據采集方面,原來把數據采集到kafka,在分發到下游ES、ClickHouse。SLS原生支持Kafka協議。各個客戶端只需把kafka的地址設置成SLS的kafka協議地址即實現了無縫遷移。
在彈性擴容方面,SLS采用Shard模型,當流量發生上漲時,在控制臺動動手指分裂Shard即可實現寫入帶寬的擴容。也可以設置成自動分裂,當流量打到上限時,自動擴容出新的Shard。
在查詢和分析方面,客戶原來采用ES做查詢,ClickHouse做分析。而由于流量比較大,ES查詢基本不可用。SLS同時提供了查詢和分析能力。在查詢方面,支持關鍵字檢索、數值范圍查詢、json字段的遞歸查詢、多條件組合查詢。在數據分析方面,支持以SQL92語法分析日志,秒級別即可分析數百億條日志。SQL語法支持200+函數,以及支持join計算,可與OSS、MySQL數據源做關聯分析。同時一些特有的函數例如同比環比函數、IP地理位置函數等等。
在可視化方面,SLS控制臺作為阿里云排名Top 5的控制臺,為可以提供所見即所得的查詢分析體驗。同時控制臺還可以供客戶做二次開發,嵌入到自己的后臺運維系統中。
達到的效果
客戶通過把日志數據遷移到SLS,替代原有的kafka、ES、ClickHouse,累積節省成本達到30%,同時滿足了穩定性、擴展性需求,以及對日志查詢分析的需求。
原文鏈接
本文為阿里云原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的看阿里云如何用云上技术创新,帮助哈啰单车实现智能数据收治的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【阿里云EMR实战篇】以EMR测试集群版
- 下一篇: 如何用阿里云实行全链路数据追踪