高德 Serverless 平台建设及实践
作者 | 鄧學祥（祥翼）
來源 | Serverless 公眾號
高德從 FY21 財年開始啟動 Serverless 建設，至今一年了，高德 Serverless 業(yè)務的峰值超過十萬 qps 量級，平臺從 0 到 1，qps 從零到十萬，成為阿里集團內(nèi) Serverless 應用落地規(guī)模最大的 BU，這中間的過程是怎么樣的？遇到過哪些問題？高德為什么要搞 Serverless/Faas？是如何做 Serverless/Faas 的？技術方案是什么樣的？目前進展怎么樣？后續(xù)又有哪些計劃？本文將和大家做一個簡單的分享。
1. Why-高德為什么要搞 Serverless
高德為什么要搞 Serverless？背景原因是高德 FY21 財年啟動了一個客戶端上云項目。客戶端上云項目的主要目的是為了提升客戶端的開發(fā)迭代效率。
以前客戶端業(yè)務邏輯都在端上，產(chǎn)品需求的變更需要走客戶端發(fā)版才能發(fā)布，而客戶端發(fā)版需要走各種測試流程、灰度流程，解決客戶端崩潰等問題，目前的節(jié)奏是一個月一個版本。
客戶端上云之后，某些易變的業(yè)務邏輯放到云上來。新的產(chǎn)品需求在云端來開發(fā)，不用走月度的版本發(fā)布，加快了需求的開發(fā)迭代效率，離產(chǎn)研同頻的理想目標又近了一步（為什么要說“又”，是因為高德之前也做了一些優(yōu)化往產(chǎn)研同頻的方向努力，但是我們希望云端一體化開發(fā)可以是其中最有效的一個技術助力）。
1.1 目標：客戶端開發(fā)模式–端云一體
雖然開發(fā)模式從以前的端開發(fā)轉(zhuǎn)變?yōu)楝F(xiàn)在的云 + 端開發(fā)，開發(fā)同學應該還是原來負責相應業(yè)務的同學，但是大家知道，服務端開發(fā)和客戶端開發(fā)顯然是有差異的，客戶端開發(fā)是面向單機模式的開發(fā)，服務端開發(fā)通常是集群模式，需要考慮分布式系統(tǒng)的協(xié)調(diào)、負載均衡、故障轉(zhuǎn)移降級等各種復雜問題。如果使用傳統(tǒng)的服務端模式來開發(fā)，這個過渡風險就會比較大。
Faas 很好地解決了這一問題。我們結合高德客戶端現(xiàn)有的 xbus 框架（一套客戶端上的本地服務注冊、調(diào)用的框架），擴展了 xbus-cloud 組件，使得云上的開發(fā)就像端上開發(fā)一樣，目標是一套代碼、兩地運行，一套業(yè)務代碼既能在客戶端上運行，也能在服務端上運行。
高德客戶端主要有三個端：IOS、android、車機（類 Linux 操作系統(tǒng)）。主要有兩種語言：C++ 和 Node.js。傳統(tǒng)地圖功能：如地圖顯示、導航路徑顯示、導航播報等等，由于需要跨三個端，采用的 C++ 語言來開發(fā)。地圖導航基礎之上的一些地圖應用功能，如行前/行后卡片、推薦目的地等，主要用 Node.js 來開發(fā)。
FY20 財年淘系前端團隊開發(fā)了 Node.js Faas runtime。高德客戶端上云項目，Node.js 的部分就采用了現(xiàn)有的淘系的 Node.js runtime，來接入集團的 Faas 平臺，完成 Node.js 這部分的一些業(yè)務上云。2020 年十一期間很好地支撐了高德的十一出行節(jié)業(yè)務。
C++ Faas 沒有現(xiàn)有的解決方案，因此我們決定在集團的基礎設施之上做加法，新建 C++ Faas 基礎平臺，來助力高德客戶端上云。
1.1.1 端云一體的最佳實踐關鍵：客戶端和 Faas 之間的接口抽象
原本客戶端的邏輯移到 Faas 服務端上來，或者新的需求一部分在 Faas 服務端上開發(fā)，這里的成敗關鍵點在于：客戶端和 Faas 的接口協(xié)議定義，也就是 Faas 的 API 定義，好的 API 定義除了對系統(tǒng)的可維護性有好處以外，對后續(xù)支撐業(yè)務的迭代開發(fā)也很重要，好的 API 定義請參考谷樸大神的文檔：《API 設計最佳實踐的思考》。
理想情況下：客戶端做成一個解析 Faas 返回結果數(shù)據(jù)的一個瀏覽器。瀏覽器協(xié)議一旦定義好，就不會經(jīng)常變換，你看 IE、Chrome 就很少更新。當然我們的這個瀏覽器會復雜一些，我們這個瀏覽器是地圖瀏覽器。如何檢驗客戶端和 Faas 之間的接口定義好不好，可以看后續(xù)的產(chǎn)品需求迭代，如果有些產(chǎn)品需求迭代只需要在 Faas 上完成，不需要客戶端的任何修改，那么這個接口抽象就是成功的。
1.2 BFF 層開發(fā)提效
提到高德，大家首先想到的應該是其工具屬性：高德是一個導航工具（這個說法現(xiàn)在已經(jīng)不太準確了，因為高德這幾年在做工具化往平臺化的轉(zhuǎn)型，我們要做萬能的高德，高德的交易類業(yè)務正在興起，高德打車、門票、酒店等業(yè)務發(fā)展很迅猛）。
針對高德導航來說，相比集團其他業(yè)務（如電商）來說，有大量的只讀場景是高德業(yè)務的一大技術特點。這些只讀場景里，大量的需求是 BFF（Backend For Frontend）類型的只讀場景。為什么這么說？因為導航的最核心功能，例如 routing、traffic、eta 等都是相對穩(wěn)定的，這部分的主要工作在持續(xù)不斷地優(yōu)化算法，使得高德的交通更準，算出的路徑更優(yōu)。這些核心功能在接口和功能上都是相對比較穩(wěn)定的，而前端需求是多變的，例如增加個路徑上的限寬墩提示等。
Faas 特別適合做 BFF 層開發(fā)，在 Faas 上調(diào)用后端相對穩(wěn)定的各個 Baas 服務，Faas 服務來做數(shù)據(jù)和調(diào)用邏輯封裝、快速開發(fā)、發(fā)布。在業(yè)界，Faas 用的最多的場景也正是 BFF 場景（另外一個叫法是 SFF 場景，service for frontend）。
1.3 Serverless 是云時代的高級語言
FY21，高德是集團內(nèi)第一個全面上云的 BU，雖然高德已經(jīng)全面上云了，但是這還不是云時代的終局，目前主要是全面 pouch 化并上云，容器方面做了標準化，在規(guī)模化、資源利用率方面可以全面享受云的紅利，但是業(yè)務開發(fā)模式上基本上還和以前一樣，仍是一個大型的分布式系統(tǒng)的寫法。對于研發(fā)模式來說還并沒有享受云的紅利，可以類比為我們現(xiàn)在是在用匯編語言的方式來寫跑在云上的服務。而 Serverless、云原生可以理解為云時代的高級語言，真正做到了 Cloud as a computer，只需要關注于業(yè)務開發(fā)，不需要考慮大型分布式系統(tǒng)的各種復雜性。
1.4 Go-Faas 補充 Go 語言生態(tài)
前面講到了因為客戶端上云項目，我們在阿里云 FC（函數(shù)計算）團隊之上做加法，開發(fā)了 C++ Faas Runtime。不僅如此，我們還開發(fā)了 Go-Faas，我們?yōu)槭裁磿?Go-Faas 呢？這里也簡單介紹一下背景，高德服務端 Go 部分的 qps 峰值已超百萬。高德已補齊了阿里各中間件的 Go 客戶端，和集團中間件部門共建。可觀測性、自動化測試體系也基本完善，目前 Go 生態(tài)已基本完善。補齊了 Go-Faas 之后，我們就既能用 Go 寫 Baas 服務，又能用 Go 寫 Faas 服務了，在不同的業(yè)務場景采用不同的服務實現(xiàn)方式，Go-Faas 主要應用于上文提到的 BFF 場景。
2. How-技術方案介紹：在集團現(xiàn)有基礎設施之上做加法
2.1 整體技術架構
上文講了我們?yōu)槭裁匆鲞@個事情，接下來講我們具體是怎么做這個事情的，是如何實現(xiàn)的，具體的技術方案是什么樣的。
本著在集團現(xiàn)有的基礎設施、現(xiàn)有的中間件基礎之上做加法的思想，我們和 CSE、阿里云 FC 函數(shù)計算團隊合作共建，開發(fā)了 C++ Faas Runtime 和 Go Faas Runtime。整體和集團拉通的技術架構如下圖所示，主要分為研發(fā)態(tài)、運行態(tài)、運維態(tài)三個部分。
2.1.1 運行態(tài)
先說運行態(tài)，業(yè)務流量從我們網(wǎng)關進來，調(diào)用到 FC API Server，轉(zhuǎn)發(fā)到 C++/Go Faas Runtime，runtime 來完成用戶函數(shù)里的功能。runtime 的架構本文下一章節(jié)會具體介紹。
和 runtime container 一起部署的有監(jiān)控、日志、Dapr 各種 side car，side car 來完成各種日志采集上報功能，dapr side car 來完成調(diào)用集團中間件的功能。
另外目前 dapr 還在試點的階段，調(diào)用中間件主要是通過 Broker 和各個中間件 proxy 來完成，中間件調(diào)用的有HSF、Tair、metaq、diamond 等中間件 proxy。
最后 Autoscaling 模塊來管理函數(shù)實例的擴縮容，達到函數(shù)自動伸縮的目的。這里的調(diào)度就有各種策略了，有根據(jù)請求并發(fā)量的調(diào)度、函數(shù)實例的 CPU 使用率的調(diào)度。也能提前設置預留實例數(shù)，避免縮容到 0 之后的冷啟動問題。
底層調(diào)用的是集團 ASI 的能力，ASI 可以簡單理解為集團的 K8S+ sigma（集團的調(diào)度系統(tǒng)），最終的部署是 FC 調(diào)用 ASI 來完成函數(shù)實例部署，彈性伸縮的，部署的最小單位是上圖中的 pod，一個 pod 里包含 runtime container 和 sidecar set container。
2.1.2 研發(fā)態(tài)
再來看研發(fā)態(tài)，運行態(tài)決定函數(shù)是如何運行的，研發(fā)態(tài)關注函數(shù)的開發(fā)體驗，如何方便地讓開發(fā)者開發(fā)、調(diào)試、部署、測試一個函數(shù)。
C++ Faas 有個跨平臺的難點問題，C++ Faas runtime 里有一些依賴庫，這些依賴庫沒有 Java 依賴庫管理那么方便。這樣依賴庫的安裝比較麻煩，Faas 腳手架就是為了解決這個問題，調(diào)用腳手架，一鍵生成 C++ Faas 示例工程，安裝好各種依賴包。為了本地能方便地 debug，開發(fā)了一個 C++ Faas Runtime Boot 模塊，函數(shù) runtime 啟動入口在 boot 模塊里，boot 模塊里集成 runtime 和用戶 Faas 函數(shù)，可以對 runtime 來做 debug 單步調(diào)試。
我們和集團 Aone 團隊合作，函數(shù)的發(fā)布集成到 Aone 環(huán)境上了，可以很方便地在 Aone 上來發(fā)布 Go 或者 C++ Faas，Aone 上也集成了一鍵生成 example 代碼庫的功能。
C++ 和 Go Faas 的編譯都依賴相應的編譯環(huán)境，Aone 提供了自定義編譯鏡像的功能，我們上傳了編譯鏡像到集團的公共鏡像庫，函數(shù)編譯時，在函數(shù)的代碼庫里指定相應的編譯鏡像，編譯鏡像里安裝了 Faas 的依賴庫、SDK等。
2.1.3 運維態(tài)
最后來看函數(shù)的運維監(jiān)控，runtime 內(nèi)部集成了鷹眼、sunfire 采集日志的功能，runtime 里面會寫這些日志，通過 sidecar 里的 agent 采集到鷹眼、或者 sunfire 監(jiān)控平臺上去（FC 是通過 SLS 來采集的）之后，就能使用集團現(xiàn)有的監(jiān)控平臺來做 Faas 的監(jiān)控了，也能接入集團的 GOC 報警平臺。
2.2 C++/Go Faas Runtime 架構
上面講的是和 Aone、FC/CSE、ASI 集成的一個整體架構，Runtime 是這個整體架構的一部分，下面具體講講 Runtime 的架構是怎樣的，Runtime 是如何設計和實現(xiàn)的。
最上面部分的用戶 Faas 代碼只需要依賴 Faas SDK 就可以了，用戶只需要實現(xiàn) Faas SDK 里的 Function 接口就能寫自己的 Faas 了。然后如果需要調(diào)用外部系統(tǒng)，可以通過 SDK 里的 Http Client 來調(diào)用，如果要調(diào)用外部中間件，通過 SDK 里的 Diamond/Tair/HSF/metaq Client 來調(diào)用中間件就可以。SDK 里的這些接口屏蔽了底層實現(xiàn)的復雜性，用戶不需要關心這些調(diào)用最后是如何實現(xiàn)，不需要關心 runtime 的具體實現(xiàn)。
SDK 層就是上面提到的 Function 定義和各種中間件調(diào)用的接口定義。SDK 代碼是開發(fā)給 Faas 用戶的。SDK 做的比較輕薄，主要是接口定義，不包含具體的實現(xiàn)。調(diào)用中間件的具體實現(xiàn)在 Runtime 里有兩種實現(xiàn)方式。
往下是 Runtime 的一個整體架構。Starter 是 runtime 的啟動模塊，啟動之后，runtime 自身是一個 Server，啟動的時候根據(jù) Function Config 模塊的配置來啟動 runtime，runtime 啟動之后開啟請求和管理監(jiān)聽模式。
再往下是 Service 層，實現(xiàn) SDK 里定義的中間件調(diào)用的接口，包含 RSocket 和 dapr 兩種實現(xiàn)方式，RSocket 是通過 RSocket broker 的模式來調(diào)用中間件的，runtime 里集成了 dapr（distributed application runtime），調(diào)用中間件也可以通過 dapr 來調(diào)用，在前期 dapr 試點階段，如果通過 dapr 調(diào)用中間件失敗了，會降級到 rsocket 的方式來調(diào)用中間件。
再往下就是 rsocket 的協(xié)議層，封裝了調(diào)用 rsocket 的各種 metadata 協(xié)議。dapr 調(diào)用是通過 grpc 方式來調(diào)用的。
最下面一層就是集成了 rsocket 和 dapr 了。
rsocket 調(diào)用還涉及到 broker 選擇的問題，upstream 模塊來管理 broker cluster、broker 的注冊反注冊、keepalive 檢查等等，LoadBalance 模塊來實現(xiàn) broker 的負載均衡選擇以及事件管理、連接管理、重連等等。
最后 runtime 里的 metrics 模塊負責鷹眼 trace 的接入，通過 filter 模式來攔截 Faas 鏈路的耗時，并輸出鷹眼日志。打印 sunfire 日志，供 sidecar 去采集。下圖是一個實際業(yè)務的 sunfire 監(jiān)控界面：
2.2.1 Dapr
dapr 架構如下圖所示，具體可以參考官方文檔。
runtime 里以前調(diào)用中間件是通過 rsocket 方式來調(diào)用的，這里 rsocket broker 會有一個中心化問題，為了解決 outgoing 流量去中心化問題，和集團中間件團隊合作引入了 dapr 架構。只是 runtime 層面集成了 dapr，對于用戶 Faas 來說無感知，不需要關心具體調(diào)用中間件是通過 rsocket 調(diào)用的還是通過 dapr 調(diào)用的。后面 runtime 調(diào)用中間件切換到 dapr 之后，用戶 Faas 也是不需要做任何修改的。
3. How-業(yè)務如何接入 Serverless
如前文所述，接入統(tǒng)一在 Aone 上接入。提供了 C++ Faas/Go Faas 的接入文檔。提供了函數(shù)的 example 代碼庫，代碼庫有各種場景的示例，包括調(diào)用集團各種中間件的代碼示例。C++ Faas/Go Faas 的接入對整個集團開發(fā)，目前已經(jīng)有一些高德以外的 BU，在自己的業(yè)務中落地了 C++ /Go Faas。Node.js Faas 使用淘寶提供的 runtime 和模板來接入，Java Faas 使用阿里云 FC 提供的 runtime 和模板來接入就可以了。
3.1 接入規(guī)范-穩(wěn)定性三板斧：可監(jiān)控、可灰度、可回滾
針對落地新技術大家可能擔心的穩(wěn)定性問題，我們的應對法寶是阿里集團的穩(wěn)定性三板斧：可監(jiān)控、可灰度、可回滾。建立 Faas 鏈路保障群，拉通上下游各相關業(yè)務方、基礎平臺一起，按照集團的 1-5-10 要求，共同努力做到 1 分鐘之內(nèi)響應線上報警、快速排查；5 分鐘之內(nèi)處理；10 分鐘之內(nèi)恢復。
為了規(guī)范接入過程，避免犯錯誤引發(fā)線上故障，我們制定了 Faas 接入規(guī)范和 checkList，來幫助業(yè)務方快速使用 Faas。
可監(jiān)控、可灰度、可回滾是硬性要求，除此之外，業(yè)務方如果能做到可降級就更好了。我們的 C++ 客戶端上云業(yè)務，在開始試點階段，就做好了可降級的準備，如果調(diào)用 Faas 端失敗，本次調(diào)用將會自動降級到本地調(diào)用。基本對客戶端功能無損，只是會增加一些響應延遲，另外客戶端上該功能的版本，可能會比服務端稍微老一點，但是功能是向前兼容的，基本不影響客戶端使用。
4. Now-我們目前的情況
4.1 基礎平臺建設情況
- Go/C++ Faas Runtime 開發(fā)完成，對接 FC-Ginkgo/CSE、Aone 完成，已發(fā)布穩(wěn)定的 1.0 版本。
- 做了大量的穩(wěn)定性建設、優(yōu)雅下線、性能優(yōu)化、C 編譯器優(yōu)化，使用了阿里云基礎軟件部編譯器優(yōu)化團隊提供的編譯方式來優(yōu)化 C++ Faas 的編譯，性能提升明顯。
- C++/Go Faas 接入鷹眼、sunfire 監(jiān)控完成，函數(shù)具備了可觀測性。
- 池化功能完成，具備秒級彈性的能力。池化 runtime 鏡像接入 CSE，擴一個新實例的時間由原來的分鐘級變?yōu)槊爰墶?/li>
4.2 高德的 Serverless 業(yè)務落地情況
C++ Faas 和 Go Faas 以及 Node.js Faas 在高德內(nèi)部已經(jīng)有大量的應用落地。舉幾個例子：
上圖中的前兩個圖是 C++ Faas 開發(fā)的業(yè)務：長途天氣、沿途搜。后兩個截圖是 Go-Faas 開發(fā)的業(yè)務：導航 tips、足跡地圖。
高德是阿里集團內(nèi) Serverless 應用落地規(guī)模最大 的BU，已落地的 Serverless 應用，日常峰值超過十萬 qps 量級。
4.3 主要收益
高德落地了集團內(nèi)規(guī)模最大的 Serverless 應用之后，都有哪些收益呢？
首先第一個最重要的收益是：開發(fā)提效。我們基于 Serverless 實現(xiàn)的端云一體組件，助力了客戶端上云，解除了需要實時的客戶端發(fā)版依賴問題，提升了客戶端的開發(fā)迭代效率。基于 Serverless 開發(fā)的 BFF 層，提升了 BFF 類場景的開發(fā)迭代效率。
第二個收益是：運維提效。利用 Serverless 的自動彈性擴縮容技術，高德應對各種出行高峰就更從容了。例如每年的十一出行節(jié)、五一、清明、春節(jié)的出行高峰，不再需要運維或者業(yè)務開發(fā)同學在節(jié)前提前擴容，節(jié)后再縮容了。高德業(yè)務高峰的特點還不同于電商的秒殺場景。出行高峰的流量不是在 1 秒內(nèi)突然漲起來的，我們目前利用池化技術實現(xiàn)的秒級彈性的能力，完全能滿足高德的這個業(yè)務場景需求。
第三個收益是：降低成本。高德的業(yè)務特點，白天流量大、夜間流量低，高峰值和低谷值差異較大，時間段區(qū)分明顯。利用 Serverless 在夜間流量低峰時自動縮容技術，極大地降低了服務器資源的成本。
5. Next-后續(xù)計劃
- FC 彈內(nèi)函數(shù)計算使用優(yōu)化，和 FC 團隊一起持續(xù)優(yōu)化彈內(nèi)函數(shù)計算的性能、穩(wěn)定性、使用體驗。用集團內(nèi)豐富的大流量業(yè)務場景，來不斷打磨好 C++/Go Faas Runtime，并最終輸出到公有云，普惠數(shù)字化轉(zhuǎn)型浪潮中的更多企業(yè)。
- Dapr 落地，解決 outcoming 流量去中心化問題，逐步上線一些 C++/Go Faas，使用 Dapr 的方式調(diào)用集團中間件。
- Faas 混沌工程，故障演練，逃生能力建設。Faas 在新財年也會參與我們 BU 的故障演練，逐一解決演練過程中發(fā)現(xiàn)的問題。
- 接入邊緣計算。端云一體的場景下，Faas + 邊緣計算，能提供更低的延時，更好的用戶體驗。
以上要做的事情任重道遠，另外 FY22 財年我們部門還會做云原生的試點和落地。技術同學都知道，從技術選型、技術原型到實際業(yè)務落地，這之間還有很長的路要走。
歡迎對 Serverless、云原生、或者 Go 應用開發(fā)感興趣，想一起做點事情的小伙伴來加入我們（不管之前是什么技術棧，英雄不問出處，投簡歷到 gdtech@alibaba-inc.com，郵件主題為：姓名-技術方向-來自 Serverless），這里有大規(guī)模的落地場景和簡單開放的技術氛圍，歡迎自薦或推薦！
本文整理自阿里巴巴高級技術專家–祥翼在【阿里云 Serverless Developer Meetup 上海站】上的分享
ppt 獲取方式：關注 Serverless 公眾號，后臺對話框回復“ppt”即可
直播回放觀看地址：https://developer.aliyun.com/live/246653
總結
以上是生活随笔為你收集整理的高德 Serverless 平台建设及实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 阿里云入选 2021 Gartner A
- 下一篇： 官宣：恭喜 ChaosBlade 项目进