容器技术发展简史
“云原生技術有利于各組織在公有云、私有云和混合云等新型動態環境中，構建和運行可彈性擴展的應用。云原生的代表技術包括容器、服務網格、微服務、不可變基礎設施和聲明式 API。”
聊容器技術避不開云原生，聊云原生也避不開容器技術。容器技術和云原生就是一對雙螺旋體，容器技術催生了云原生思潮，云原生生態推動了容器技術發展。從 2013 年 docker（container）技術誕生，到 2015 年 CNCF 這個云原生領域重量級聯盟便成立，這不是歷史的巧合而是歷史的必然。作為云原生關鍵技術之一的容器，從 2013 年誕生以來一直是行業關注的焦點之一。借用一張業界廣泛引用的云原生容器技術進階圖來了解一下容器技術和云原生誕生的歷史背景。
先讓我們一起來看看容器技術發展的歷史紀年表，先直觀感受一下這片如火如荼的熱土吧！
1979 年，Unix v7 系統支持 chroot，為應用構建一個獨立的虛擬文件系統視圖。
1999 年，FreeBSD 4.0 支持 jail，第一個商用化的 OS 虛擬化技術。
2004 年，Solaris 10 支持 Solaris Zone，第二個商用化的 OS 虛擬化技術。
2005 年，OpenVZ 發布，非常重要的 Linux OS 虛擬化技術先行者。
2004 年 ~ 2007 年，Google 內部大規模使用 Cgroups 等的 OS 虛擬化技術。
2006 年，Google 開源內部使用的 process container 技術，后續更名為 cgroup。
2008 年，Cgroups 進入了 Linux 內核主線。
2008 年，LXC（Linux Container）項目具備了 Linux 容器的雛型。
2011 年，CloudFoundry 開發 Warden 系統，一個完整的容器管理系統雛型。
2013 年，Google 通過 Let Me Contain That For You (LMCTFY) 開源內部容器系統。
2013 年，Docker 項目正式發布，讓 Linux 容器技術逐步席卷天下。
2014 年，Kubernetes 項目正式發布，容器技術開始和編排系統起頭并進。
2015 年，由 Google，Redhat、Microsoft 及一些大型云廠商共同創立了 CNCF，云原生浪潮啟動。
2016 年 – 2017 年，容器生態開始模塊化、規范化。CNCF 接受 Containerd、rkt項目，OCI 發布 1.0，CRI/CNI 得到廣泛支持。
2017 年 – 2018 年，容器服務商業化。AWS ECS，Google EKS，Alibaba ACK/ASK/ECI，華為 CCI，Oracle Container Engine for Kubernetes；VMware，Redhat 和 Rancher 開始提供基于 Kubernetes 的商業服務產品。
2017 年 – 2019 年，容器引擎技術飛速發展，新技術不斷涌現。2017 年底 Kata Containers 社區成立，2018 年 5 月 Google 開源 gVisor 代碼，2018 年 11 月 AWS 開源 firecracker，阿里云發布安全沙箱 1.0。
2020 年 – 202x 年，容器引擎技術升級，Kata Containers 開始 2.0 架構，阿里云發布沙箱容器 2.0….
整理容器技術近 20 年的發展歷史，大致可以將其分為四個歷史階段，下文將詳細介紹這四個歷史階段。
技術萌芽期
容器技術需要解決的核心問題之一是運行時的環境隔離。
容器的運行時環境隔離，目標是給容器構造一個無差別的運行時環境，用以在任意時間、任意位置運行容器鏡像。由于 docker 的布道，大家習慣性認為容器的運行時環境隔離就是 OS 虛擬化，或者容器等于 namespace + cgroup + 安全防護機制。我不太贊同這種看法，這個只是一段歷史時期、一種容器運行時的實現技術，還有很多種其它可能的技術方案來實現容器運行環境。所以，回到需求的本源：容器需要運行時隔離技術來保證容器的運行環境符合預期。習慣上，大家把這種實現容器隔離技術的組件叫做容器運行時。
從另外一個角度看，容器隔離技術解決的是資源供給問題。為什么需要容器隔離技術來解決資源供給問題呢？成也蕭何，敗也蕭何！摩爾定律實在太過強大，它讓我們有了越來越多的計算資源可以使用。10 年前做小型機時，小型機的典型規格是 32 路 8 核 CPU，現在一臺 4 路 PC 服務器計算能力都超過 10 年前的小型機服務器。小型機的典型用法是把整機切分為多個分區使用。觀察當下云服務硬件發展趨勢，越來越有熟悉的感覺，我們在把小型機相關技術“軍轉民”。現在我們一臺 PC 服務器擁有了非常強大的、能和十年前小型機媲美的計算能力，巧合的是當下 PC 服務器的典型用法也和十年前的小型機用法類似，切割為 1-8vCPU 的虛擬機/容器使用。
為什么人們總是習慣于把一個大的服務器資源切分為小的分區使用而不是研發能夠充分發揮大型服務器整機計算能力的軟件呢？個人認為背后有兩個制約因素：
-
待解決問題本身內在的并行度有限。隨著多核多處理器系統的日益普及，IT 行業從 2004 年開始進行串行編程到并行編程的升級改造。開始階段針對特定行業應用的并行化改造效果非常明顯，但是后來發現隨著并行度提高改造成本越來越大、收益卻越來越低。受阿姆達爾定律制約，解決特定問題的并行度超過一定臨界點之后收益將逐漸變小。所以一味提高系統并行度并不是經濟的做法。
-
人類智力有限。受人類智力限制，系統越復雜、并行度越高，軟件越容易出故障，軟件維護代價成指數級增長。所以，從軟件工程看，大家也趨向于接口化、模塊化、單元化的軟件架構設計，盡量控制軟件的復雜度，降低工程成本。
從經驗看，1-8 個 CPU 的并行度是軟件工程的舒適區，這個也是容器化、微服務等技術背后的驅動因素之一。
總之，基于隔離的資源供給不是偽需求。對于軟件運行環境的隔離要求，從操作系統出現之初就有了。多任務分時操作系統和進程虛擬地址都是為了解決多個任務運行在同一臺主機上的資源共享問題，讓每個進程都以為自己獨占主機。當然僅僅是進程隔離是遠遠不夠的。縱觀當前的資源隔離技術，我們大致可以將資源隔離技術分成 5 類：
-
進程隔離。OS 以進程作為 Task 運行過程的抽象，進程擁有獨立的地址空間和執行上下文，本質上 OS 對進程進行了 CPU 和內存虛擬化。但是進程之間還共享了文件系統、網絡協議棧、IPC 通信空間等多種資源，進程之間因為資源爭搶導致的干擾很嚴重。這個層級的隔離適合在不同的主機上運行單個用戶的不同程序，由用戶通過系統管理手段來保證資源分配與安全防護等問題。
-
OS?虛擬化。OS 隔離，也就是大家常說的操作系統虛擬化（OS virtualization），是進程隔離的升華版。進程隔離是為每個進程實現了單獨的地址空間及 CPU 上下文，OS 隔離則是利用操作系統分身術為每一組進程實例構造出一個獨立的 OS 環境，以進一步虛擬化文件系統、網絡協議棧、IPC 通信空間、進程 ID、用戶 ID 等 OS 資源。OS 隔離需要解決三個核心問題：獨立視圖、訪問控制及安全防護。Chroot、Linux namespace 機制為進程組實現獨立視圖，cgroup 對進程組進行訪問控制，而 Capabilities、Apparmor、seccomp 等機制則實現安全防護。當然，OS 是一個非常復雜、動態變化的系統，OS 分身術雖然讓進程組感覺有了獨立的 OS，但是真實實現還是一個 OS 實例，所以整體防護能力還是堪憂。
-
硬件虛擬化。OS 虛擬化是實現 OS 內核的分身術，而硬件虛擬化則是實現硬件設備的分身術。硬件虛擬化技術的出現，讓同一個物理服務器上能夠同時運行多個操作系統，每個操作系統都認為自己在管理一臺完整的服務器。不同操作系統之間是嚴格隔離的，Guest 操作系統對硬件的訪問都是受 VMM 或 CPU 的嚴格監管的。硬件虛擬化既有很好的安全性，也有很好的隔離性，缺點就是引入的硬件虛擬化層導致了額外的性能開銷。
-
硬件分區。這個是傳統小型機體系采用的資源分隔技術，就是從硬件或固件層徹底把一臺大型服務器分隔為多個硬件單元，從而獲得最高等級的安全性和隔離性。但是小型機作為一個逐步沒落的技術路線，其不足之處還是顯而易見的：資源分隔粒度不靈活、系統成本偏高、系統可擴展性受限。
-
語言運行時隔離。對于 Java、nodejs 等需要 language runtime 的 managed language，我們還有一個選項，就是在 language runtime 里實現隔離。針對函數計算等云原生服務，理論上在語言運行時實現隔離機制是最優路徑。但是這條路線目前實現上還有不少現實的制約，所以目前多數函數計算還是采用的容器 / VM 技術來實現的隔離。
在 OS 虛擬化這條技術路線上，最大的技術貢獻來源于 Google。
2003 – 2006 年，Google 陸續發布的“三駕馬車”，奠定了大數據計算的框架，隨后進一步創造了“云”的概念。也是從這時期開始，進程隔離技術進入了一個更高級的階段。在 Google 提出的云計算框架下，被隔離的進程不僅僅是一個與外界隔絕但本身卻巍然不動的 Jail，它們更需要像一個個輕便的容器，除了能夠與外界隔離之外，還要能夠被控制與調配，從而實現分布式應用場景下的跨平臺、高可用、可擴展等特性。
2006 年，Google 推出 Process Containers，用來對一組進程進行限制、記賬、隔離資源（CPU、內存、磁盤 I/O、網絡等）。由于技術更加成熟，Process Container 在 2006 年正式推出后，第二年就進入了 Linux 內核主干，并正式更名為 Cgroups，標志著 Linux 陣營中“容器”的概念開始被重新審視和實現。
在 2008 年，通過將 Cgroups 的資源管理能力和 Linux Namespace （命名空間）的視圖隔離能力組合在一起，一項完整的容器技術 LXC （Linux Container）出現在了 Linux 內核中，這就是如今被廣泛應用的容器技術的實現基礎。
總體看，在 2013 年 docker 被發明以前，Linux 操作系統已經大體上解決了容器核心技術之一的運行環境隔離技術，或者說 Linux OS 虛擬化技術已經基本上成型了。雖然容器運行環境隔離技術已經基本就位，我們仍需等待另外一項關鍵技術才能迎來容器技術的騰飛時刻。
技術迸發期
2013 年之前，云計算行業一直在為云原生的正確打開姿勢而操心。Platform as a Service（PaaS）看起來是個有前途的方向。2006 年 Fotango 公司發布的 Zimi 服務，可以說是 PaaS 行業的鼻祖，具有按使用付費、免運維（Serverless）、API 化配置和服務等典型云原生的特征；2008 年 Google 推出 GAE；2011 年 Pivotal 發布 Cloud Foundry。這些早期的 PaaS 平臺進行了非常有益的探索，推動了云計算生態的健康發展，但是這些早期探索技術并沒有形成大的行業趨勢，而是局限在一些的特定的領域。直到 Docker 開源，大家才如夢方醒，原來不是方向不對，而是應用分發和交付的手段不行。
Docker 真正核心的創新是容器鏡像（docker image），一種新型的應用打包、分發和運行機制。容器鏡像將應用運行環境，包括代碼、依賴庫、工具、資源文件和元信息等，打包成一種操作系統發行版無關的不可變更軟件包。
- 容器鏡像打包了整個容器運行依賴的環境，以避免依賴運行容器的服務器的操作系統，從而實現 “build once，run anywhere”。
- 容器鏡像一旦構建完成，就變成 read only，成為不可變基礎設施的一份子。
- 操作系統發行版無關，核心解決的是容器進程對操作系統包含的庫、工具、配置的依賴，但是容器鏡像無法解決容器進程對內核特性的特殊依賴。這個在實際使用容器的過程中也經常跳進這個大坑：
Docker 的宣傳口號是 “Build，Ship and Run Any App，Anywhere”。我們已經理解了 docker 通過container image 解決“Run Anywhere”的機制，那么“Run Any App”是如何實現的呢？其實也是依賴 container image，用戶可以打包任何容器進程所依賴的環境，而不用改造應用來適配 PaaS 定義的運行環境。真是“Run Any App”一舉打破了 PaaS 行業面臨的困境，創造出了無限的可能性，大力推動了云原生的發展。讓我們一起來向這個偉大的創意致敬！
至此，容器技術體系已經解決了最核心的兩個問題：如何發布軟件和如何運行軟件，騰飛時刻即將到來。2014 年前司前老板對我說“別成天搞 Linux kernel 了，要不你看看 docker？” 經過短暫的調研，我給了前老板一個簡單而清晰的回答，“無它，唯打包工具爾！”因為這個回答，云原生為我打開的一扇大門就悄悄關上了。回想一下歷史，有時也挺懊悔的，因為自己太年輕而沒有看清楚容器技術 + 編排系統的威力，更沒有體會到云原生即將到來的氣息！
Docker 作為一個單機軟件打包、發布、運行系統，其價值是非常巨大的；但是僅僅將 docker 技術局限在單機范圍不能發揮這個創新技術的最大價值，自然下一步業界希望基于 docker 技術構建一個云化的集群系統，來對業務容器進行編排管理。
聊到容器編排系統，我們需要從 Google 聊起。2008 年，Google 基于 LXC 推出首款應用托管平臺 GAE （Google App Engine），首次把開發平臺當做一種服務來提供。
GAE 是一種分布式平臺服務，Google 通過虛擬化技術為用戶提供開發環境、服務器平臺、硬件資源等服務，用戶可以在平臺基礎上定制開發自己的應用程序并通過 Google 的服務器和互聯網資源進行分發。Google 在 GAE 中使用了一個能夠對 LXC 進行編排和調度的工具 —— Borg （Kubernetes 的前身）。Borg 是 Google 內部使用的大規模集群管理系統，可以承載十萬級的任務、數千個不同的應用、同時管理數萬臺機器。Borg 通過權限管理、資源共享、性能隔離等來達到高資源利用率。它能夠支持高可用應用，并通過調度策略減少出現故障的概率，提供了任務描述語言、實時任務監控、分析工具等。如果說一個個隔離的容器是集裝箱，那么 Borg 可以說是最早的港口系統，而 LXC + Borg 就是最早的容器編排框架。
2013 年 docker 推出之后迅速席卷全球，2014 年 Google 基于內部使用的 Borg 系統創建了開源項目 Kubernetes（簡稱 K8s），用于解決大規模集群的容器部署、運行、管理等問題。Kubernetes 在容器的基礎上增加了一層的新的管理抽象 Pod，以便更好地利用容器進行應用的功能模塊切分。得益于 Google 在大規模集群基礎設施建設的強大積累，脫胎于 Borg 的 K8s 很快成為了行業的標準應用，堪稱容器編排的必備工具。
作為回應，Docker 公司在 2015 年發布的 Docker 1.12 版本中也加入了一個容器集群管理系統 Docker swarm，以及配套的 Docker machine、Docker Compose 等工具，力圖構建完善的容器編排系統，和 Kubernetes 展開正面競爭。從此，容器江湖分為兩大陣營：Google 派和 Docker 派；而容器編排系統則是 Kubernetes，Docker Swarm 和 Apache Mesos 三國并立。各大派系的競爭愈演愈烈，逐漸延伸到行業標準的建立之爭。讓我們一起來回憶一下這段風起云涌的江湖歷史吧！
2013 年 Docker 公司推出 docker 之后，緊接著 CoreOS 應運而生。CoreOS 是一個基于 Linux 內核的輕量級操作系統，專為云計算時代計算機集群的基礎設施建設而設計，擁有自動化、易部署、安全可靠、規模化等特性。其在當時有一個非常顯眼的標簽：專為容器設計的操作系統。借著 Docker 的東風，CoreOS 迅速在云計算領域躥紅，一時間，Docker + CoreOS 成為業內容器部署的黃金搭檔。
同時，CoreOS 也為 Docker 的推廣與社區建設做出了巨大的貢獻。然而，日漸壯大的 Docker 似乎有著更大的“野心”。不甘于只做“一種簡單的基礎單元”的 Docker，自行開發了一系列相關的容器組件，同時收購了一些容器化技術的公司，開始打造屬于自己的容器生態平臺。顯然，這對于 CoreOS 來說形成了直接的競爭關系。2014 年末，CoreOS 推出了自己的容器引擎 Rocket （簡稱 rkt），試圖與 Docker 分庭抗禮。rkt 和 Docker 類似，都能幫助開發者打包應用和依賴包到可移植容器中，簡化搭環境等部署工作。rkt 和 Docker 不同的地方在于，rkt 沒有 Docker 那些為企業用戶提供的“友好功能”，比如云服務加速工具、集群系統等。反過來說，rkt 想做的，是一個更純粹的業界標準。
上面這段材料引至于“從虛擬化到云原生——容器技術的發展史”，為什么大段大段地引用這部分材料呢？這里面最關鍵的脈絡是由于技術公司之間的商業競爭，在競爭合作之間尋找平衡從而導致了標準規范的誕生，而標準規范的誕生是整個云原生生態最重要的基石。
容器引擎（docker vs rocket）、容器編排（Docker swarm vs Kubernetes vs Apache Mesos）的相互競爭的結果就是大家坐下來談接口標準。2015 年 6 月，Docker 帶頭成立 OCI，旨在“制定并維護容器鏡像格式和容器運行時的正式規范（OCI Specifications）”，其核心產出是 OCI Runtime Spec（容器運行時規范）、OCI Image Spec（鏡像格式規范）、OCI Distribution Spec（鏡像分發規范）。所以?OCI?組織解決的是容器的構建、分發和運行問題。
一個月之后，Google 帶頭成立了 Cloud Native Computing Foundation（CNCF），旨在“構建云原生計算 —— 一種圍繞著微服務、容器和應用動態調度的、以基礎設施為中心的架構，并促進其廣泛使用”。所以?CNCF?組織解決的是應用管理及容器編排問題。這兩個圍繞容器的基金會對云原生生態的發展發揮了非常重要的作用，二者不是競爭而是相輔相成，共同制定了一系列行業事實標準。這些行業事實標準的確立，各行業注入了無限活力，基于接口的標準的具體實現不斷涌現，呈現出一片百花齊放的景象。
其中，與容器相關的最為重要的幾個規范包括：CRI、CNI、CSI、OCI Distribution Spec、OCI Image Spec、OCI Runtime Spec 和 Shimv2。其中的 CRI、OCI Image Spec、OCI Runtime 和 Shimv2 規范和阿里云沙箱容器關系非常密切。
所以，非常感謝這個云原生、容器技術迸發的黃金期，一群有創意的人走到一起共同創造了這幾個關鍵的規范，為各個廠商提供各具特色且遵循規范的技術實現提供了可能性。
商用探索期
經過 5 年的技術發展期，容器技術基本成熟，云原生體系也具雛型。從 2017 年開始，各大云廠商開始試水容器服務及進步的云原生服務。從目前的商業形態看，容器相關的公共云服務大致可以劃分為三種形態：
從上圖可以看出，從 2014 年開始探索公共云容器服務，特別是經過 2017 – 2018 年這兩年的搶跑期，容器服務的基本商業形態已經比較明晰了。發展態勢可以概括為：
- 行業對容器化的接受程度已經很高，容器化普及率也是逐年提升。
- 容器編排系統已經一戰定江山，K8s 成為事實上的容器編排之王。
- Serverless 容器實例服務受到市場的歡迎，客戶群體日益擴大。
- 長期看托管容器編排服務和 Serverless 容器實例服務將長期共存，協同滿足客戶對服務成本和彈性能力的需求。
商用模式探索期間，核心目標是快速試錯引導和確認客戶需求，構建適用的產品形態。這個期間的產品技術架構的構建思路是利用現有成熟技術快速搭建商用形態，在試錯過程中不斷前行。
其中，容器編排托管服務節點級的典型架構是利用 IaaS 系統生成 VM，然后在 VM 里面部署 kubelet、docker、containerd、runC 等容器服務組件，也就是?VM +?容器的技術架構。一個 VM 可以承載同一個用戶的多個容器 / Pod 實例。而 Serverless 容器實例服務的節點級架構更直接，在一個 VM 里面只部署一個容器 / Pod 實例，從而實現 Serverless。這種短平快的打法快速推進了商用模型的探索，起到了非常重要的歷史作用，但是其在彈性能力、部署密度、資源成本方面的歷史局限性還是很大的。
商用拓展期
到 2019 年，容器服務的商業形態以及市場趨勢已經很明顯了，行業整體進入了商業拓展階段，對外宣傳吸引更多的客戶群體，對內苦練內功提升產品技術競爭力，行業正在經歷從“有”到“優”的技術升級。行業正在經歷這個技術升級的歷史階段，還談不上結論，只能一起來聊聊趨勢及預判。本系列專題的關注點是容器隔離技術，所以先不聊商業拓展和容器編排而聚焦于容器引擎技術發展趨勢。到現在為止，我們大體上可以把容器引擎技術劃分為兩代：
小結
總結來看，容器服務生態大概經歷了四個階段，分別解決或試圖解決不同的問題：
技術萌芽期：解決了容器運行環境的隔離問題
技術迸發期：解決了軟件分發及容器編排問題
商用探索期：確認了容器的商用服務形態
商用拓展期：擴大適用場景和部署規模，通過技術創新提升產品競爭力
文章來源：https://www.kubernetes.org.cn/8529.html
數據資源管理平臺云原生架構
易華錄數據資源管理平臺為更好的開拓TOB市場，解決部署、運維痛點問題，緊密結合云原生技術規劃了全新的系統架構。
IAAS【基礎設施即服務】層，可基于傳統硬件設備、裸金屬服務器、虛擬機等云提供商提供的基礎設施服務。
PAAS【平臺即服務】層，基于開源Kubernetes構建云原生基礎組件(Redis、MQ、MySQL等)及云原生大數據組件（HADOOP、Spark、MPP等）。
SAAS【軟件即服務】層，結合微服務架構+云原生技術實現數據資源管理平臺快速部署、統一運維等難題，并實現數據資源管理平臺之間的完全隔離（一套數據治理服務+一套數據工具+一套基礎環境+一套大數據環境）
數據資源管理平臺規劃架構
總結
- 上一篇： 腾讯多任务模型MFH
- 下一篇： Maven的简单配置说明