java中搭建流水线,部署流水线搭建小记:Docker、Jenkins、Java 和 Couchbase
Jenkins支持創建流水線。它使用一種基于Groovy的流水線領域特定語言(Pipeline DSL)的簡單腳。
而這些腳本,通常名字叫Jenkinsfile。它定義了一些根據指定參數執行簡單或復雜的任務的步驟。流水線創建好后,可以用來構建代碼,或者編排從代碼提交到交付過程中所需的工作。
流水線包括步驟(Step),節點(Node)和階段(Stage)。流水線執行在節點上。節點是Jenkins安裝的一部分。流水線通常包含多個階段。一個階段包含多個步驟。流水線上手指南(jenkins.io/doc/pipelin…
對于我們本文中的應用,其基本的部署流程是這樣的:
開發者更新工作區
Jenkins收到通知
Jenkins克隆工作區
Jenkins創建一個Docker鏡像
Jenkins運行測試
Jenkins將鏡像推到Docker Hub
應用位于倉庫中的webapp目錄。應用會借助Couchbase的Java SDK,使用一個到Couchbase數據庫的連接,保存一個簡單的JSON文檔。應用同時包含一個測試,以驗證數據庫是否包含持久化的文檔。
特別感謝@alexsotob在Jenkins配置上對我的幫助。
讓我們開始吧!
下載并安裝Jenkins
從jenkins.io下載Jenkins。這里使用的是Jenkins 2.21。
先把Jenkins啟動起來:
JENKINS_HOME=~/.jenkins java -jar ~/Downloads/jenkins-2.21.war --httpPort=9090
復制代碼
這條命令指定了Jenkin家目錄的路徑。家目錄下面存放了所有的配置信息。同時指定了Jenkins的監聽端口。這里指定的是9090端口。
啟動Jenkins會在中終端中看到如下消息:
Jenkins initial setup is required. An admin user has been created and a password generated.
Please use the following password to proceed to installation:
(譯文:Jenkins需要初始化的設置。我們已經為你創建好了一個管理員用戶生成好了密碼。請使用下面密碼繼續安裝。)
3521fbc3d40448efa8942f8e464b2dd9
This may also be found at: /Users/arungupta/.jenkins/secrets/initialAdminPassword
(譯文:這個密碼的內容同時也可以在`/Users/arungupta/.jenkins/secrets/initialAdminPassword`中找到。)
復制代碼
復制一下終端中顯示的密碼,這個密碼會用來解鎖Jenkins。
在瀏覽器中輸入localhost:9090訪問Jenkins,然后粘貼密碼:
點擊Next進入下一步:
創建第一個如圖所示的管理員用戶:
點擊Save and Finish繼續。
點擊Install suggested plugins:
然后就會安裝好一批默認的插件:
(很奇怪Ant和Subversion是默認的插件。)
然后會彈出登陸框:
輸入之前創建好的用戶名和密碼。
最后Jenkins就可以使用了。
不得不說,要安裝好一個簡單的Jenkins所需要的步驟不少。真的有必要需要這么多步驟才能開始使用Jenkins嗎?能不能有一個更簡單,更傻瓜,更偷懶的方式來開始使用Jenkins呢?希望能遵守管理優先原則(Convention-over-Configuration)然后提供一個預先配置好的一鍵安裝包。
創建Jenkins作業
讓我們在Jenkins中創建一個用來運行流水線的作業。
在Jenkins重啟之后,他會顯示一個登陸界面。輸入之前創建的用戶名和密碼。這會把你帶回到Installing Plugins/Upgrade頁面。點擊頁面左上角的Jenkins圖標,可看到主控制面板:
點擊create new job,作業的名字取做docker-jenkins-pipeline,類型選Pipeline。
點擊OK按鈕。
按照如圖所示對流水線進行配置:
這里我們使用了本地的倉庫。你當然也可以選擇托管在Github上的倉庫。另外,這個倉庫可以配置一個git鉤子或者定時的輪詢器來觸發流水線的運行。點擊Save按鈕來保存配置。
讓Jenkins進行構建
在啟動這個作業之前,Couchbase數據庫需要顯式地進行啟動:
docker run -d --name db -p 8091-8093:8091-8093 -p 11210:11210 arungupta/oreilly-couchbase:latest
復制代碼
這個問題會在編號9的問題(github.com/arun-gupta/… http://localhost:8091 來訪問Couchbase。點擊Data Bucket標簽頁可以看到創建的名為books的Bucket。
點擊Build Now你應該看見下圖類似的輸出:
看起來一切正常。
讓我們來試著理解下背后發生了什么。
Jenkinsfile描述了流水線是如何構建的。從整體看它有四個階段 – 打包、創建Docker鏡像、運行應用和運行測試。每一個階段在Jenkins的控制面板都是以一個方框顯示的。每一個階段花費的總體時間顯示在每一個方框中間。
然后我們試著理解每一個階段都做了什么事情。
打包:應用的的源碼位于webapp目錄下。而這一條Maven命令:
mvn clean package -DskipTests
復制代碼
用來創建應用的JAR包。注意Maven項目也包含測試,但是這里被故意通過-DskipTests忽略了。
通常,測試會分開放在一個下游的項目中(github.com/arun-gupta/… JAR(譯者注:Fat JAR是把項目所有類文件、資源文件和依賴打包在一起的JAR)文件并且包含所有的依賴。
創建Docker鏡像:應用的Docker鏡像是使用webapp目錄下的Dockerfile來構建的。這個鏡像僅僅包含一個Fat JAR,可以通過java -jar來運行。
每一個鏡像都使用構建編號打上了標簽:
${env.BUILD_NUMBER}
復制代碼
運行應用:運行應用需要運行應用的Docker容器。數據庫容器的IP地址可以通過下面這條命令來查到:
docker inspect
復制代碼
數據庫容器和應用容器同時運行在默認的bridge網絡中。這可以讓兩個容器來互相溝通。也可以在swarm模式的集群中運行流水線,這需要創建并且使用覆蓋網絡。
運行測試:測試可以使用如下命令來進行:
mvn test
復制代碼
如果測試通過,鏡像會被推送到Docker Hub。不管測試是否成功,運行結構都能捕獲到。同時我們顯示了try/catch/finally塊在Jenkinsfile中的使用。如果測試通過了,那鏡像就會推送到Docker Hub中。在我們這個例子中,它被推送到了這里(hub.docker.com/r/arungupta…
待辦事項
把測試移到一個下游的項目中
使用Git鉤子或者輪詢來觸發流水線
自動化數據庫的啟動與停止
用Swarm模式下的Docker引擎集群來運行流水線
增加額外的配置來將鏡像推送到bintray
另外一個痛點找不到關于全局變量語法的文檔。只有在:/job/docker-jenkins-pipeline/pipeline-syntax/globals能找到相關內容。這一點點戳。
“不是不可能,只是還沒有實現(twitter.com/agentdero/s… #sadpanda
總結
以上是生活随笔為你收集整理的java中搭建流水线,部署流水线搭建小记:Docker、Jenkins、Java 和 Couchbase的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: structs2 初次配置
- 下一篇: wps pin是什么意思(Office官