當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

38.DevOps之基于Jenkins实现的CI与CD

發布時間：2024/1/8 编程问答 23 豆豆

生活随笔收集整理的這篇文章主要介紹了 38.DevOps之基于Jenkins实现的CI与CD 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

文章目錄

- 一 DevOps 簡介
- - 1.1 什么是 DevOps
  - 1.2 為什么要推廣 DevOps？
  - 1.3 傳統技術團隊
  - 1.4 DevOps 技術團隊
  - 1.5 什么是持續集成(CI-Continuous integration)
  - 1.6 什么是持續部署(CD-continuous deployment)
  - 1.7 什么是持續交付(Continuous Delivery)
  - 1.8 常見的部署方式
  - 1.9 常見的持續集成開源工具
  - - 1.9.1 CVS(Concurrent Version System)
    - 1.9.2 SVN(Subversion)--集中式版本控制系統
    - 1.9.3 Gitlib—分布式版本控制系統:
  - 1.10 版本控制系統分類
  - - 1.10.1 集中式版本控制系統
    - 1.10.2 分布式版本控制系統
- 二 Gitlab 部署與使用
- - 2.1 下載并部署 gitlab
  - - 2.1.1 Ubuntu 系統環境準備
    - - 2.1.1.1 配置 ubuntu 遠程連接
      - 2.1.1.2 配置 ubuntu 網卡和主機名
      - 2.1.1.3 配置 ubuntu 倉庫
    - 2.1.2 Centos 系統環境在準備
    - 2.1.3 gitlab 安裝及使用
    - - 2.1.3.1 gitlab 配置使用
      - 2.1.3.2 初始化服務
      - 2.1.3.3 常用命令
      - 2.1.3.4 驗證 gitlab 啟動完成
      - 2.1.3.5 驗證端口及狀態
      - 2.1.3.6 登錄 gitlab web 界面
      - 2.1.3.7 登錄 gitlab
      - 2.1.3.8 默認首頁
      - 2.1.3.9 關閉賬號注冊
      - 2.1.3.10 驗證是否還有注冊選項
      - 2.1.3.11 創建 git 賬戶
      - 2.1.3.12 重新設置密碼
      - 2.1.3.13 創建組
      - 2.1.3.14 使用管理員創建項目
      - 2.1.3.15 將用戶添加到組
      - 2.1.3.16 創建一個測試頁面
      - 2.1.3.17 git 客戶端測試 clone 項目
      - 2.1.3.18 git web 端驗證數據
      - 2.1.3.19 gitlab 使用
      - 2.1.3.19.1 數據保存方式
        2.1.3.19.2 常用 git 命令
        2.1.3.19.3 git 緩存區與工作區等概念
      - 2.1.3.20 gitlab 數據備份恢復
      - 2.1.3.20.1 停止 gitlab 數據服務
        2.1.3.20.2 手動備份數據
        2.1.3.20.3 查看要恢復的文件
        2.1.3.20.4 執行恢復
        2.1.3.20.5 啟動服務
      - 2.1.3.21 gitlab 漢化
      - 2.1.3.21.1 下載語言包替換
        2.1.3.21.2 通過源碼漢化
  - 2.2 常見的代碼部署方式
  - - 2.2.1 藍綠部署
    - 2.2.2 金絲雀發布
    - 2.2.3 滾動發布
    - 2.2.4 A/B 測試
- 三部署 web 服務器環境
- - 3.1 java 環境
  - 3.2 準備 tomcat 啟動腳本
  - 3.3 web 部署
  - 3.4 配置 tomcat 配置文件
  - 3.5 啟動 tomcat
  - 3.6 確認各 web 服務器訪問正常
  - 3.7 部署 keepalived
  - 3.8 部署 haproxy ?
  - 3.9 測試訪問
  - 3.10 驗證 HAProxy 統計頁面
  - 3.11 驗證 haproxy 代理 web 服務器
- 四 Jenkins 部署與基礎配置
- - 4.1 配置 java 環境并部署 jenkins
  - - 4.1.1 java 環境配置
    - 4.1.2 啟動 Jenkins:
    - - 4.1.2.1 通過 jar 包直接啟動 jenkins
      - 4.1.2.2 rpm 包安裝 jenkins 配置
    - 4.1.3 Jenkins 啟動過程
    - 4.1.4 訪問 jenkins 頁面
    - 4.1.5 選擇安裝 jenkins 插件
    - 4.1.6 插件安裝過程中
    - 4.1.7 創建 jenkins 管理員
    - 4.1.8 配置 jenkins URL
    - 4.1.9 配置完成并登陸 jenkins
    - 4.1.10 登陸 jenkins 界面
    - 4.1.11 jenkins 插件管理及安裝
    - - 4.1.11.1 插件安裝目錄
      - 4.1.11.2 安裝插件
    - 4.1.12 配置 jenkins 權限管理
    - - 4.1.12.1 安裝插件
      - 4.1.12.2 創建新用戶
      - 4.1.12.3 更改認證方式
      - 4.1.12.4 創建角色
      - 4.1.12.5 添加角色
      - 4.1.12.6 對角色分配權限
      - 4.1.12.7 將用戶關聯到角色
      - 4.1.12.8 測試普通用戶登錄
    - 4.1.13 jenkins 郵箱配置
    - - 4.1.13.1 生成 QQ 郵箱登錄授權碼
      - 4.1.13.2 配置 jenkins 管理員郵箱
      - 4.1.13.3 發件配置
      - 4.1.13.4 測試發送郵件
  - 4.2 基于 ssh key 拉取代碼
  - - 4.2.1 添加 ssh key
    - 4.2.2 添加 ssh key
    - 4.2.3 創建 ssh key
    - 4.2.4 測試 ssh key
  - 4.3 配置 jenkins 到 gitlab 非交互拉取代碼
  - - 4.3.1 jenkins 服務器添加證書
    - 4.3.2 jenkins 創建 project
    - 4.3.3 配置 git 項目地址和用戶
    - 4.3.4 測試構建項目
    - - 4.3.4.1 點擊立即構建
      - 4.3.4.2 驗證構建結果
      - 4.3.4.3 服務器驗證數據
      - 4.3.4.4 將代碼部署至后端服務器
  - 4.4 構建觸發器(鉤子)
  - - 4.4.1 gitlab 新建 develop 分支
    - 4.4.2 gitlab 定義分支名稱并創建
    - 4.4.3 jenkins 安裝插件
    - 4.4.4 jenkins 修改登錄認證方式
    - 4.4.5 jenkins 新建 develop job
    - 4.4.6 jenkins 構建 shell 命令
    - 4.4.7 jenkins 配置構建觸發器
    - 4.4.8 jenkins 驗證分支 job 配置文件
    - 4.4.9 curl 命令測試觸發并驗證遠程觸發構建
    - 4.4.10 jenkins 驗證 job 是否自動構建
    - 4.4.11 gitlab 配置 webhook
    - 4.4.12 測試鉤子可用性
    - 4.4.13 jenkins 執行 shell 命令
    - 4.4.12 gitlab 開發分支 develop 測試提交代碼
    - 4.4.13 jenkins 驗證 develop job 自動構建
  - 4.5 構建后項目關聯
  - - 4.5.1 配置構建后操作
    - 4.5.2 驗證構建后操作
  - 4.6 jenkins 分布式
  - - 4.6.1 配置 slave 節點 java 環境
    - 4.6.2 添加 slave 節點
    - 4.6.3 添加 slave 認證憑據
    - 4.6.4. slave 節點最終信息
    - 4.6.5 jenkins slave 創建日志
    - 4.6.6 如果 slave 沒有 java 環境則報錯如下
    - 4.6.7 驗證 slave web 狀態
    - 4.6.8 驗證 slave 進程狀態
  - 4.7 pipline
  - - 4.7.1 pipline 語法
    - 4.7.2 pipline 優勢
    - 4.7.3 pipline job 測試
    - - 4.7.3.1 創建 pipline job
      - 4.7.3.2 測試簡單 pipline job 運行
      - 4.7.3.3 執行 pipline job
      - 4.7.3.4 自動生成拉取代碼的 pipline 腳本
      - 4.7.3.5 更改 pipline job
      - 4.7.3.6 執行 jenkins job
      - 4.7.3.7 驗證 git clone 日志
      - 4.7.3.8 jenkins 服務器驗證 clone 代碼數據
      - 4.7.3.9 pipline 中執 shell 命令打包代碼
      - 4.7.3.10 pipline 部署示例
      - 4.7.3.11 執行并驗證 pipline job
      - 4.7.3.12 指定 node 節點運行 job
      - 4.7.3.13 驗證 slave 執行構建
      - 4.7.3.14 驗證 web 服務器代碼版本
  - 4.8 視圖
  - - 4.8.1 安裝 build pipeline 插件
    - 4.8.2 創建新的視圖
    - 4.8.3 創建 pipline 視圖
    - - 4.8.3.1 定義視圖配置信息
      - 4.8.3.2 web 顯示界面
    - 4.8.4 列表視圖
    - - 4.8.4.1 定義視圖名稱
      - 4.8.4.2 選擇任務
      - 4.8.4.3 最終狀態
  - 4.5 我的視圖
  - - 4.5.1 創建我的視圖
    - 4.5.2 最終狀態
- 五代碼質量測試
- - 5.1 代碼測試工具 SonarQube 簡介
  - 5.2 基礎環境依賴
  - - 5.2.1 數據庫環境依賴
    - 5.2.2 java 環境依賴
    - 5.2.3 系統及內核參數
    - 5.2.4 硬件依賴
  - 5.3 部署 SonarQube
  - - 5.3.1 MySQL 數據庫及 SonarQube 6.7.X 部署
    - - 5.3.1.1 安裝 MySQL
      - 5.3.1.2 測試 sonar 賬戶連接 mysql
      - 5.3.1.3 解壓 sonarqube 并配置文件
      - 5.3.1.4 啟動 sonarqube
      - 5.3.1.5 登錄到 web 界面
      - 5.3.1.6 安裝中文支持
      - 5.3.1.6.1 查看本地已安裝插件
        5.6.1.3.2 安裝中文語言插件
        5.6.1.3.3 重啟 sonarquebe
      - 5.3.1.7 安裝其他插件
    - 5.3.2 PostgreSQL 及 SonarQube 7.9.X 部署
    - - 5.3.2.1 安裝 JDK 11
      - 5.3.2.1 部署 PostgreSQL 服務器
      - 5.3.2.2 配置 postgrepsql
      - 5.3.2.2 部署 7.9.X SonarQube
      - 5.3.2.3 驗證 SonarQube
      - 5.3.2.4 訪問 SonarQube web 界面
      - 5.3.2.5 安裝中文插件
  - 5.4 jenkins 服務器部署掃描器 sonar-scanner
  - - 5.4.1 部署 sonar-scanner
    - 5.4.2 準備測試代碼
    - 5.4.3 在源代碼目錄執行掃描
    - 5.4.4 sonarquebe we 界面驗證掃描結果
  - 5.5 jenkins 執行代碼掃描
  - - 5.5.1 jenkins 安裝 SonarQube 插件
    - 5.5.2 添加 sonarquebe URL
    - 5.5.3 讓 jenkins 添加 Sonarscanner 掃描器
    - - 5.5.3.1 手動指定絕對路徑
      - 5.5.3.2 自動安裝
    - 5.4.6 配置掃描
    - 5.4.7 配置項目進行掃描
    - 5.4.8 構建項目并測試 sonar-scanner 是否生效
    - 5.4.9 查看項目的構建歷史
- 六實戰案例
- - 6.1 創建項目
  - 6.2 添加部署 key
  - 6.3 確認 key
  - 6.4 Shell 腳本
  - 6.5 驗證 ssh
  - 6.6 配置 jenkins 用戶 sudu 權限
  - 6.7 測試執行命令
  - 6.8 web 服務器免密碼登錄
  - 6.9 gitlab 提交代碼
  - 6.10 項目關聯
  - 6.11 定義視圖
  - 6.12 執行構建
  - 6.13 代碼自動構建
  - 6.14 自動構建插件
  - 6.15 Token
  - 6.16 觸發器
  - 6.17 gitlab 觸發
  - 6.18 測試 gitlab 觸發
  - 6.2 HAProxy
  - 6.21 haproxy 動態增減服務器

一 DevOps 簡介

https://www.bagevent.com/event/6243820?bag_track=bagevent #Gdevops2020
https://www.bagevent.com/event/DevOpsDays-SH #DevOpsDays 2019

DevOps 是 Development 和 Operations 的組合，也就是開發和運維的簡寫。
DevOps 是針對企業中的研發人員、運維人員和測試人員的工作理念，是他們在應用開發、代碼部署和質量測試等整條生命周期中協作和溝通的最佳實踐， DevOps 強調整個組織的合作以及交付和基礎設施變更的自動化、從而實現持續集成（開發）、持續部署（運維）和持續交付。

DevOps 四大平臺：代碼托管(gitlab/svn)、項目管理(jira)、運維平臺(騰訊藍鯨/開源平
臺)、持續交付(Jenkins/gitlab)

1.1 什么是 DevOps

1.2 為什么要推廣 DevOps？

DevOps 強調團隊協作、相互協助、持續發展，然而傳統的模式是開發人員只顧開發程序，運維只負責基礎環境管理和代碼部署及監控等，其并不是為了一個共同的目標而共同實現最終的目的，而 DevOps 則實現團隊作戰，即無論是開發、運維還是測試，都為了最終的代碼發布、持續部署和業務穩定而付出各自的努力，從而實現產品設計、開發、測試和部署的良性循環，實現產品的最終持續交付。

1.3 傳統技術團隊

1.4 DevOps 技術團隊

1.5 什么是持續集成(CI-Continuous integration)

持續集成是指多名開發者在開發不同功能代碼的過程當中，可以頻繁的將代碼行合并到一起并切相互不影響工作。

1.6 什么是持續部署(CD-continuous deployment)

是基于某種工具或平臺實現代碼自動化的構建、測試和部署到線上環境以實現交付高質量的產品,持續部署在某種程度上代表了一個開發團隊的更新迭代速率。

1.7 什么是持續交付(Continuous Delivery)

持續交付是在持續部署的基礎之上，將產品交付到線上環境，因此持續交付是產品值的一種交付，是產品價值的一種盈利的實現。

上圖說明：一堆軟件的結合

計劃階段用JIRA做項目管理，用git來做代碼倉庫，構建工具使用Maven和Ant較多，測試階段用Selenium，持續集成用Jenkins，部署使用Saltstack或者Ansible、scp（比較慢）、rsync；運營階段使用elastic，監控使用Zabbix或者Prometheus

1.8 常見的部署方式

開發自己上傳–最原始的方案
開發給運維手動上傳–運維自己手動部署
運維使用腳本復制–半自動化
結合 web 界面一鍵部署–自動化

1.9 常見的持續集成開源工具

在公司的服務器安裝某種程序，該程序用于按照特定格式和方式記錄和保存公司多名開發人員不定期提交的源代碼，且后期可以按照某種標記Tag及方式對用戶提交的數據進行還原。

1.9.1 CVS(Concurrent Version System)

早期的集中式版本控制系統，現已基本淘汰
會出現數據提交后不完整的情況

1.9.2 SVN(Subversion)–集中式版本控制系統

2000 年開始開發，目標就是替代 CVS 集中式管理，依賴于網絡，一臺服務器集中管理目前依然有部分公司在使用

1.9.3 Gitlib—分布式版本控制系統:

Linus 在 1991 年創建了開源的 Linux 內核，從此 Linux 便不斷快速發展，不過 Linux 的壯大是離不開全世界的開發者的參與，這么多人在世界各地為 Linux 編寫代碼，那Linux 內核的代碼是如何管理的呢？事實是，在 2002 年以前，世界各地的志愿者把源代碼文件通過 diff 的方式發給 Linus，然后由 Linus 本人通過手工方式合并代碼！你也許會想，為什么 Linus 不把 Linux 代碼放到版本控制系統里呢？不是有 CVS、 SVN 這些免費的版本控制系統嗎？因為 Linus 堅定地反對 CVS 和 SVN，這些集中式的版本控制系統不但速度慢，且必須聯網才能使用，但是也有一些商用的版本控制系統，雖然比CVS、 SVN 好用，但那是付費的，和 Linux 的開源精神不符,不過，到了 2002 年， Linux系統已經發展了十年了，代碼庫之大讓 Linus 很難繼續通過手工方式管理了，社區的弟兄們也對這種方式表達了強烈不滿，于是 Linus 選擇了一個商業的版本控制系統BitKeeper， BitKeeper 的東家 BitMover 公司出于人道主義精神，授權 Linux 社區免費使用這個版本控制系統,但是安定團結的大好局面在 2005 年就被打破了，原因是 Linux社區牛人聚集，不免沾染了一些梁山好漢的江湖習氣，開發 Samba 的 Andrew 試圖破解 BitKeeper 的協議（這么干的其實也不只他一個），被 BitMover 公司發現了（監控工作做得不錯！），于是 BitMover 公司怒了，要收回 Linux 社區的免費使用權,這時候其實 Linus 可以向 BitMover 公司道個歉，保證以后嚴格管教弟兄們，但這是不可能的，而且實際情況是 Linus 自己花了兩周時間自己用 C 寫了一個分布式版本控制系統，這就是 Git！一個月之內， Linux 內核的源碼已經由 Git 管理了！牛是怎么定義的呢？大家可以體會一下,然后 Git 迅速成為最流行的分布式版本控制系統，尤其是 2008 年，GitHub 網站上線了，它為開源項目免費提供 Git 存儲，無數開源項目開始遷移至 GitHub，包括 jQuery， PHP， Ruby 等等。

git–linus開源的一個分布式版本控制系統
github–是基于git的一個免費提供代碼的倉庫的網站
gitlab–是一個軟件，在公司安裝后可以實現代碼本地提交和版本管理

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-D5FX8XBU-1626502809246)(C:\Users\cui\Desktop\課程截圖\38.DevOps之基于Jenkins實現的CI與CD_圖片\gettyimages-532505754.jpg)]

gitlab 企業版

1.10 版本控制系統分類

1.10.1 集中式版本控制系統

任何的提交和回滾都依賴于連接服務器 SVN 服務器是單點

1.10.2 分布式版本控制系統

Git 在每個用戶都有一個完整的服務器，然后在有一個中央服務器，用戶可以先將代碼提交到本地，沒有網絡也可以先提交到本地，然后在有網絡的時候再提交到中央服務器，這樣就大大方便了開發者的代碼提交和回滾，而相比 CVS 和 SVN 都是集中式的版本控制系統，工作的時候需要先從中央服務器獲取最新的代碼，改完之后需要提交，如果是一個比較大的文件則需要足夠快的網絡才能快速提交完成，而使用分布式的版本控制系統，每個用戶都是一個完整的版本庫，即使沒有中央服務器也可以提交代碼或者回滾，最終再把改好的代碼提交至中央服務器進行合并即可。

二 Gitlab 部署與使用

https://about.gitlab.com/install/ # Gitlab 服務的安裝文檔
https://docs.gitlab.com/ce/install/requirements.html #安裝環境要求

存儲：8*600G=4.8T%50=2T 10K 15K 或固態

cpu：8c 16C

內存：16G 32G

2.1 下載并部署 gitlab

gitlab使用，group user和project配置

users：賬號，開發人員
project：某個倉庫，針對某個服務
group：就是一個項目的統稱，一個group會包含好多project，一個project會被授權給一個或多個user權限
clone–》編輯–》add–》commit–》push
git reset --hard HEAD^^

2.1.1 Ubuntu 系統環境準備

2.1.1.1 配置 ubuntu 遠程連接

jack@ubuntu:~$ sudo su - root [sudo] password for jack: root@ubuntu:~# passwd Enter new UNIX password: Retype new UNIX password: passwd: password updated successfully root@ubuntu:~# vim /etc/ssh/sshd_config http/https/ssh/git PermitRootLogin yes PasswordAuthentication yes

2.1.1.2 配置 ubuntu 網卡和主機名

root@ubuntu:~# cat /etc/netplan/01-netcfg.yaml # This file describes the network interfaces available on your system # For more information, see netplan(5). network:version: 2renderer: networkdethernets:eth0:dhcp4: noaddresses: [192.168.8.2/21]gateway4: 192.168.15.254nameservers:addresses: [192.168.15.254]root@ubuntu:~# cat /etc/hostname jenkins.example.com root@ubuntu:~# reboot

2.1.1.3 配置 ubuntu 倉庫

root@ubuntu:~#vim /etc/apt/sources.list deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverseroot@jenkins:~# apt update root@jenkins:~# apt install iproute2 ntpdate tcpdump telnet traceroute nfs-kernel-server nfs-common lrzsz tree openssl libssl-dev libpcre3 libpcre3-dev zlib1g-dev ntpdate tcpdump telnet traceroute gcc openssh-server lrzsz tree openssl libssl-dev libpcre3 libpcre3-dev zlib1g-dev ntpdate tcpdump telnet traceroute iotop unzip zip ipmitool

2.1.2 Centos 系統環境在準備

最小化服務器安裝，配置如下

# yum install vim gcc gcc-c++ wget net-tools lrzsz iotop lsof iotop bash-completion -y # yum install curl policycoreutils openssh-server openssh-clients postfix -y # wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo # systemctl disable firewalld # sed -i '/SELINUX/s/enforcing/disabled/' /etc/sysconfig/selinux # hostnamectl set-hostname gitlab.example.com # reboot

2.1.3 gitlab 安裝及使用

安裝包下載地址 https://packages.gitlab.com/gitlab/gitlab-ce
rpm 包國內下載地址 https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/
ubuntu 國內下載地址 https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/ubuntu/pool/

V11.11.8 linux38

[root@gitlab src]#dpkg -i gitlab-ce_13.1.10-ce.0_amd64.deb

2.1.3.1 gitlab 配置使用

#公司里推薦使用域名 [root@gitlab ~]#grep "^[a-Z]" /etc/gitlab/gitlab.rb external_url 'http://10.0.78.101'encpnupnpbongcbi #可選郵件通知設置 gitlab_rails['smtp_enable'] = true gitlab_rails['smtp_address'] = "smtp.qq.com" gitlab_rails['smtp_port'] = 465 gitlab_rails['smtp_user_name'] = "1433236299@qq.com" gitlab_rails['smtp_password'] = "ooejgzgofwzdihdh" gitlab_rails['smtp_domain'] = "qq.com" gitlab_rails['smtp_authentication'] = :login gitlab_rails['smtp_enable_starttls_auto'] = true gitlab_rails['smtp_tls'] = true gitlab_rails['gitlab_email_from'] = "1433236299@qq.com" user["git_user_email"] = "1433236299@qq.com"

2.1.3.2 初始化服務

執行配置并啟動服務

# gitlab-ctl reconfigure #修改完配置文件要執行此操作

#gitlab 相關的目錄有哪些

/etc/gitlab #配置文件目錄 /run/gitlab #運行 pid 目錄 /opt/gitlab #安裝目錄 /var/opt/gitlab #數據目錄 /var/log/gitlab #日志目錄

2.1.3.3 常用命令

# gitlab-rails #用于啟動控制臺進行特殊操作，比如修改管理員密碼、打開數據庫控制
臺( gitlab-rails dbconsole)等

root@gitlab:~# gitlab-rails dbconsole psql (9.6.11) Type "help" for help. gitlabhq_production=> # gitlab-rails --help

# gitlab-psql #數據庫命令行

# gitlab-rake #數據備份恢復等數據操作
# gitlab-ctl #客戶端命令行操作行
# gitlab-ctl stop #停止 gitlab
# gitlab-ctl start #啟動 gitlab
# gitlab-ctl restar #重啟 gitlab
# gitlab-ctl status #查看組件運行狀態
# gitlab-ctl tail nginx #查看某個組件的日志

2.1.3.4 驗證 gitlab 啟動完成

2.1.3.5 驗證端口及狀態

80 端口是在初始化 gitlib 的時候啟動的，因此如果之前的有程序占用會導致初始化失敗或無法訪問！

2.1.3.6 登錄 gitlab web 界面

http://x.x.x.x/
登錄 web 頁面并設置密碼,最少 8 位

2.1.3.7 登錄 gitlab

登錄，默認用戶為 root

2.1.3.8 默認首頁

2.1.3.9 關閉賬號注冊

默認情況下可以直接注冊賬號，因此一般都關閉此功能，由運維工程師來創建，防止惡意注冊

取消賬戶注冊功能之后點 save

2.1.3.10 驗證是否還有注冊選項

2.1.3.11 創建 git 賬戶

再創建一個tangtang

2.1.3.12 重新設置密碼

第一次使用新賬號登錄要設置密碼

通過郵件重置用戶密碼

設置密碼

2.1.3.13 創建組

使用管理員 root 創建組，一個組里面可以有多個項目分支，可以將開發添加到組里面進行設置權限，不同的組就是公司不同的開發項目或者服務模塊，不同的組添加不同的開發即可實現對開發設置權限的管理。

2.1.3.14 使用管理員創建項目

使用管理員創建項目

創建后的項目效果

2.1.3.15 將用戶添加到組

https://docs.gitlab.com/ee/user/permissions.html (更多權限)

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-gBHQeTc6-1626502809342)(C:\Users\cui\Desktop\課程截圖\38.DevOps 之基于 Jenkins 實現的 CI 與 CD_圖片\image-20200915160057525.png)]

2.1.3.16 創建一個測試頁面

找到項目界面

添加一個頁面

2.1.3.17 git 客戶端測試 clone 項目

[root@web3 opt]#git clone http://10.0.78.101/magedu/web1.git Cloning into 'web1'... Username for 'http://10.0.78.101': qinghe Password for 'http://qinghe@10.0.78.101': remote: Enumerating objects: 3, done. remote: Counting objects: 100% (3/3), done. remote: Total 3 (delta 0), reused 0 (delta 0), pack-reused 0 Unpacking objects: 100% (3/3), done. [root@web3 opt]#cat web1/index.html <h2>magedu web1 version11111111111111111</h2>

編輯文件并測試提交

[root@web3 opt]#vim web1/index.html [root@web3 opt]#cat web1/index.html <h2>magedu web1 version11111111111111111</h2> <h2>magedu web2 version22222222222222222</h2> [root@web3 opt]#cd web1/ [root@web3 web1]#git add index.html [root@web3 web1]#git commit -m "v2" [master f428c8e] v2Committer: root <root@web3.cuiqinghe.com> Your name and email address were configured automatically based on your username and hostname. Please check that they are accurate. You can suppress this message by setting them explicitly. Run the following command and follow the instructions in your editor to edit your configuration file:git config --global --editAfter doing this, you may fix the identity used for this commit with:git commit --amend --reset-author1 file changed, 2 insertions(+), 1 deletion(-) [root@web3 web1]#git push Username for 'http://10.0.78.101': qinghe Password for 'http://qinghe@10.0.78.101': Counting objects: 3, done. Compressing objects: 100% (2/2), done. Writing objects: 100% (3/3), 276 bytes | 276.00 KiB/s, done. Total 3 (delta 0), reused 0 (delta 0) To http://10.0.78.101/magedu/web1.git13ede10..f428c8e master -> master

2.1.3.18 git web 端驗證數據

2.1.3.19 gitlab 使用

2.1.3.19.1 數據保存方式

SVN 與 CVS:
每次提交的文件都單獨保存，即按照文件的提交時間區分不同的版本，保存至不同的邏輯存儲區域，后期恢復的時候直接基于之前版本恢復。

Gitlab：
Gitlab 與 SVN 的數據保存方式不一樣， gitlab 雖然也會在內部對數據進行邏輯劃分保存，但是當后期提交的數據如果和之前提交過的數據沒有變化，其就直接快照之前的文件，而不是在將文件重新上傳一份在保存一遍，這樣既節省了空間又加快了代碼提交速度。

2.1.3.19.2 常用 git 命令

使用 git 命令下載代碼與提交代碼等操作。

上圖說明：

工作區指的就是Windows上的一個目錄（上面例子的web1目錄），add之后是放在了暫存區，再用commit命令提交到本地工作區（本機倉庫，沒有網也可以提交），一旦提交到本地倉庫就會產生一個tag信息（標記，代碼恢復時使用），最后再push到git倉庫（上圖少了一步），這樣別的開發才能拿到你寫的代碼

git config --global user.name "name" #設置全局用戶名，并不一定是真實的，但一定要有，最好寫真實的 git config --global user.email xxx@xx.com #設置全局郵箱，同上 git config --global --list #列出用戶全局設置 git add index.html / . #添加指定文件、目錄或當前目錄下所有數據到暫存區 git commit -m "11" #提交文件到工作區 git status #查看工作區的狀態 git push #提交代碼到服務器 git pull #獲取代碼到本地 git log #查看操作日志，里面會有commit標記（回滾時使用的），非常重要！！！ vim .gitignore #定義忽略文件上傳至 gitlab #以下是運維相關 git reset --hard HEAD^^ #git 版本回滾， HEAD 為當前版本，加一個^為上一個， ^^為上上一個版本；必須是在不影響用戶訪問的前提下再進行代碼部署 git reflog # #獲取每次提交的 ID，可以使用--hard 根據提交的 ID 進行版本回退 git reset --hard 5ae4b06 #回退到指定 id 的版本,前八位即可 #git branch #查看當前所處的分支 #git checkout -b develop #創建并切換到一個新分支 #git checkout develop #切換分支

2.1.3.19.3 git 緩存區與工作區等概念

工作區： clone 的代碼或者開發自己編寫的代碼文件所在的目錄，通常是代碼所在的一個服務的目錄名稱。
暫存區：用于存儲在工作區中對代碼進行修改后的文件所保存的地方，使用 git add 添加。
本地倉庫：用于提交存儲在工作區和暫存區中改過的文件地方，使用 git commit 提交。
遠程倉庫：多個開發共同協作提交代碼的倉庫，即 gitlab 服務器。

2.1.3.20 gitlab 數據備份恢復

2.1.3.20.1 停止 gitlab 數據服務

[root@gitlab ~]#gitlab-ctl stop unicorn [root@gitlab ~]#gitlab-ctl stop sidekiq ok: down: sidekiq: 0s, normally up

2.1.3.20.2 手動備份數據

[root@gitlab ~]#gitlab-rake gitlab:backup:create #在任意目錄即可備份當前 gitlab 數據 [root@gitlab ~]#gitlab-ctl start #備份完成后啟動 gitlab

2.1.3.20.3 查看要恢復的文件

/var/opt/gitlab/backups/ # Gitlab 數據備份目錄，需要使用命令備份的 /var/opt/gitlab/nginx/conf #nginx 配置文件 /etc/gitlab/gitlab.rb #gitlab 配置文件 /etc/gitlab/gitlab-secrets.json #key 文件[root@gitlab ~]#ll /var/opt/gitlab/backups/ total 392 drwx------ 2 git root 4096 Sep 15 21:36 ./ drwxr-xr-x 21 root root 4096 Sep 14 20:56 ../ -rw------- 1 git git 194560 Sep 15 21:33 1600176792_2020_09_15_13.1.10_gitlab_backup.tar -rw------- 1 git git 194560 Sep 15 21:36 1600176968_2020_09_15_13.1.10_gitlab_backup.tar #1600176968是時間戳，從1970年開始計算的，以秒為單位，這樣備份的文件就不會重名 #13.1.10是gitlab的版本號

2.1.3.20.4 執行恢復

刪除一些數據，測試能否恢復

[root@gitlab ~]#gitlab-ctl stop unicorn [root@gitlab ~]#gitlab-ctl stop sidekiq #恢復數據之前停止服務 root@s1:~# gitlab-rake gitlab:backup:restore BACKUP=備份文件名#以下為實驗示例 [root@gitlab ~]#gitlab-rake gitlab:backup:restore BACKUP=1600176968_2020_09_15_13.1.10

確認恢復數據

2.1.3.20.5 啟動服務

[root@gitlab ~]#gitlab-ctl start sidekiq ok: run: sidekiq: (pid 57185) 0s [root@gitlab ~]#gitlab-ctl start unicorn

2.1.3.21 gitlab 漢化

雖然不推薦，但是有需求，基于第三方開發愛好者實現

2.1.3.21.1 下載語言包替換

通過指定版本的語言包漢化
https://gitlab.com/xhang/gitlab/-/archive/v12.3.5-zh/gitlab-v12.3.5-zh.tar.gz
https://gitlab.com/xhang/gitlab/-/archive/v11.11.5-zh/gitlab-v11.11.5-zh.tar
https://gitlab.com/xhang/gitlab/-/archive/v11.9.8-zh/gitlab-v11.9.8-zh.tar
https://gitlab.com/xhang/gitlab

首次安裝 gitlab 步驟 # vim /etc/gitlab/gitlab.rb #修改配置 # gitlab-ctl reconfigure 已經安裝 gitlab 步驟 # gitlab-ctl stop # tar xvf gitlab-vX.Y.Z-zh.tar # cp -rp /opt/gitlab/embedded/service/gitlab-rails /opt/gitlab-rails.bak #備份源文件 # cp -rf gitlab-vX.Y.Z-zh/* /opt/gitlab/embedded/service/gitlab-rails/ #替換文件 # gitlab-ctl reconfigure # gitlab-ctl start

Web 界面更改語言：
右上角的賬戶下拉框選 Settings 然后左側 Preferences 設置項，然后語言選擇中文

保存后刷新界面

2.1.3.21.2 通過源碼漢化

https://gitlab.com/xhang/gitlab #漢化包地址
# gitlab-ctl stop
# git clone https://gitlab.com/xhang/gitlab.git
# head -1 /opt/gitlab/version-manifest.txt #查看當前 gitlab 版本
# cd gitlab
# git diff v11.9.8 v11.9.8-zh
# git diff v12.3.5 v12.3.5-zh
# git diff v11.9.8 v11.9.8-zh > /root/v11.9.8-zh.diff
# gitlab-ctl stop
# patch -f -d /opt/gitlab/embedded/service/gitlab-rails -p1 < /root/v11.9.8-zh.diff
# gitlab-ctl reconfigure
# gitlab-ctl start
v11.11.8 漢化效果

v.12.2.8 漢化效果

V12.3.5 漢化效果:

2.2 常見的代碼部署方式

2.2.1 藍綠部署

藍綠部署指的是不停老版本代碼(不影響上一個版本訪問)，而是在另外一套環境部署新版本然后進行測試，測試通過后將用戶流量切到新版本，其特點為業務無中斷，升級風險相對較小。需要大量服務器的支撐

具體過程：
1、當前版本業務正常訪問(V1)
2、在另外一套環境部署新代碼(V2)，代碼可能是增加了功能或者是修復了某些 bug
3、測試通過之后將用戶請求流量切到新版本環境
4、觀察一段時間，如有異常直接切換舊版本
5、下次升級，將舊版本升級到新版本(V3)

藍綠部署適用的場景：
1、不停止老版本，額外部署一套新版本，等測試發現新版本 OK 后，刪除老版本。
2、藍綠發布是一種用于升級與更新的發布策略，部署的最小維度是容器，而發布的最小維度是應用。
3、藍綠發布對于增量升級有比較好的支持，但是對于涉及數據表結構變更等等不可逆轉的升級，并不完全合適用藍綠發布來實現，需要結合一些業務的邏輯以及數據遷移與回滾的策略才可以完全滿足需求。

2.2.2 金絲雀發布

非常適合于中小企業

金絲雀發布也叫灰度發布，是指在黑與白之間，能夠平滑過渡的一種發布方式，灰度發布是增量發布的一種類型，灰度發布是在原有版本可用的情況下，同時部署一個新版本應用作為“金絲雀” (小白鼠)，測試新版本的性能和表現，以保障整體系統穩定的情況
下，盡早發現、調整問題。

“金絲雀”的由來 17 世紀，英國礦井工人發現，金絲雀對瓦斯這種氣體十分敏感。空氣中哪怕有極其微量的瓦斯，金絲雀也會停止歌唱；而當瓦斯含量超過一定限度時，雖然魯鈍的人類毫無察覺，金絲雀卻早已毒發身亡。當時在采礦設備相對簡陋的條件下，工人們每次下井都會帶上一只金絲雀作為“瓦斯檢測指標”，以便在危險狀況下緊急撤離。

金絲雀發布、灰度發布步驟組成：
1、準備好部署各個階段的工件，包括構建工件，測試腳本，配置文件和部署清單文件。
2、從負載均衡列表中移除掉“金絲雀”服務器。
3、升級“金絲雀”應用（排掉原有流量并進行部署）。
4、對應用進行自動化測試。
5、將“金絲雀”服務器重新添加到負載均衡列表中（連通性和健康檢查）。
6、如果“金絲雀”在線使用測試成功，升級剩余的其他服務器。（否則就回滾）
灰度發布可以保證整體系統的穩定，在初始灰度的時候就可以發現、調整問題，以保證其影響度。

灰度發布/金絲雀部署適用的場景：
1、不停止老版本，額外搞一套新版本，不同版本應用共存。
2、灰度發布中，常常按照用戶設置路由權重，例如 90%的用戶維持使用老版本， 10%的用戶嘗鮮新版本。
3、經常與 A/B 測試一起使用，用于測試選擇多種方案。

下圖中，左下方的少部分用戶就被當作“金絲雀”來用于測試新上線的1.1版本。如果新版本出現問題，“金絲雀”們會報警，但不會影響其他用戶業務的正常運行。

逐步推送示例：

2.2.3 滾動發布

滾動發布，一般是取出一個或者多個服務器停止服務，執行更新，并重新將其投入使用。周而復始，直到集群中所有的實例都更新成新版本。

2.2.4 A/B 測試

A/B 測試也是同時運行兩個 APP 環境，但是藍綠部署完全是兩碼事， A/B 測試是用來測試應用功能表現的方法，例如可用性、受歡迎程度、可見性等等，藍綠部署的目的是安全穩定地發布新版本應用，并在必要時回滾，即藍綠部署是一套正式環境環境在線，而A/B 測試是兩套正式環境在線。

三部署 web 服務器環境

3.1 java 環境

各 web 服務器準備 tomcat 運行環境

# useradd www -u 2000 # mkdir /apps && cd /apps [root@web1 src]#tar xvf jdk-8u261-linux-x64.tar.gz [root@web1 jdk1.8.0_261]#ln -sv /usr/local/src/jdk1.8.0_261/ /usr/local/jdk # vim/etc/profile export HISTTIMEFORMAT="%F %T `whoami` " export export LANG="en_US.utf-8" export JAVA_HOME=/apps/jdk export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin # source /etc/profile && java -version [root@web1 apps]#tar xvf apache-tomcat-8.5.57.tar.gz [root@web1 apps]#ln -sv /apps/apache-tomcat-8.5.57 /apps/tomcat #方便以后做升級

3.2 準備 tomcat 啟動腳本

# cp /root/tomcat /etc/init.d/

3.3 web 部署

部署 web 服務器并確認各 web 服務器訪問正常

# groupadd -g 2020 magedu && useradd -m -g magedu -u 2020 -s /bin/bash magedu # 創建web 賬戶 # useradd www -u 2019 #centos 創建web 啟動賬戶 # mkdir /data/tomcat/tomcat_appdir -p #保存 web 壓縮包 # mkdir /data/tomcat/tomcat_webdir #保存解壓后的 web 目錄 # mkdir /data/tomcat/tomcat_webapps #tomcat app 加載目錄，在 server.xml 定義 # mkdir /data/tomcat/tomcat_webdir/myapp #Java 代碼目錄 # echo SERVER_IP > /data/tomcat/tomcat_webdir/myapp/index.html

3.4 配置 tomcat 配置文件

[root@web1 ~]#vim /apps/tomcat/conf/server.xml <Host name="localhost" appBase="/data/tomcat/tomcat_webapps" unpackWARs="false" autoDeploy="false">

3.5 啟動 tomcat

#修改權限，切換到普通用戶magedu [root@web1 ~]#chown magedu.magedu /apps/tomcat /apps/apache-tomcat-8.5.57 /data/tomcat/ -R [root@web1 ~]#su - magedu magedu@web1:~$/etc/init.d/tomcat start

3.6 確認各 web 服務器訪問正常

3.7 部署 keepalived

編譯過程如下

# yum install libnfnetlink-devel libnfnetlink ipvsadm libnl libnl-devel libnl3 libnl3-devel lm_sensors-libs net-snmp-agent-libs net-snmp-libs open server openssh-clients openssl openssldevel automake iproute # cd keepalived-2.0.7 && ./configure --prefix=/usr/local/keepalived --disable-fwmark # make && amke install # # mkdir /usr/local/keepalived/etc/sysconfig – p && cp keepalived/etc/init.d/keepalived.rh.init /usr/local/keepalived/etc/sysconfig/keepalived # cp keepalived/keepalived.service /usr/lib/systemd/system/ # mkdir /usr/local/keepalived/sbin && cp bin/keepalived /usr/local/keepalived/sbin/keepalived # mkdir /etc/keepalived # vim /etc/keepalived/keepalived.conf vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 80 priority 100 advert_int 1 unicast_src_ip 192.168.7.103 unicast_peer { 192.167.7.104 } authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.7.100 dev eth0 label eth0:0 } }

yum安裝如下：

[root@jenkins-slave1 ~]#apt install keepalived -y [root@jenkins-slave1 ~]#cp /usr/share/doc/keepalived/samples/keepalived.conf.vrrp /etc/keepalived/keepalived.conf[root@jenkins-slave1 ~]#cat /etc/keepalived/keepalived.conf vrrp_instance VI_1 {state MASTERinterface eth0garp_master_delay 10smtp_alertvirtual_router_id 90priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {10.0.78.188 dev eth0 label eth0:1} }#backup的級別調低一點，降為80 [root@jenkins-slave2 ~]#vim /etc/keepalived/keepalived.conf vrrp_instance VI_1 {state MASTERinterface eth0garp_master_delay 10smtp_alertvirtual_router_id 90priority 80advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {10.0.78.188 dev eth0 label eth0:1} }[root@jenkins-slave1 ~]#systemctl restart keepalived.service [root@jenkins-slave1 ~]#systemctl enable keepalived.service#最好驗證keepalived的可用性，把優先級高的先停了，看看地址會不會飄過去，再開啟，看會不會搶占回去

3.8 部署 haproxy ?

# tar xvf haproxy-1.8.13.tar.gz # cd haproxy-1.8.13 # make ARCH=x86_64 TARGET=linux2628 USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_CPU_AFFINITY=1 PREFIX=/usr/local/haproxy # make install PREFIX=/usr/local/haproxy # vim /usr/lib/systemd/system/haproxy.service [Unit] Description=HAProxy Load Balancer After=syslog.target network.target [Service] #支持多配置文件讀取，類似于從側面是實現配置文件的 include 功能。 ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf -c -q ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf -p /run/haproxy.pid ExecReload=/bin/kill -USR2 $MAINPID [Install] WantedBy=multi-user.target # mkdir /etc/haproxy

3.9 測試訪問

測試 haproxy 反向代理 web 服務器
編輯本機 hosts 文件，將 myapp.web.com 解析到對應的 IP 負載 IP

C:\Windows\System32\drivers\etc\hosts 192.168.7.100 myapp.web.com

記錄 HAProxy 訪問日志

vim/etc/rsyslog.conf 14 # Provides UDP syslog reception 15 $ModLoad imudp #去掉注釋 16 $UDPServerRun 514 #去掉注釋 18 # Provides TCP syslog reception 19 $ModLoad imtcp #去掉注釋 20 $InputTCPServerRun 514 #去掉注釋 93 local3.* /var/log/haproxy.logsystemctl restart rsysloglog 127.0.0.1 local3 info #global 部分 listen web_port bind 0.0.0.0:80 mode http log global option httplog server 192.168.7.103 192.168.7.103:8080 check inter 3000 fall 2 rise 5 server 192.168.7.104 192.168.7.104:8080 check inter 3000 fall 2 rise 5

重啟 rsyslog 和 haproxy 服務，驗證/var/log/haproxy.log 可以記錄日志

[root@jenkins-slave2 src]#vim /etc/sysctl.conf net.ipv4.ip_nonlocal_bind = 1 [root@jenkins-slave2 src]#sysctl -p net.ipv4.ip_nonlocal_bind = 1[root@jenkins-slave2 src]#ss -ntl |grep 80 LISTEN 0 128 10.0.78.188:80 0.0.0.0:*#此時再去訪問vip，就能轉發到兩個web服務器上去

3.10 驗證 HAProxy 統計頁面

http://myapp.web.com:9009/haproxy-status

做一次域名解析：

3.11 驗證 haproxy 代理 web 服務器

http://myapp.web.com/myapp/

四 Jenkins 部署與基礎配置

https://jenkins.io/zh/

4.1 配置 java 環境并部署 jenkins

4.1.1 java 環境配置

root@jenkins:/usr/local/src# tar xvf jdk-8u192-linux-x64.tar.gz root@jenkins:/usr/local/src# ln -sv /usr/local/src/jdk1.8.0_192/ /usr/local/jdk root@jenkins:/usr/local/src# ln -sv /usr/local/jdk/bin/java /usr/bin/ #java 命令軟連接root@jenkins:/usr/local/src# vim /etc/profile export JAVA_HOME=/usr/local/jdk export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export CLASSPATH=.$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jarroot@jenkins:/usr/local/src# source /etc/profile root@jenkins:/usr/local/src# java -version java version "1.8.0_192" Java(TM) SE Runtime Environment (build 1.8.0_192-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.192-b12, mixed mode)

apt安裝過程如下：

[root@jenkins-master ~]#apt install -y openjdk-8-jdk [root@jenkins-master ~]#java -version openjdk version "1.8.0_265" OpenJDK Runtime Environment (build 1.8.0_265-8u265-b01-0ubuntu2~18.04-b01) OpenJDK 64-Bit Server VM (build 25.265-b01, mixed mode) [root@jenkins-master ~]#apt install daemon [root@jenkins-master ~]#dpkg -i jenkins_2.235.5_all.deb

4.1.2 啟動 Jenkins:

https://mirrors.tuna.tsinghua.edu.cn/jenkins/debian-stable/ #ubuntu 安裝包下載

4.1.2.1 通過 jar 包直接啟動 jenkins

# java \ -Dcom.sun.management.jmxremote \ -Dcom.sun.management.jmxremote.port=12345 \ -Dcom.sun.management.jmxremote.authenticate=false \ -Dcom.sun.management.jmxremote.ssl=false \ -Djava.rmi.server.hostname="192.168.8.2 " \ -jar jenkins-2.138.3.war &

4.1.2.2 rpm 包安裝 jenkins 配置

[root@s1 ~]# grep -v "#" /etc/sysconfig/jenkins | grep -v "^$" JENKINS_HOME="/var/lib/jenkins" JENKINS_JAVA_CMD="" JENKINS_USER="jenkins" JENKINS_JAVA_OPTIONS="-Djava.awt.headless=true \ -Dcom.sun.management.jmxremote \ -Dcom.sun.management.jmxremote.port=12345 \ -Dcom.sun.management.jmxremote.authenticate=false \ -Dcom.sun.management.jmxremote.ssl=false \ -Djava.rmi.server.hostname="192.168.7.101" \ "JENKINS_PORT="8080" JENKINS_LISTEN_ADDRESS="" JENKINS_HTTPS_PORT="" JENKINS_HTTPS_KEYSTORE="" JENKINS_HTTPS_KEYSTORE_PASSWORD="" JENKINS_HTTPS_LISTEN_ADDRESS="" JENKINS_DEBUG_LEVEL="5" JENKINS_ENABLE_ACCESS_LOG="no" JENKINS_HANDLER_MAX="100" JENKINS_HANDLER_IDLE="20" JENKINS_ARGS=""

可選啟動參數

JENKINS_JAVA_OPTIONS="--server -Xms1g -Xmx1g -Xss512k -Xmn1g -XX:CMSInitiatingOccupancyFraction=65 -XX:+UseFastAccessorMethods -XX:+AggressiveOpts -XX:+UseBiasedLocking -XX:+DisableExplicitGC -XX:MaxTenuringThreshold=10 -XX:NewSize=2048M -XX:MaxNewSize=2048M -XX:NewRatio=2 -XX:PermSize=128m -XX:MaxPermSize=512m -XX:CMSFullGCsBeforeCompaction=5 -XX:+ExplicitGCInvokesConcurrent -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSParallelRemarkEnabled -Djava.awt.headless=true -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=12345 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname="192.168.7.102"

4.1.3 Jenkins 啟動過程

4.1.4 訪問 jenkins 頁面

4.1.5 選擇安裝 jenkins 插件

解決插件安裝慢的解決方式，通過 Nginx 進行 rewrite 或者反向代理，如下

127.0.0.1 updates.jenkins-ci.orglocation /download/plugins {proxy_set_header Host mirrors.tuna.tsinghua.edu.cn;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;rewrite /download/plugins(.*) /jenkins/plugins/$1 break;proxy_pass http://mirrors.tuna.tsinghua.edu.cn; }

如果現實 jenkins 已離線，將以下文件中的更新檢查地址改成國內清華大學地址，然后
重啟 jenkins 即可 https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json

# cat /var/lib/jenkins/hudson.model.UpdateCenter.xml <?xml version='1.1' encoding='UTF-8'?> <sites><site><id>default</id><url>https://updates.jenkins.io/update-center.json</url></site>

4.1.6 插件安裝過程中

http://updates.jenkins-ci.org/download/plugins/ #插件下載地址
插件安裝過程中。。，如果因為某種原因導致有有安裝失敗的插件，沒有關系，可以后期再單獨安裝

4.1.7 創建 jenkins 管理員

4.1.8 配置 jenkins URL

4.1.9 配置完成并登陸 jenkins

4.1.10 登陸 jenkins 界面

4.1.11 jenkins 插件管理及安裝

4.1.11.1 插件安裝目錄

插件下載地址 http://updates.jenkins-ci.org/download/plugins/

4.1.11.2 安裝插件

搜索需要 gitlab 的插件并安裝

gitlab 和 Blue Ocean

4.1.12 配置 jenkins 權限管理

基于角色的權限管理，先創建角色和用戶，給角色授權，然后把用戶管理到角色。

4.1.12.1 安裝插件

Role-based #基于角色的認證策略

4.1.12.2 創建新用戶

Jenkins—系統管理—管理用戶

4.1.12.3 更改認證方式

Jenkins—系統管理—全局安全配置
默認創建的用戶登錄后可以做任何操作，取決于默認的認證授權方式。

4.1.12.4 創建角色

Jenkins—系統管理–Manage and Assign Roles(管理和分配角色)

4.1.12.5 添加角色

4.1.12.6 對角色分配權限

修改權限

4.1.12.7 將用戶關聯到角色

4.1.12.8 測試普通用戶登錄

登錄成功之的界面，沒有系統管理權限，只能執行被授權過的 job且沒有了管理員權限。

4.1.13 jenkins 郵箱配置

4.1.13.1 生成 QQ 郵箱登錄授權碼

4.1.13.2 配置 jenkins 管理員郵箱

Jenkins—系統管理—系統設置

4.1.13.3 發件配置

4.1.13.4 測試發送郵件

4.2 基于 ssh key 拉取代碼

4.2.1 添加 ssh key

[root@jenkins-master ~]#ssh-keygen [root@jenkins-master ~]#ll /root/.ssh/ total 20 drwx------ 2 root root 4096 Sep 16 22:30 ./ drwx------ 5 root root 4096 Sep 16 22:30 ../ -rw------- 1 root root 1679 Sep 16 22:30 id_rsa -rw-r--r-- 1 root root 415 Sep 16 22:30 id_rsa.pub -rw-r--r-- 1 root root 222 Sep 16 22:30 known_hosts#查看公鑰 [root@jenkins-master ~]#cat /root/.ssh/id_rsa.pub ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDGo6lz3IRWvzWTWpDo+Cy3Y24UvYWQC1xM3ypcofbaN4F1SRa4x0BvVhMZdCoNtixC5ePEC7oXhJBQ4FbBhnZadVkzAZ7GfXl2sjGd7pjh0acycvg8yB72W97CTsYGsuv24hS0EKwWxb8VJNSdzZt6a2lRoFRQmOf45a1LxPka7zoPy8nurNOxuep9rhX3NrQAFNAVYh4rhaX7Bx4RW/NqSXpxdpjJLQuMns5LkSvVbDJqfqINuU94BUnkECO6fWmlRgrT+kbYlaAtZGjRgwgPSaa2r0BIiEMTo8O3UkBuo5v26H7AZML8pojlHftBeDBYx1Oj5VkNULMJW7DbykIX root@jenkins-master.cuiqinghe.com

4.2.2 添加 ssh key

4.2.3 創建 ssh key

ssh key 只用于免認證獲取代碼

4.2.4 測試 ssh key

測試可以不使用用戶名密碼后直接獲取代碼，僅用于代碼部署，不能用于提交

4.3 配置 jenkins 到 gitlab 非交互拉取代碼

4.3.1 jenkins 服務器添加證書

Jenkins-憑據-jenkins—全局憑據—添加憑據

4.3.2 jenkins 創建 project

4.3.3 配置 git 項目地址和用戶

添加完成的證書沒有報錯表示認證通過

4.3.4 測試構建項目

4.3.4.1 點擊立即構建

4.3.4.2 驗證構建結果

4.3.4.3 服務器驗證數據

4.3.4.4 將代碼部署至后端服務器

先做好key驗證：

[root@jenkins-master ~]#ssh-copy-id magedu@10.0.78.105 [root@jenkins-master ~]#ssh-copy-id magedu@10.0.78.106 #驗證 [root@jenkins-master ~]#ssh magedu@10.0.78.106 Welcome to Ubuntu 18.04.4 LTS (GNU/Linux 4.15.0-117-generic x86_64) magedu@web2:~$

構建?執行 shell，腳本內容：

cd /var/lib/jenkins/workspace/linux36-job1/ tar czvf code.tar.gz index.html scp code.tar.gz www@192.168.7.105:/data/tomcat/tomcat_appdir/ scp code.tar.gz www@192.168.7.106:/data/tomcat/tomcat_appdir/ssh www@192.168.7.105 "/etc/init.d/tomcat stop && rm -rf /data/tomcat/tomcat_webdir/myapp/* && cd /data/tomcat/tomcat_appdir && tar xvf code.tar.gz -C /data/tomcat/tomcat_webdir/myapp/"ssh www@192.168.7.106 "/etc/init.d/tomcat stop && rm -rf /data/tomcat/tomcat_webdir/myapp/* && cd /data/tomcat/tomcat_appdir && tar xvf code.tar.gz -C /data/tomcat/tomcat_webdir/myapp/"ssh www@192.168.7.105 "/etc/init.d/tomcat start" ssh www@192.168.7.106 "/etc/init.d/tomcat start"

第一次構建之后

升級一次代碼在進行構建

[root@jenkins-master opt]#git clone http://10.0.78.101/magedu/web1.git Cloning into 'web1'... Username for 'http://10.0.78.101': tangtang Password for 'http://tangtang@10.0.78.101': remote: Enumerating objects: 15, done. remote: Counting objects: 100% (15/15), done. remote: Compressing objects: 100% (6/6), done. remote: Total 15 (delta 3), reused 15 (delta 3), pack-reused 0 Unpacking objects: 100% (15/15), done.[root@jenkins-master opt]#vim web1/index.html <h2>magedu web1 version11111111111111111</h2> <h2>magedu web1 version22222222222222222</h2> <h2>magedu web1 version33333333333333333</h2> <h2>magedu web1 version44444444444444444</h2> <h2>magedu web1 version55555555555555555</h2> <h2>magedu web1 version66666666666666666</h2>#代碼修改后進行提交 [root@jenkins-master web1]#git add . [root@jenkins-master web1]#git commit -m "v6" `` [master 79f9525] v6Committer: root <root@jenkins-master.cuiqinghe.com> Your name and email address were configured automatically based on your username and hostname. Please check that they are accurate. You can suppress this message by setting them explicitly. Run the following command and follow the instructions in your editor to edit your configuration file:git config --global --editAfter doing this, you may fix the identity used for this commit with:git commit --amend --reset-author1 file changed, 5 insertions(+), 4 deletions(-)[root@jenkins-master web1]#git push Username for 'http://10.0.78.101': root Password for 'http://root@10.0.78.101': Counting objects: 3, done. Compressing objects: 100% (2/2), done. Writing objects: 100% (3/3), 297 bytes | 297.00 KiB/s, done. Total 3 (delta 1), reused 0 (delta 0) To http://10.0.78.101/magedu/web1.git87d5dd4..79f9525 master -> master

腳本不建議放在Jenkins中，不太安全也不太直觀，很多人進來之后都可以改；建議放在Jenkins服務器上，單獨創建一個目錄，如下：

[root@jenkins-master opt]#mkdir /data/scripts -p [root@jenkins-master opt]#cd /data/scripts #每個項目再單獨創建一個目錄 [root@jenkins-master scripts]#mkdir qinghe [root@jenkins-master scripts]#cd qinghe/ [root@jenkins-master qinghe]#vim web-deploy.sh [root@jenkins-master qinghe]#cat web-deploy.sh #!/bin/bash cd /var/lib/jenkins/workspace/qinghe-job1 tar czvf web1.tar.gz ./*scp web1.tar.gz magedu@10.0.78.105:/data/tomcat/tomcat_appdir/ scp web1.tar.gz magedu@10.0.78.106:/data/tomcat/tomcat_appdir/ssh magedu@10.0.78.105 "/etc/init.d/tomcat stop && rm -rf /data/tomcat/tomcat_webapps/web1/* && cd /data/tomcat/tomcat_appdir/ && tar xvf web1.tar.gz -C /data/tomcat/tomcat_webapps/web1/" ssh magedu@10.0.78.106 "/etc/init.d/tomcat stop && rm -rf /data/tomcat/tomcat_webapps/web1/* && cd /data/tomcat/tomcat_appdir/ && tar xvf web1.tar.gz -C /data/tomcat/tomcat_webapps/web1/"ssh magedu@10.0.78.105 "/etc/init.d/tomcat start" ssh magedu@10.0.78.106 "/etc/init.d/tomcat start"[root@jenkins-master qinghe]#chmod +x web-deploy.sh [root@jenkins-master qinghe]#ll /data/scripts/qinghe/web-deploy.sh -rwxr-xr-x 1 root root 684 Sep 16 23:53 /data/scripts/qinghe/web-deploy.sh*

再一次構建之后：

4.4 構建觸發器(鉤子)

構建觸發器(webhook)，有的人稱為鉤子，實際上是一個 HTTP 回調,其用于在開發人員向 gitlab 提交代碼后能夠觸發 jenkins 自動執行代碼構建操作。

以下為新建一個開發分支，只有在開發人員向開發(develop)分支提交代碼的時候才會觸發代碼構建，而向主分支提交的代碼不會自動構建，需要運維人員手動部署代碼到生產環境。（一般是在凌晨，不影響用戶訪問）

由開發先把代碼提交到開發分支，再把開發分支的代碼部署到測試環境

此實驗翻車，原因可能是gitlab版本太舊，Jenkins版本太新

4.4.1 gitlab 新建 develop 分支

4.4.2 gitlab 定義分支名稱并創建

4.4.3 jenkins 安裝插件

#系統管理-管理插件-可選插件-Gitlab Hook 和 Gitlab Authentication

注意事項：
https://jenkins.io/security/advisory/2018-05-09/#SECURITY-263

在 jenkins 系統管理–全局安全設置，認證改為登錄用戶可以做任何事情
取消跨站請求偽造保護的勾選項
Gitlab Hook Plugin 以純文本形式存儲和顯示 GitLab API 令牌

4.4.4 jenkins 修改登錄認證方式

系統管理—全局安全設置–授權策略

以下為舊版本需要的操作，本次實驗中并沒有此項

保存以上配置

4.4.5 jenkins 新建 develop job

4.4.6 jenkins 構建 shell 命令

構建命令為簡單的測試命令，比如輸出當前的賬戶信息

4.4.7 jenkins 配置構建觸發器

生產 token 認證

[root@jenkins-master ~]#openssl rand -hex 12 d082dbd1b373e4eb5e2b9ae7

4.4.8 jenkins 驗證分支 job 配置文件

[root@jenkins-master ~]#vim /var/lib/jenkins/jobs/qinghe-job1/config.xml

4.4.9 curl 命令測試觸發并驗證遠程觸發構建

使用瀏覽器直接訪問 URL 地址
使用 curl 命令訪問 URL

root@jenkins-master:~# curl http://10.0.78.102:8080/job/qinghe-job1/build?token=d082dbd1b373e4eb5e2b9ae7

4.4.10 jenkins 驗證 job 是否自動構建

4.4.11 gitlab 配置 webhook

Admin area—groups/project—System Hooks

4.4.12 測試鉤子可用性

執行結果（老師視頻翻車）

4.4.13 jenkins 執行 shell 命令

將開發分支的執行 shell 命令更改為正式腳本

cd /var/lib/jenkins/workspace/linux36-job1-develop tar czvf code.tar.gz index.html scp code.tar.gz www@192.168.7.105:/data/tomcat/tomcat_appdir/ scp code.tar.gz www@192.168.7.106:/data/tomcat/tomcat_appdir/ssh www@192.168.7.105 "/etc/init.d/tomcat stop && rm -rf /data/tomcat/tomcat_webdir/myapp/* && cd /data/tomcat/tomcat_appdir && tar xvf code.tar.gz -C /data/tomcat/tomcat_webdir/myapp/"ssh www@192.168.7.106 "/etc/init.d/tomcat stop && rm -rf /data/tomcat/tomcat_webdir/myapp/* && cd /data/tomcat/tomcat_appdir && tar xvf code.tar.gz -C /data/tomcat/tomcat_webdir/myapp/"ssh www@192.168.7.105 "/etc/init.d/tomcat start" ssh www@192.168.7.106 "/etc/init.d/tomcat start"

4.4.12 gitlab 開發分支 develop 測試提交代碼

root@gitlab:/opt# git clone -b develop http://192.168.7.101/linux36/web1.git root@gitlab:/opt# cd web1/ root@gitlab:/opt/web1# vim index.html root@gitlab:/opt/web1# git add index.html root@gitlab:/opt/web1# git commit -m "v7" root@gitlab:/opt/web1# git push Username for 'http://192.168.7.101': user1 Password for 'http://user1@192.168.7.101': Counting objects: 3, done. Delta compression using up to 2 threads. Compressing objects: 100% (2/2), done. Writing objects: 100% (3/3), 291 bytes | 291.00 KiB/s, done. Total 3 (delta 1), reused 0 (delta 0) remote: remote: To create a merge request for develop, visit: remote: http://192.168.7.101/linux36/web1/merge_requests/new?merge_request%5Bsource_ branch%5D=develop remote: To http://192.168.7.101/linux36/web1.git 9432b30..5110a70 develop -> develop

4.4.13 jenkins 驗證 develop job 自動構建

4.5 構建后項目關聯

用于多個 job 相互關聯，需要串行執行多個 job 的場景，可以通過安裝插件 Parameterized Trigger 觸發執行其他 project。用的并不多

構建完成后觸發另外一個 project

4.5.1 配置構建后操作

4.5.2 驗證構建后操作

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-MVpOpOHo-1626502810064)(C:\Users\cui\Desktop\課程截圖\38.DevOps之基于Jenkins實現的CI與CD_圖片\image-20200922103722162.png)]

4.6 jenkins 分布式

在眾多 Job 的場景下，單臺 jenkins master 同時執行代碼 clone、編譯、打包及構建，其性能可能會出現瓶頸從而會影響代碼部署效率，影響 jenkins 官方提供了 jenkins 分布式構建，將眾多 job 分散運行到不同的 jenkins slave 節點，大幅提高并行 job 的處理能力。

4.6.1 配置 slave 節點 java 環境

Slave 服務器創建工作目錄，如果 slave 需要執行編譯 job，則也需要配置 java 環境并且安裝 git、 svn、 maven 等與 master 相同的基礎運行環境，另外也要創建與 master 相同的數據目錄，因為腳本中調用的路徑只有相對一 master 的一個路徑，此路徑在master 與各 node 節點必須保持一致。

# mkdir -p /var/lib/jenkins #創建數據目錄 # jenkins home location JENKINS_HOME=/var/lib/$NAME #工作目錄配置與 master 保持一致# vim /etc/profile export HISTTIMEFORMAT="%F %T `whoami` " export export LANG="en_US.utf-8" export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin

4.6.2 添加 slave 節點

Jenkins—系統管理—節點管理—新建節點
添加 slave 節點

部分 jenkins slave 信息

或者選擇不校驗證書（推薦）

4.6.3 添加 slave 認證憑據

4.6.4. slave 節點最終信息

4.6.5 jenkins slave 創建日志

4.6.6 如果 slave 沒有 java 環境則報錯如下

4.6.7 驗證 slave web 狀態

正常狀態

時間不同步狀態

4.6.8 驗證 slave 進程狀態

4.7 pipline

官方介紹； https://jenkins.io/2.0/ #jenkins 2.X 管官方介紹

https://jenkins.io/zh/doc/book/pipeline/ #官方 pipline 示例

pipline 是幫助 Jenkins 實現 CI 到 CD 轉變的重要角色，是運行在 jenkins 2.X 版本的核心插件，簡單來說 Pipline 就是一套運行于 Jenkins 上的工作流框架，將原本獨立運行于單個或者多個節點的任務連接起來，實現單個任務難以完成的復雜發布流程，從而實現單個任務很難實現的復雜流程編排和任務可視化， Pipeline 的實現方式是一套Groovy DSL，任何發布流程都可以表述為一段 Groovy 腳本。

基本流程：

Clone 代碼

代碼質量測試

編譯或打包

代碼分發

服務器下線

停止web服務

代碼替換

啟動web服務

web服務測試

添加到負載均衡

4.7.1 pipline 語法

Stage：階段，一個 pipline 可以劃分為若干個 stage，每個 stage 都是一個操作步驟，比如 clone 代碼、代碼編譯、代碼測試和代碼部署，階段是一個邏輯分組，可以跨多個 node 執行。
Node：節點，每個 node 都是一個 jenkins 節點，可以是 jenkins master 也可以是 jenkins agent， node 是執行 step 的具體服務器。
Step：步驟， step 是 jenkins pipline 最基本的操作單元，從在服務器創建目錄到構建容器鏡像，由各類 Jenkins 插件提供實現，一個 stage 中可以有多個 step，例如 sh “make”

4.7.2 pipline 優勢

可持續性 jenkins 的重啟或者中斷后不影響已經執行的 Pipline Job
支持暫停 pipline 可以選擇停止并等待人工輸入或批準后再繼續執行。
可擴展通過 groovy 的編程更容易的擴展插件。
并行執行通過 groovy 腳本可以實現 step， stage 間的并行執行，和更復雜的相互依賴關系。

4.7.3 pipline job 測試

4.7.3.1 創建 pipline job

4.7.3.2 測試簡單 pipline job 運行

Pipeline 測試命令： node {stage("clone 代碼"){echo "代碼 clone"}stage("代碼構建"){echo "代碼構建"}stage("代碼測試"){echo "代碼測試"}stage("代碼部署"){echo "代碼部署"} }

Jenkins Web 界面配置

4.7.3.3 執行 pipline job

4.7.3.4 自動生成拉取代碼的 pipline 腳本

點擊流水線語法跳轉至生成腳本 URL

生成流水線腳本

4.7.3.5 更改 pipline job

node {stage("clone 代碼"){//sh "cd /data/git/linux41/ && rm -rf web1 && git clone -b master git@10.0.78.101:magedu/web1.git"//sh "cd /data/git/linux41/ && rm -rf web1"sh "cd /var/lib/jenkins/workspace/qinghe-pipline-job1 && rm -rf ./*"git credentialsId: '04bed6a5-7277-4599-b485-9e0773a19d59', url: 'git@10.0.78.101:magedu/web1.git'}stage("代碼構建"){echo "代碼構建"}stage("代碼測試"){echo "代碼測試"}stage("代碼部署"){echo "代碼部署"} }

4.7.3.6 執行 jenkins job

4.7.3.7 驗證 git clone 日志

4.7.3.8 jenkins 服務器驗證 clone 代碼數據

4.7.3.9 pipline 中執 shell 命令打包代碼

4.7.3.10 pipline 部署示例

node {stage("clone 代碼"){sh "cd /var/lib/jenkins/workspace/qinghe-pipline-job1 && rm -rf ./*"git credentialsId: '04bed6a5-7277-4599-b485-9e0773a19d59', url: 'git@10.0.78.101:magedu/web1.git'}stage("代碼構建"){sh 'cd /var/lib/jenkins/workspace/qinghe-pipline-job1 && tar czvf web1.tar.gz ./*'}stage("代碼復制"){sh 'cd /var/lib/jenkins/workspace/qinghe-pipline-job1 && scp web1.tar.gz magedu@10.0.78.105:/data/tomcat/tomcat_appdir/'sh 'cd /var/lib/jenkins/workspace/qinghe-pipline-job1 && scp web1.tar.gz magedu@10.0.78.106:/data/tomcat/tomcat_appdir/'}stage("停止 tomcat 服務"){sh 'ssh magedu@10.0.78.105 "/etc/init.d/tomcat stop"'sh 'ssh magedu@10.0.78.106 "/etc/init.d/tomcat stop"'echo "web服務停止完成，即將開始代碼替換"}stage("代碼部署"){sh 'ssh magedu@10.0.78.105 "rm -rf /data/tomcat/tomcat_webapps/web1/* && cd /data/tomcat/tomcat_appdir/ && tar xvf web1.tar.gz -C /data/tomcat/tomcat_webapps/web1/"'sh 'ssh magedu@10.0.78.106 "rm -rf /data/tomcat/tomcat_webapps/web1/* && cd /data/tomcat/tomcat_appdir/ && tar xvf web1.tar.gz -C /data/tomcat/tomcat_webapps/web1/"'}stage("啟動 tomcat 服務"){sh 'ssh magedu@10.0.78.105 "/etc/init.d/tomcat start"'sh 'ssh magedu@10.0.78.106 "/etc/init.d/tomcat start"'} }

4.7.3.11 執行并驗證 pipline job

在 gitlab 提交代碼，執行 pipline job 并驗證代碼是否最終部署到了 web 服務器。

4.7.3.12 指定 node 節點運行 job

node 節點需要安裝 git 命令

jenkins node1：

# apt-get install git -y

jenkins node2 ：

# apt-get install git -y

node 節點需要打通與 web server 免密鑰登錄

jenkins node1：

[root@jenkins-slave1 ~]#ssh-keygen [root@jenkins-slave1 ~]#ssh-copy-id magedu@10.0.78.105 [root@jenkins-slave1 ~]#ssh-copy-id magedu@10.0.78.106

jenkins node2

[root@jenkins-slave2 ~]#ssh-keygen [root@jenkins-slave2 ~]#ssh-copy-id magedu@10.0.78.105 [root@jenkins-slave2 ~]#ssh-copy-id magedu@10.0.78.106

jenkins pipeline 代碼 :

node("Jenkins-node1"){stage("clone 代碼"){sh "cd /var/lib/jenkins/workspace/qinghe-pipline-job1 && rm -rf ./*"git credentialsId: '04bed6a5-7277-4599-b485-9e0773a19d59', url: 'git@10.0.78.101:magedu/web1.git'}stage("代碼構建"){sh 'cd /var/lib/jenkins/workspace/qinghe-pipline-job1 && tar czvf web1.tar.gz ./*'}stage("代碼復制"){sh 'cd /var/lib/jenkins/workspace/qinghe-pipline-job1 && scp web1.tar.gz magedu@10.0.78.105:/data/tomcat/tomcat_appdir/'sh 'cd /var/lib/jenkins/workspace/qinghe-pipline-job1 && scp web1.tar.gz magedu@10.0.78.106:/data/tomcat/tomcat_appdir/'}stage("停止 tomcat 服務"){sh 'ssh magedu@10.0.78.105 "/etc/init.d/tomcat stop"'sh 'ssh magedu@10.0.78.106 "/etc/init.d/tomcat stop"'echo "web服務停止完成，即將開始代碼替換"}stage("代碼部署"){sh 'ssh magedu@10.0.78.105 "rm -rf /data/tomcat/tomcat_webapps/web1/* && cd /data/tomcat/tomcat_appdir/ && tar xvf web1.tar.gz -C /data/tomcat/tomcat_webapps/web1/"'sh 'ssh magedu@10.0.78.106 "rm -rf /data/tomcat/tomcat_webapps/web1/* && cd /data/tomcat/tomcat_appdir/ && tar xvf web1.tar.gz -C /data/tomcat/tomcat_webapps/web1/"'}stage("啟動 tomcat 服務"){sh 'ssh magedu@10.0.78.105 "/etc/init.d/tomcat start"'sh 'ssh magedu@10.0.78.106 "/etc/init.d/tomcat start"'} }

4.7.3.13 驗證 slave 執行構建

4.7.3.14 驗證 web 服務器代碼版本

Gitlab 重新提交代碼并測試代碼部署

4.8 視圖

視圖可用于歸檔 job 進行分組顯示，比如將一個業務的視圖放在一個視圖顯示，安裝完成 build pipeline 插件之后將會有一個+號用于創建視圖。

4.8.1 安裝 build pipeline 插件

插件安裝完成

4.8.2 創建新的視圖

4.8.3 創建 pipline 視圖

4.8.3.1 定義視圖配置信息

4.8.3.2 web 顯示界面

4.8.4 列表視圖

列表視圖使用場景比較多，用于將一個業務的 job 保存至一個列表視圖進行分類管理，即不同業務的 job 放在不同的列表視圖中。

列表視圖是對眾多 job 推薦使用的分類功能。

4.8.4.1 定義視圖名稱

4.8.4.2 選擇任務

4.8.4.3 最終狀態

4.5 我的視圖

我的視圖會顯示當前賬戶有權限訪問的 job，因此需要提前劃分好權限。用的較少

4.5.1 創建我的視圖

創建后點保存，就會直接看到當前賬戶有權限的 job。

4.5.2 最終狀態

五代碼質量測試

官方網站：http://www.sonarqube.org/

SonarQube 是一個用于代碼質量管理的開放平臺，通過插件機制， SonarQube可以集成不同的測試工具，代碼分析工具，以及持續集成工具，例如 Hudson/Jenkins 等。

下載地址：https://www.sonarqube.org/downloads/

七個維度檢測代碼質量

復雜度分布：代碼復雜度過高將難以理解
重復代碼：程序中包含大量復制、粘貼的代碼而導致代碼臃腫， sonar 可以展示源碼中重復嚴重的地方
單元測試統計：統計并展示單元測試覆蓋率，開發或測試可以清楚測試代碼的覆蓋情況
代碼規則檢查：檢查代碼是否符合規范
注釋率：若代碼注釋過少，特別是人員變動后，其他人接手比較難接手；若過多，又不利于閱讀
潛在的：Bug 檢測潛在的 bug
結構與設計：找出循環，展示包與包、類與類之間的依賴、檢查程序之間耦合度

5.1 代碼測試工具 SonarQube 簡介

7.9.x 版本不再支持 MySQL
https://docs.sonarqube.org/latest/setup/upgrade-notes/

MySQL No Longer Supported
SonarQube no longer supports MySQL. To migrate from MySQL to a supported database, see the
free MySQL Migrator tool.

下載官方安裝文件

5.2 基礎環境依賴

5.2.1 數據庫環境依賴

https://docs.sonarqube.org/6.7/Requirements.html

SonarQube 6.7.X LTS 版本要求數據庫要使用 MySQ 5.6 及以上版本，不支持 5.5 及更早的版
本， 7.9.X LTS 版本不再使用 MySQL。

5.2.2 java 環境依賴

6.7.X 需要使用 Oracle JRE8

7.9.X 需要使用

5.2.3 系統及內核參數

[root@sonarqube ~]#groupadd -g 2020 sonarqube [root@sonarqube ~]#useradd -r -m -s /bin/bash -g 2020 -u 2020 sonarqube #使用普通賬戶啟動 sonarqube [root@sonarqube ~]#vim /etc/sysctl.conf vm.max_map_count=262144 fs.file-max=65536 [root@sonarqube ~]#sysctl -p[root@sonarqube ~]#vim /etc/security/limits.conf sonarqube - nofile 65536 sonarqube - nproc 2048

5.2.4 硬件依賴

CPU/內存/磁盤

5.3 部署 SonarQube

5.3.1 MySQL 數據庫及 SonarQube 6.7.X 部署

5.3.1.1 安裝 MySQL

root@s4:~# apt-get install mysql-server mysql-client root@s4:~# vim /etc/mysql/mysql.conf.d/mysqld.cnf #配置文件路徑 root@s4:~# mysql Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 3 Server version: 5.7.26-0ubuntu0.18.04.1 (Ubuntu)Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.#創建數據庫默認編碼 utf-8 并授權 mysql> create database sonar default character set utf8 collate utf8_general_ci; Query OK, 1 row affected (0.00 sec) mysql> GRANT ALL PRIVILEGES ON sonar.* TO 'sonar'@'%' IDENTIFIED BY '123456'; Query OK, 0 rows affected, 1 warning (0.00 sec)

5.3.1.2 測試 sonar 賬戶連接 mysql

root@s4:~# mysql -usonar -p123456 mysql: [Warning] Using a password on the command line interface can be insecure. Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 6 Server version: 5.7.26-0ubuntu0.18.04.1 (Ubuntu) Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema || sonar | +--------------------+ 2 rows in set (0.00 sec)

5.3.1.3 解壓 sonarqube 并配置文件

sonar 依賴于 java 環境，而且 java 版本必須是 1.8 版本或更高，否則 sonar 啟動失敗
6.7.X 版本的 sonar 需要調用 elasticsearch，而且默認需要使用普通用戶啟動

root@s4:~# cd /usr/local/src/ root@s4:/usr/local/src# unzip sonarqube-6.7.7.zip root@s4:/usr/local/src# ln -sv /usr/local/src/sonarqube-6.7.7 /usr/local/sonarqube '/usr/local/sonarqube' -> '/usr/local/src/sonarqube-6.7.7'root@s4:/usr/local/src# chown sonarqube.sonarqube /usr/local/src/sonarqube-6.7.7 /usr/local/sonarqube -R #更改目錄權限屬主和屬組為 sonarquberoot@s4:/usr/local/src# cd /usr/local/sonarqube root@s4:/usr/local/sonarqube# ll #驗證權限屬主和屬組都為 sonarquberoot@s4:/usr/local/sonarqube# su – sonarqube # 切換為 sonarqube 賬戶 sonarqube@s4:~$ cd /usr/local/sonarqube sonarqube@s4:/usr/local/sonarqube$ vim conf/sonar.propertiessonarqube@s4:/usr/local/sonarqube$ grep "^[a-Z]" conf/sonar.properties sonar.jdbc.username=sonar sonar.jdbc.password=123456 sonar.jdbc.url=jdbc:mysql://127.0.0.1:3306/sonar?useUnicode=true&characterEncoding =utf8&rewriteBatchedStatements=true&useConfigs=maxPerformance&useSSL=false sonar.web.host=0.0.0.0 sonar.web.port=9000

5.3.1.4 啟動 sonarqube

sonarqube@s4:/usr/local/sonarqube$ ./bin/linux-x86-64/sonar.sh start
Starting SonarQube…
Started SonarQube.

驗證日志

5.3.1.5 登錄到 web 界面

點擊有上角 login 登錄，默認用戶名密碼都是 admin

5.3.1.6 安裝中文支持

5.3.1.6.1 查看本地已安裝插件

#插件本地路徑安裝中文插件 sonarqube@s4:~$ ll /usr/local/sonarqube/extensions/plugins/ total 40476 drwxr-xr-x 2 sonarqube sonarqube 4096 Jul 22 18:06 ./ drwxr-xr-x 5 sonarqube sonarqube 4096 Jul 22 18:07 ../ -rw-r--r-- 1 sonarqube sonarqube 92 Apr 16 15:39 README.txt -rw-r--r-- 1 sonarqube sonarqube 2703958 Apr 15 18:38 sonar-csharp-plugin-6.5.0.3866.jar -rw-r--r-- 1 sonarqube sonarqube 1618672 Apr 15 18:38 sonar-flex-plugin-2.3.jar -rw-r--r-- 1 sonarqube sonarqube 6759535 Apr 15 18:38 sonar-java-plugin-4.15.0.12310.jar -rw-r--r-- 1 sonarqube sonarqube 3355702 Apr 15 18:38 sonar-javascript-plugin- 3.2.0.5506.jar -rw-r--r-- 1 sonarqube sonarqube 3022870 Apr 15 18:38 sonar-php-plugin-2.11.0.2485.jar -rw-r--r-- 1 sonarqube sonarqube 4024311 Apr 15 18:38 sonar-python-plugin-1.8.0.1496.jar -rw-r--r-- 1 sonarqube sonarqube 3625962 Apr 15 18:38 sonar-scm-git-plugin-1.3.0.869.jar -rw-r--r-- 1 sonarqube sonarqube 6680471 Apr 15 18:38 sonar-scm-svn-plugin-1.6.0.860.jar -rw-r--r-- 1 sonarqube sonarqube 2250667 Apr 15 18:38 sonar-typescript-plugin- 1.1.0.1079.jar -rw-r--r-- 1 sonarqube sonarqube 7368250 Apr 15 18:38 sonar-xml-plugin-1.4.3.1027.jar

5.6.1.3.2 安裝中文語言插件

administration- Marketplace，在后面的搜索框搜索插件 chinese，然后點 install 安裝
或在插件目錄 /usr/local/sonarqube/extensions/plugins/ 執行以下命令
# wget https://github.com/SonarQubeCommunity/sonar-l10nzh/releases/download/sonar-l10n-zh-plugin-1.11/sonar-l10n-zh-plugin-1.11.jar

5.6.1.3.3 重啟 sonarquebe

Web 界面安裝完成插件后或者在插件目錄下載插件后需要重啟 sonarquebe 服務生效：

sonarqube@s4:~$ /usr/local/sonarqube/bin/linux-x86-64/sonar.sh restart Stopping SonarQube... Waiting for SonarQube to exit... Stopped SonarQube. Starting SonarQube... Started SonarQube.

或者在 web 界面重啟

5.3.1.7 安裝其他插件

Sonarquebe 對代碼的掃描都基于插件實現，因此要安裝要掃描的開發語言插件
Php
Java
Python
內存不足的截圖

5.3.2 PostgreSQL 及 SonarQube 7.9.X 部署

5.3.2.1 安裝 JDK 11

[root@sonarqube ~]#apt-cache madison openjdk-11-jdk openjdk-11-jdk | 11.0.8+10-0ubuntu1~18.04.1 | http://mirrors.huaweicloud.com/ubuntu bionic-security/main amd64 Packages openjdk-11-jdk | 11.0.8+10-0ubuntu1~18.04.1 | http://mirrors.huaweicloud.com/ubuntu bionic-updates/main amd64 Packages openjdk-11-jdk | 10.0.1+10-3ubuntu1 | http://mirrors.huaweicloud.com/ubuntu bionic/main amd64 Packages openjdk-lts | 10.0.1+10-3ubuntu1 | http://mirrors.huaweicloud.com/ubuntu bionic/main Sources openjdk-lts | 11.0.8+10-0ubuntu1~18.04.1 | http://mirrors.huaweicloud.com/ubuntu bionic-security/main Sources openjdk-lts | 11.0.8+10-0ubuntu1~18.04.1 | http://mirrors.huaweicloud.com/ubuntu bionic-updates/main Sources [root@sonarqube ~]#apt install -y openjdk-11-jdk [root@sonarqube ~]#java -version openjdk version "11.0.8" 2020-07-14 OpenJDK Runtime Environment (build 11.0.8+10-post-Ubuntu-0ubuntu118.04.1) OpenJDK 64-Bit Server VM (build 11.0.8+10-post-Ubuntu-0ubuntu118.04.1, mixed mode, sharing)

5.3.2.1 部署 PostgreSQL 服務器

[root@sonarqube ~]#apt-cache madison postgresql postgresql | 10+190ubuntu0.1 | http://mirrors.huaweicloud.com/ubuntu bionic-security/main amd64 Packages postgresql | 10+190ubuntu0.1 | http://mirrors.huaweicloud.com/ubuntu bionic-updates/main amd64 Packages postgresql | 10+190 | http://mirrors.huaweicloud.com/ubuntu bionic/main amd64 Packages postgresql-common | 190 | http://mirrors.huaweicloud.com/ubuntu bionic/main Sources postgresql-common | 190ubuntu0.1 | http://mirrors.huaweicloud.com/ubuntu bionic-security/main Sources postgresql-common | 190ubuntu0.1 | http://mirrors.huaweicloud.com/ubuntu bionic-updates/main Sources [root@sonarqube ~]#apt install postgresql -y

5.3.2.2 配置 postgrepsql

切換到 postgres 操作， PostgresSQL 安裝后會自動創建 postgres 用戶且沒有密碼。

root@sonarqube-server:~# su - postgres postgres@sonarqube-server:~$登錄 postgresql 數據庫： postgres@sonarqube-server:~$ psql -U postgres psql (10.12 (Ubuntu 10.12-0ubuntu0.18.04.1)) Type "help" for help. 創建數據庫并進行授權普通用戶訪問： postgres=# CREATE DATABASE sonar; #創建數據庫 CREATE DATABASE postgres=# CREATE USER sonar WITH ENCRYPTED PASSWORD '123456'; #創建用戶 CREATE ROLE postgres=# GRANT ALL PRIVILEGES ON DATABASE sonar TO sonar; #授權用戶 GRANT postgres=# ALTER DATABASE sonar OWNER TO sonar; #執行變更 ALTER DATABASE postgres=# \q #修改監聽地址 [postgres@sonarqube ~]$vim /etc/postgresql/10/main/postgresql.conf 59 listen_addresses = '*' #開啟遠程訪問 root@sonarqube-server:~# vim /etc/postgresql/10/main/pg_hba.conf 85:local all postgres peer 90:local all all peer 92:host all all 0.0.0.0/0 md594:host all all ::1/128 md5 97:local replication all peer 98:host replication all 127.0.0.1/32 md5 99:host replication all ::1/128 md5 root@sonarqube-server:~# systemctl restart postgresql

5.3.2.2 部署 7.9.X SonarQube

[root@sonarqube ~]#mkdir /apps [root@sonarqube ~]#cd /apps [root@sonarqube apps]#unzip sonarqube-7.9.4.zip [root@sonarqube apps]#ln -sv /apps/sonarqube-7.9.4 /apps/sonarqube '/apps/sonarqube' -> '/apps/sonarqube-7.9.4' [root@sonarqube sonarqube]#chown sonarqube.sonarqube /apps/sonarqube* -R [root@sonarqube sonarqube]#su - sonarqube sonarqube@sonarqube:~$ cd /apps/sonarqube sonarqube@sonarqube:/apps/sonarqube$ vim conf/sonar.properties sonar.jdbc.username=sonar sonar.jdbc.password=123456 sonar.jdbc.url=jdbc:postgresql://10.0.78.108/sonar \#sonar.jdbc.url=jdbc:postgresql://172.31.0.106/sonarqube?currentSchema=my_schemasonarqube@sonarqube:/apps/sonarqube$ ./bin/linux-x86-64/sonar.sh --help Usage: ./bin/linux-x86-64/sonar.sh { console | start | stop | force-stop | restart | status | dump }sonarqube@sonarqube:/apps/sonarqube$ ./bin/linux-x86-64/sonar.sh start Starting SonarQube... Started SonarQube.sonarqube@sonarqube:/apps/sonarqube$ tail logs/* -f

5.3.2.3 驗證 SonarQube

[root@sonarqube ~]#cat /etc/systemd/system/sonarqube.service [Unit] Description=SonarQube service After=syslog.target network.target[Service] Type=simple User=sonarqube Group=sonarqube PermissionsStartOnly=true ExecStart=/usr/bin/nohup /usr/bin/java -Xms32m -Xmx32m -Djava.net.preferIPv4Stack=true -jar /apps/sonarqube-7.9.4/lib/sonar-application-7.9.4.jar StandardOutput=syslog LimitNOFILE=65536 LimitNPROC=8192 TimeoutStartSec=5 Restart=always[Install] WantedBy=multi-user.target[root@sonarqube ~]#systemctl daemon-reload [root@sonarqube ~]#systemctl start sonarqube.service

5.3.2.4 訪問 SonarQube web 界面

登錄賬戶名和密碼默認都是 admin

5.3.2.5 安裝中文插件

5.4 jenkins 服務器部署掃描器 sonar-scanner

下載地址 https://binaries.sonarsource.com/Distribution/sonar-scanner-cli/
官方文檔 https://docs.sonarqube.org/latest/analysis/scan/sonarscanner/

5.4.1 部署 sonar-scanner

sonarqube 通過調用掃描器 sonar-scanner 進行代碼質量分析，即掃描器的具體工作就是掃描代碼

root@jenkins-master:~# cd /apps [root@jenkins-master apps]#unzip sonar-scanner-cli-4.3.0.2102-linux.zip [root@jenkins-master apps]#ln -sv /apps/sonar-scanner-4.3.0.2102-linux/ /apps/sonar-scanner '/apps/sonar-scanner' -> '/apps/sonar-scanner-4.3.0.2102-linux/' [root@jenkins-master apps]#vim sonar-scanner/conf/sonar-scanner.properties #----- Default SonarQube server sonar.host.url=http://10.0.78.108:9000 #----- Default source code encoding sonar.sourceEncoding=UTF-8

5.4.2 準備測試代碼

# unzip sonar-examples-master.zip # cd sonar-examples-master/ # cd projects/languages/php/php-sonar-runner # pwd /usr/local/src/sonar-examples-master/projects/languages/php/php-sonar-runner # ll total 24 drwxr-xr-x 3 root root 4096 Jul 25 2016 ./ drwxr-xr-x 4 root root 4096 Jul 25 2016 ../ -rw-r--r-- 1 root root 453 Jul 25 2016 README.md -rw-r--r-- 1 root root 331 Jul 25 2016 sonar-project.properties drwxr-xr-x 2 root root 4096 Jul 25 2016 src/ -rw-r--r-- 1 root root 272 Jul 25 2016 validation.txt # cat sonar-project.properties 以下為默認生成的配置文件 # Required metadata sonar.projectKey=org.sonarqube:php-simple-sq-scanner #自定義項目 key sonar.projectName=PHP :: Simple Project :: SonarQube Scanner #項目名稱，會顯示在web sonar.projectVersion=1.0 #項目版本 # Comma-separated paths to directories with sources (required) sonar.sources=src #源代碼目錄 # Language sonar.language=php #代碼語言類型 # Encoding of the source files sonar.sourceEncoding=UTF-8 #編碼格式#最終配置 # Required metadata sonar.projectKey=qinghe-web1-key sonar.projectName=qinghe-web1-name sonar.projectVersion=0.1# Comma-separated paths to directories with sources (required) sonar.sources=src# Language sonar.language=py# Encoding of the source files sonar.sourceEncoding=UTF-8

5.4.3 在源代碼目錄執行掃描

#手動在當前項目代碼目錄執行掃描，以下是掃描過程的提示信息，掃描的配置文件
sonar-project.propertie 每個項目都要有

# pwd /usr/local/src/sonar-examples-master/projects/languages/php/php-sonar-runner # /usr/local/sonar-scanner/bin/sonar-scanner

5.4.4 sonarquebe we 界面驗證掃描結果

5.5 jenkins 執行代碼掃描

5.5.1 jenkins 安裝 SonarQube 插件

安裝插件 SonarQube Scanner，然后配置 SonarQube server，系統管理-系統設置。

5.5.2 添加 sonarquebe URL

Jenkins—系統管理—系統設置–SonarQube servers

5.5.3 讓 jenkins 添加 Sonarscanner 掃描器

添加掃描器
Jenkins–系統管理-全局工具配置

5.5.3.1 手動指定絕對路徑

/apps/sonar-scanner-4.3.0.2102-linux/

5.5.3.2 自動安裝

5.4.6 配置掃描

選擇自己的項目（ linuxNN-job1-develop） -構建-execute sonarqube scanner，將配置文件的
內容修改成如下格式填寫完成后點保存

sonar.projectKey=qinghe-web1-key sonar.projectName=qinghe-web1-name sonar.projectVersion=0.1 sonar.sources=src sonar.language=py sonar.sourceEncoding=UTF-8

5.4.7 配置項目進行掃描

5.4.8 構建項目并測試 sonar-scanner 是否生效

點擊項目的立即構建，下圖是執行成功的信息 Started by user jenkinsadmin Building on master in workspace /var/lib/jenkins/workspace/linux36-job1-develop [WS-CLEANUP] Deleting project workspace... [WS-CLEANUP] Deferred wipeout is used... [WS-CLEANUP] Done using credential 0e23c215-2853-4bdf-9198-481f28ac0e1b Cloning the remote Git repository Cloning repository git@192.168.7.101:linux36/web1.git \> git init /var/lib/jenkins/workspace/linux36-job1-develop # timeout=10 Fetching upstream changes from git@192.168.7.101:linux36/web1.git \> git --version # timeout=10 using GIT_SSH to set credentials \> git fetch --tags --progress git@192.168.7.101:linux36/web1.git +refs/heads/*:refs/remotes/origin/* \> git config remote.origin.url git@192.168.7.101:linux36/web1.git # timeout=10 \> git config --add remote.origin.fetch +refs/heads/*:refs/remotes/origin/* # timeout=10 \> git config remote.origin.url git@192.168.7.101:linux36/web1.git # timeout=10 Fetching upstream changes from git@192.168.7.101:linux36/web1.git using GIT_SSH to set credentials \> git fetch --tags --progress git@192.168.7.101:linux36/web1.git +refs/heads/*:refs/remotes/origin/* \> git rev-parse refs/remotes/origin/develop^{commit} # timeout=10 \> git rev-parse refs/remotes/origin/origin/develop^{commit} # timeout=10 Checking out Revision 5110a701d0490d6aa2232ad40f8a245b23c52b5f (refs/remotes/origin/develop) \> git config core.sparsecheckout # timeout=10 \> git checkout -f 5110a701d0490d6aa2232ad40f8a245b23c52b5f Commit message: "v7" \> git rev-list --no-walk 5110a701d0490d6aa2232ad40f8a245b23c52b5f # timeout=10 [linux36-job1-develop] $ /usr/local/src/sonar-scanner-4.0.0.1744-linux/bin/sonar-scanner - Dsonar.host.url=http://192.168.7.104:9000 -Dsonar.language=php -Dsonar.projectName=job1- develop -Dsonar.projectVersion=1.0 -Dsonar.sourceEncoding=UTF-8 -Dsonar.projectKey=job1-develop - Dsonar.sources=./ -Dsonar.projectBaseDir=/var/lib/jenkins/workspace/linux36-job1-develop INFO: Scanner configuration file: /usr/local/src/sonar-scanner-4.0.0.1744-linux/conf/sonarscanner.properties INFO: Project root configuration file: NONE INFO: SonarQube Scanner 4.0.0.1744 INFO: Java 11.0.3 AdoptOpenJDK (64-bit) INFO: Linux 4.15.0-20-generic amd64 INFO: User cache: /root/.sonar/cache INFO: SonarQube server 6.7.7 INFO: Default locale: "en_US", source code encoding: "UTF-8" INFO: Publish mode INFO: Load global settings INFO: Load global settings (done) | time=69ms INFO: Server id: 577C9AC7-AWwZJiIb-_VXsQd7E0lh INFO: User cache: /root/.sonar/cache INFO: Load plugins index INFO: Load plugins index (done) | time=57ms INFO: Plugin [l10nzh] defines 'l10nen' as base plugin. This metadata can be removed from manifest of l10n plugins since version 5.2. INFO: Process project properties INFO: Load project repositories INFO: Load project repositories (done) | time=92ms INFO: Load quality profiles INFO: Load quality profiles (done) | time=39ms INFO: Load active rules INFO: Load active rules (done) | time=913ms INFO: Load metrics repository INFO: Load metrics repository (done) | time=36ms INFO: Project key: job1-develop INFO: ------------- Scan job1-develop INFO: Load server rules INFO: Load server rules (done) | time=83ms INFO: Base dir: /var/lib/jenkins/workspace/linux36-job1-develop INFO: Working dir: /var/lib/jenkins/workspace/linux36-job1-develop/.scannerwork INFO: Source paths: . INFO: Source encoding: UTF-8, default locale: en_US INFO: Language is forced to php INFO: Index files WARN: File '/var/lib/jenkins/workspace/linux36-job1-develop/index.html' is ignored because it doesn't belong to the forced language 'php' INFO: 0 files indexed WARNING: An illegal reflective access operation has occurred WARNING: Illegal reflective access by net.sf.cglib.core.ReflectUtils$1 (file:/root/.sonar/cache/3c43ca34b48e025530485308ddac54a2/sonar-javascript-plugin- 3.2.0.5506.jar) to method java.lang.ClassLoader.defineClass(java.lang.String,byte[],int,int,java.security.ProtectionDomain) WARNING: Please consider reporting this to the maintainers of net.sf.cglib.core.ReflectUtils$1 WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations WARNING: All illegal access operations will be denied in a future release INFO: Sensor SonarJavaXmlFileSensor [java] INFO: Sensor SonarJavaXmlFileSensor [java] (done) | time=0ms INFO: Sensor Analyzer for "php.ini" files [php] INFO: Sensor Analyzer for "php.ini" files [php] (done) | time=16ms INFO: Sensor Zero Coverage Sensor INFO: Sensor Zero Coverage Sensor (done) | time=0ms INFO: Sensor CPD Block Indexer INFO: Sensor CPD Block Indexer (done) | time=0ms INFO: Calculating CPD for 0 files INFO: CPD calculation finished INFO: Analysis report generated in 186ms, dir size=22 KB INFO: Analysis reports compressed in 19ms, zip size=5 KB INFO: Analysis report uploaded in 42ms INFO: ANALYSIS SUCCESSFUL, you can browse http://192.168.7.104:9000/dashboard/index/job1- develop INFO: Note that you will be able to access the updated dashboard once the server has processed the submitted analysis report INFO: More about the report processing at http://192.168.7.104:9000/api/ce/task?id=AWwZi39XBenn7N3kRArM INFO: Task total time: 4.319 s INFO: ------------------------------------------------------------------------ INFO: EXECUTION SUCCESS INFO: ------------------------------------------------------------------------ INFO: Total time: 6.714s INFO: Final Memory: 7M/24M INFO: ------------------------------------------------------------------------ [linux36-job1-develop] $ /bin/sh -xe /tmp/jenkins5134965889873889449.sh \+ cd /var/lib/jenkins/workspace/linux36-job1-develop \+ tar czvf code.tar.gz index.html index.html \+ scp code.tar.gz www@192.168.7.105:/data/tomcat/tomcat_appdir/ \+ scp code.tar.gz www@192.168.7.106:/data/tomcat/tomcat_appdir/ \+ ssh www@192.168.7.105 /etc/init.d/tomcat stop && rm -rf /data/tomcat/tomcat_webdir/myapp/* && cd /data/tomcat/tomcat_appdir && tar xvf code.tar.gz -C /data/tomcat/tomcat_webdir/myapp/ 正在判斷服務狀態，請稍等 3 秒鐘！ 3

5.4.9 查看項目的構建歷史

六實戰案例

將代碼部署到 web 服務器

6.1 創建項目

新建一個項目叫 test-deploy 用于代碼發布，上一個項目 testdemo 可用于代碼測試，當測試階段出現問題的時候也不會立即進行發布，只有當測試通過之后才執行發布的項目
即可

如何將代碼發布到 web 服務器？
可以通過執行命令或腳本的方式進行代碼發布，在各 web 服務器包括Jenkins 服務器創建一個 www 用戶，保持 id 一致，用于啟動 web 服務并進行代碼發布
# useradd www
# echo “123456” | passwd --stdin www
# su -www
$ ssh-keygen

6.2 添加部署 key

添加 Jenkins 服務器 www 用戶的公鑰到 git 服務器項目當中

6.3 確認 key

確認 www 用戶的 key 可以拉取代碼

6.4 Shell 腳本

關于權限
一般使用非 root 用戶啟動 web 服務及完成代碼發布，默認 Jenkins 運行使用的是 Jenkins 用戶，因此需要賦予 Jenkins 用戶一定的權限，另外發布的腳本可以在本機也可以不在本機，需要使用 Jenkins 用戶 ssh到發布服務器執行 shell 腳本。

將腳本放在/home/www 用戶家目錄， git 代碼也放在家目錄，因此需要jenkins 服務器遠程到代碼發布服務器執行遠程命令，需要做免登陸認證，將 jenkins 服務器 root 和

www 用戶的公鑰放在代碼部署服務器的 www 用戶家目錄.ss/authorized_keys 文件中
# su -www

$ vim/home/www/.ssh/authorized_keys

? $ chmod 600 authorized_keys

6.5 驗證 ssh

在 root 用戶和 www 用戶下 ssh 到本機的 www 用戶，確認可以免密碼登錄，以便讓部署服務器將用戶的 key 添加到 know_keys，否則報錯 Hostkey verification failed

6.6 配置 jenkins 用戶 sudu 權限

假如 jenkins 使用普通用戶 jenkins 或其他普通用戶啟動，則要授予 sudo 權限， root 不
需要設置。

# vim/etc/sudoers
56 #Defaults requiretty #不需要 tty
99jenkinsALL=(ALL) NOPASSWD: /usr/bin/ssh #不需要使用密碼即可執行 ssh

腳本內容：

$ cd /home/www/ $ vim deploy.sh \#!/bin/bash echo $USER cd /home/www/myweb1 git pull scp -r ./* www@192.168.10.133:/apps/tomcat/webapps/myapp scp -r ./* www@192.168.10.134:/apps/tomcat/webapps/myapp

6.7 測試執行命令

#在 test-deploy 項目的構建步驟調用，項目-配置-構建 ?

執行結果

6.8 web 服務器免密碼登錄

復制 www 用戶公鑰到各 web 服務器的 www 用戶
$ssh-copy-id www@192.168.10.133
$ssh-copy-id www@192.168.10.134

6.9 gitlab 提交代碼

在另外一臺服務器編輯代碼后重新提交
# git clone http://192.168.10.130/web/myweb1.git
# echo “xxx” >> index.html
# git addindex.html
# git commitindex.html
# gitpush
在 jenkins 執行項目構建
構建項目之前要在 www 用下的 xxx 項目里面進行 git pull 命令。否則第一次更新提示輸入yes 會導致部署失敗
再次提交代碼
構建結果

訪問負載測試

6.10 項目關聯

代碼測試的項目執行成功之后自動調用代碼發布的項目完成代碼部署安裝 Parameterized 插件，系統管理-管理插件-可選插件，搜索Parameterized，如果插件在線安裝不成功可以下載插件到此目錄，然后把屬主屬組改成Jenkins在重啟Jenkins服務即可完成安裝

配置項目 test-demo 的構建后操作， demo 構建完成后自動構建

demp-deploy 項目

添加構建后操作

6.11 定義視圖

安裝 pipeline 插

添加視圖

定

配置視圖

6.12 執行構建

6.13 代碼自動構建

GitLab 觸發 jenkins 構建項目

目的為在公司的測試環境當中一旦開發向 gitlab 倉庫提交成功代碼， gitlab 通知jenkins 進行構建項目、代碼質量測試然后部署至測試環境，注意這只是測試環境，而生產環境依然需要手動部署代碼

6.14 自動構建插件

安裝 Gitlab Hook Plugin 插件
# 系統管理 - 管理插件 - 可選插件 -Gitlab Hook Plugin 和 Build
AuthorizationTokenRoot
Plugin

6.15 Token

# openssl rand -hex 12?
? f7d0ead5398bd808ee139067

6.16 觸發器

?測試成功

6.17 gitlab 觸發

# 插件使用介紹， https://wiki.jenkinsci.org/display/JENKINS/Build+Token+Root+Plugin
\

#選擇項目-設置-webhooks
http://192.168.10.131:8080/buildByToken/build?job=testdemo&token=f7d0ead5398bd808ee139067

格式如下
http://X.X.X.X:8080/buildByToken/build?job=項目名&token=隨機數
保存后進行測試

6.18 測試 gitlab 觸發

在另一臺向 git 服務器提交代碼，驗證是否可以自動部署
# echo “ccc” >>index.html
# git addindex.html
# git commit -m"ccc“
# git push
驗證是否自動構建

6.2 HAProxy

實現在 haproxy 動態增減服務器

6.21 haproxy 動態增減服務器

在 Jenkins 服務器復制 www 用戶的公鑰到 haproxy 服務器

$ ssh-copy-id root@192.168.10.132 # ssh-copy-id root@192.168.10.132 Haproxy 服務器編輯# vim /etc/sudoers 必須要 tty # vim/etc/sudoers root ALL=(ALL) ALL jenkinsALL=(ALL) NOPASSWD: /usr/bin/ssh www ALL=(ALL) ALL 測試 www 和 root 用戶的 ssh 功能

驗證：

開啟功能

# vim/etc/haproxy/haproxy.cfg stats socket /usr/local/haproxy/stats mode 600 level admin 安裝命令并測試? yum install socat #echo "help"| socat stdio /usr/local/haproxy/stats # echo "show info"| socat stdio /usr/local/haproxy/stats #echo "show stat"| socat stdio /usr/local/haproxy/stats # echo "disable server myapp_host/web2"|socat stdio /usr/local/haproxy/stats

分組是為了在代碼分批次上線的時候對后端服務器的一種篩選方法：

編寫 shell 腳本實現自動化部署與回滾

總結

以上是生活随笔為你收集整理的38.DevOps之基于Jenkins实现的CI与CD的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：计算机在日常办公众的应用论文,计算机及应
下一篇：【有利可图网】PS实战系列：PS设计制作