背景

機(jī)器學(xué)習(xí)平臺(tái)資源管理之前使用的是Mesos+Marathon，隨著業(yè)務(wù)的發(fā)展，Mesos+Marathon已經(jīng)不能滿足我們的需求，所以需要使用K8s取代Mesos+Marathon。Alpha管理平臺(tái)需要實(shí)現(xiàn)對(duì)K8s集群的操作。

Alpha管理平臺(tái)基于Spring Boot開發(fā)，需要集成Fabric8來實(shí)現(xiàn)對(duì)K8s集群的操作。本文介紹兩種Fabric8操作Kubernetes集群的方法，分別是【證書訪問】和【kubeconfig訪問】。不多說了，直接開始動(dòng)手寫代碼。

POM依賴

io.fabric8

kubernetes-client

4.2.0

一、證書訪問

1. 配置文件

要初始化Fabric8的KubernetesClient，需要4項(xiàng)配置，分別是：

k8s.url：K8s集群地址

k8s.client-crt：客戶端CA證書

k8s.client-key：客戶端RSA私鑰

k8s.ca-crt：K8s集群CA證書

當(dāng)然，配置項(xiàng)的名稱可以自行定義，這里為了圖省事，我就直接使用了kubelet的證書，從下面的配置可以看到，這些證書位于classpath:k8s目錄下，即/src/main/resources/k8s。

配置文件位于/src/main/resources/application.properties

# k8s 配置

k8s.url=https://10.103.18.42:6443

k8s.client-crt=classpath:k8s/apiserver-kubelet-client.crt

k8s.client-key=classpath:k8s/apiserver-kubelet-client.key

k8s.ca-crt=classpath:k8s/ca.crt

2. 自動(dòng)配置

通過Spring Boot的AutoConfiguration機(jī)制自動(dòng)加載相關(guān)配置。

首先定義K8sProperties內(nèi)部類，并通過@ConfigurationProperties("k8s")注解，指定要綁定的配置項(xiàng)。

從下面的代碼可以看到，我將證書和key文件綁定為Resource對(duì)象，而不是綁定為String直接獲取文件路徑，是因?yàn)镾pring Boot發(fā)布成jar包后，無法通過路徑獲取classpath下的自定義文件，而通過綁定為Resource則可以直接獲取到InputStream從而讀取文件內(nèi)容。

import lombok.Data;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.beans.factory.annotation.Value;

import org.springframework.boot.context.properties.ConfigurationProperties;

import org.springframework.boot.context.properties.EnableConfigurationProperties;

import org.springframework.context.annotation.Bean;

import org.springframework.context.annotation.Configuration;

import org.springframework.core.io.Resource;

import java.util.Map;

@Configuration

@EnableConfigurationProperties(K8sConfig.K8sProperties.class)

public class K8sConfig {

/**

* K8s properties

*/

@Autowired

private K8sProperties k8sProperties;

@Data

@ConfigurationProperties("k8s")

public static class K8sProperties {

private String url;

// 注意用 Resource

@Value("client-crt")

private Resource clientCrt;

@Value("client-key")

private Resource clientKey;

@Value("ca-crt")

private Resource caCrt;

}

@Bean

public K8sUtils k8sUtils() {

if (k8sProperties == null) {

return null;

}

final String url = k8sProperties.getUrl();

if(StringUtils.isEmpty(url)){

return null;

}

return new K8sUtils(k8sProperties);

}

}

3. 初始化KubernetesClient

如果你發(fā)布Spring Boot項(xiàng)目不是使用jar包形式，建議你使用withXxxFile方法，傳入文件絕對(duì)路徑，讓Fabric8自動(dòng)讀取證書和key文件。

否則建議你使用withXxxData方法，直接傳入文件內(nèi)容。

這里有兩處需要特別注意：

讀取到client-crt文件內(nèi)容后，需要先用 Base64 加密，否則會(huì)提示:input null。通過簡(jiǎn)單分析Fabric8，是因?yàn)镕abric8會(huì)先將ClientCertData通過 Base64 解密。

此處需要顯式地通過.withNamespace(null)將Namespace設(shè)為null，因?yàn)镕abric8在初始化Config時(shí)，會(huì)默認(rèn)從環(huán)境變量從讀取當(dāng)前Namespace，如果你的服務(wù)也部署在K8s集群內(nèi)，就會(huì)提示：kubernetesclientexception: namespace mismatch.。

@Slf4j

public class K8sUtils {

private KubernetesClient client;

private Config config;

public K8sUtils(K8sConfig.K8sProperties k8sProperties){

try {

final String k8sUrl = k8sProperties.getUrl();

log.info("k8sUrl : {}", k8sUrl);

if(k8sUrl.startsWith(HTTPS_PREFIX)) {

final String caCrtData = IOUtils.toString(k8sProperties.getCaCrt().getInputStream());

final String clientKeyData = IOUtils.toString(k8sProperties.getClientKey().getInputStream());

// 注意：此處必須先用 Base64 對(duì)證書內(nèi)容加密，否則會(huì)提示 input null

final String clientCrtData = Base64.getEncoder().encodeToString(IOUtils.toByteArray(k8sProperties.getClientCrt().getInputStream()));

log.info("caCrtFile data: {} ", caCrtData);

log.info("clientKeyFile data: {} ", clientKeyData);

log.info("clientCrtFile data: {} ", clientCrtData);

config = new ConfigBuilder().withMasterUrl(k8sUrl)

.withTrustCerts(true)

.withCaCertData(caCrtData)

.withClientCertData(clientCrtData)

.withClientKeyData(clientKeyData)

// 需將 Namespace 初始化為 null

.withNamespace(null)

.build();

}else {

config = new ConfigBuilder().withMasterUrl(k8sUrl).build();

}

client = new DefaultKubernetesClient(config);

}catch (Exception e){

client = null;

log.error("初始化 K8sUtils 失敗！", e);

}

}

public KubernetesClient getClient() {

return client;

}

public Config getConfig(){

return config;

}

}

二、kubeconfig訪問(推薦)

但有時(shí)候因?yàn)槲粗?#xff0c;使用證書訪問時(shí)，在初始化KubernetesClient時(shí)會(huì)提示”java.io.IOException: PEM is invalid: no begin marker “，這個(gè)問題我在網(wǎng)上沒有查到解決方案。

這時(shí)，就可以使用kubeconfig訪問K8s集群。

kubeconfig文件默認(rèn)路徑是/etc/kubernetes/admin.conf

通過kubeconfig與通過證書訪問基本相同，只是配置和初始化過程略有差異，具體修改如下文所示：

1.配置文件

與證書訪問基本相同。

# k8s 配置

k8s.admin-conf=classpath:k8s/admin.conf

2. 自動(dòng)化配置

@Data

@ConfigurationProperties("k8s")

public static class K8sProperties {

private String url;

@Value("admin-conf")

private Resource adminConf;

}

3. 初始化KubernetesClient

public K8sUtils(K8sConfig.K8sProperties k8sProperties){

try {

String adminConfData = IOUtils.toString(k8sProperties.getAdminConf().getInputStream());

config = Config.fromKubeconfig(adminConfData);

client = new DefaultKubernetesClient(config);

}catch (Exception e){

client = null;

log.error("初始化 K8sUtils 失敗！", e);

}

}

總結(jié)

以上是生活随笔為你收集整理的java mesos kubernete_Fabric8操作Kubernetes（一）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。