使用Java客户端操作elasticsearch
常見的配置
前面已介紹過,RestClientBuilder支持同時提供一個RequestConfigCallback和一個HttpClientConfigCallback,你可以定制 the Apache Async Http Client 公開的配置。這兩個回調函數可以修改某些特定的行為,而不會覆蓋RestClient初始化的所有其他默認配置。 本節(jié)介紹一些需要為客戶端進行額外配置的常見場景。
Timeouts
啥都不說了,直接上代碼。該例子演示了連接超時(默認為1秒)和套接字超時(默認為30秒)。 也相應地調整最大重試超時時間(默認為30秒)。
?
RestClientBuilder builder = RestClient.builder(new HttpHost("localhost", 9200)).setRequestConfigCallback(new RestClientBuilder.RequestConfigCallback() {//該方法接收一個RequestConfig.Builder對象,對該對象進行修改后然后返回。 @Overridepublic RequestConfig.Builder customizeRequestConfig(RequestConfig.Builder requestConfigBuilder) {return requestConfigBuilder.setConnectTimeout(5000) //連接超時(默認為1秒).setSocketTimeout(60000);//套接字超時(默認為30秒)}}).setMaxRetryTimeoutMillis(60000);//調整最大重試超時時間(默認為30秒)?
線程數
The Apache Http Async Client默認啟動一個dispatcher線程和供連接管理器使用的多個worker線程,與本地檢測到的處理器數量一樣多(取決于Runtime.getRuntime().availableProcessors()的返回值)。 修改線程數可以如下操作:
?
RestClientBuilder builder = RestClient.builder(new HttpHost("localhost", 9200)).setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {@Overridepublic HttpAsyncClientBuilder customizeHttpClient(HttpAsyncClientBuilder httpClientBuilder) {return httpClientBuilder.setDefaultIOReactorConfig(IOReactorConfig.custom().setIoThreadCount(1).build());}});?
基本認證
同樣直接上代碼
?
final CredentialsProvider credentialsProvider = new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY,new UsernamePasswordCredentials("user", "password"));RestClientBuilder builder = RestClient.builder(new HttpHost("localhost", 9200)).setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {// 該方法接收HttpAsyncClientBuilder的實例作為參數,對其修改后進行返回@Overridepublic HttpAsyncClientBuilder customizeHttpClient(HttpAsyncClientBuilder httpClientBuilder) {return httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);//提供一個默認憑據}});?
搶占式認證可以被禁用,這意味著每個請求都將被發(fā)送,不用去看授權請求頭,在收到HTTP 401響應后,會再次發(fā)送相同的請求,這次會帶上基本的身份認證頭,如果你想這樣做,那么你可以通過HttpAsyncClientBuilder來禁用它:
?
final CredentialsProvider credentialsProvider = new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY,new UsernamePasswordCredentials("user", "password"));RestClientBuilder builder = RestClient.builder(new HttpHost("localhost", 9200)).setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {@Overridepublic HttpAsyncClientBuilder customizeHttpClient(HttpAsyncClientBuilder httpClientBuilder) {httpClientBuilder.disableAuthCaching(); //禁用搶占式身份驗證return httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);}});?
加密通信
加密通信也可以通過HttpClientConfigCallback進行配置。 參數HttpAsyncClientBuilder公開了配置加密通信的多種方法:
?
setSSLContext,setSSLSessionStrategy和setConnectionManager,重要性依次增加。 以下是一個例子: KeyStore truststore = KeyStore.getInstance("jks"); try (InputStream is = Files.newInputStream(keyStorePath)) {truststore.load(is, keyStorePass.toCharArray()); } SSLContextBuilder sslBuilder = SSLContexts.custom().loadTrustMaterial(truststore, null); final SSLContext sslContext = sslBuilder.build(); RestClientBuilder builder = RestClient.builder(new HttpHost("localhost", 9200, "https")).setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {@Overridepublic HttpAsyncClientBuilder customizeHttpClient(HttpAsyncClientBuilder httpClientBuilder) {return httpClientBuilder.setSSLContext(sslContext);}});?
如果未提供明確的配置,則將使用系統默認配置。
其他
如果對其他配置需要修改,可以參考Apache HttpAsyncClient文檔:https://hc.apache.org/httpcomponents-asyncclient-4.1.x/?
如果您的應用程序在安全管理器下運行,可能會采用JVM默認緩存策略:
- A. 域名能夠正確解析的IP地址將會永久緩存;
- B. 域名解析出錯的IP地址會默認緩存10S;
如果客戶端連接到的主機的地址隨時間變化,那么可能你想修改默認的JVM行為。這些可以通過添加?networkaddress.cache.ttl=<timeout>?和?networkaddress.cache.negative.ttl=<timeout>??到您的Java安全策略進行修改。
嗅探器
從運行的Elasticsearch集群中自動發(fā)現節(jié)點,并將其設置到現有的RestClient實例。 默認情況下,它將使用Nodes Info api來檢索屬于集群的節(jié)點,并使用jackson解析響應的json數據??赐曛筮€是不清除說的個啥?那就仔細說說吧。之前我們都是像下面這樣創(chuàng)建客戶端實例的。
RestClient restClient = RestClient.builder(new HttpHost("localhost", 9200, "http"),new HttpHost("localhost", 9201, "http")).build();假設一個集群有100個節(jié)點,如果手動?new?HttpHost("localhost", 9200, "http")?這樣創(chuàng)建100個HttpHost也可以,但是可能會寫到手軟,出錯概率極大。所以就出現了sniffer,它來幫你做這件事。
the REST client sniffer 兼容Elasticsearch 2.x及以上版本??梢栽谶@里找到它的javadoc。
Maven倉庫
The REST client sniffer?與Elasticsearch的發(fā)布周期相同。 發(fā)布的第一版為5.0.0-alpha4。同樣,你也可以自由替換成你想要的版本。 它和通訊的Elasticsearch版本之間沒有關聯。sniffer?支持從Elasticsearch 2.x及其以后的版本獲取節(jié)點列表。
Maven配置
以下是使用maven作為依賴管理器。 將以下內容添加到您的pom.xml文件中:
<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-client-sniffer</artifactId><version>6.2.3</version> </dependency>Gradle配置
以下是使用gradle作為依賴管理器。 將以下內容添加到您的build.gradle文件中:
dependencies {compile 'org.elasticsearch.client:elasticsearch-rest-client-sniffer:6.2.3' }用法
?RestClient實例創(chuàng)建后,就可以將一個Sniffer關聯到它。Sniffer使用RestClient定期(默認每5分鐘)從集群中獲取當前所有節(jié)點的列表,并通過調用RestClient的setHosts方法來更新。
RestClient restClient = RestClient.builder(new HttpHost("localhost", 9200, "http")).build(); Sniffer sniffer = Sniffer.builder(restClient).build();關閉Sniffer是非常重要的,這樣它的后臺線程才能正常關閉并釋放所有資源。 Sniffer對象的生命周期應與RestClient相同,并在客戶端之前關閉:
sniffer.close(); restClient.close();Sniffer默認每5分鐘更新一次節(jié)點。 該時間間隔也可以自定義(以毫秒為單位),如下所示:
RestClient restClient = RestClient.builder(new HttpHost("localhost", 9200, "http")).build(); Sniffer sniffer = Sniffer.builder(restClient).setSniffIntervalMillis(60000).build();也可以在失敗時啟用嗅探,這意味著在每次失敗后,節(jié)點列表將被直接更新。 此種方式需要首先創(chuàng)建SniffOnFailureListener,并在創(chuàng)建RestClient時提供。 同樣,一旦Sniffer被創(chuàng)建,它需要與同一個SniffOnFailureListener實例相關聯,SniffOnFailureListener實例將在每次失敗時通知,并且會使用該Sniffer再執(zhí)行一輪嗅探。
Elasticsearch Nodes Info api在連接到節(jié)點時不會返回使用的協議,而只會返回它們的host:port鍵對,因此默認情況下使用http。 如果想使用https,則必須手動創(chuàng)建ElasticsearchHostsSniffer實例,可按如下方式:
?
RestClient restClient = RestClient.builder(new HttpHost("localhost", 9200, "http")).build(); HostsSniffer hostsSniffer = new ElasticsearchHostsSniffer(restClient,ElasticsearchHostsSniffer.DEFAULT_SNIFF_REQUEST_TIMEOUT,ElasticsearchHostsSniffer.Scheme.HTTPS); Sniffer sniffer = Sniffer.builder(restClient).setHostsSniffer(hostsSniffer).build();?
同樣也可以自定義sniffRequestTimeout,默認為1秒。 在調用the Nodes Info api時timeout參數使用querystring方式傳遞,以便當服務器端的超時時,仍然會返回有效的響應,盡管它可能只包含群集一部分的節(jié)點 。
?
RestClient restClient = RestClient.builder(new HttpHost("localhost", 9200, "http")).build(); HostsSniffer hostsSniffer = new ElasticsearchHostsSniffer(restClient,TimeUnit.SECONDS.toMillis(5),ElasticsearchHostsSniffer.Scheme.HTTP); Sniffer sniffer = Sniffer.builder(restClient).setHostsSniffer(hostsSniffer).build();?
此外,我們可能需要從外部源獲取主機,而不是從Elasticsearch獲取主機。則可以自定義實現HostsSniffer。
?
RestClient restClient = RestClient.builder(new HttpHost("localhost", 9200, "http")).build();HostsSniffer hostsSniffer = new HostsSniffer() {@Overridepublic List<HttpHost> sniffHosts() throws IOException {return null;//從外部獲取主機}};Sniffer sniffer = Sniffer.builder(restClient).setHostsSniffer(hostsSniffer).build();?
?
官方文檔:https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/_common_configuration.html
總結
以上是生活随笔為你收集整理的使用Java客户端操作elasticsearch的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ElasticSearch 实践过程中遇
- 下一篇: 最小二乘、最大似然和最大后验的简单总结