EhCache 分布式缓存/缓存集群
開發環境:
System:Windows
JavaEE Server:tomcat5.0.2.8、tomcat6
JavaSDK: jdk6+
IDE:eclipse、MyEclipse 6.6
?
開發依賴庫:
JDK6、 JavaEE5、ehcache-core-2.5.2.jar
Email:hoojo_@126.com
Blog:http://blog.csdn.net/IBM_hoojo
http://hoojo.cnblogs.com/
http://hoojo.blogjava.net
?
前面2篇文章介紹到Ehcache 整合Spring 使用頁面、對象緩存?http://www.cnblogs.com/hoojo/archive/2012/07/12/2587556.html?
在Spring、Hibernate中使用Ehcache緩存?http://www.cnblogs.com/hoojo/archive/2012/07/12/2587941.html
?
一、緩存系統簡介
EhCache 是一個純 Java 的進程內緩存框架,具有快速、精干等特點,是 Hibernate 中默認的 CacheProvider。
EhCache 應用架構圖,下圖是 EhCache 在應用程序中的位置:
EhCache?的主要特性有:
1. 快速、精干;
2. 簡單;
3. 多種緩存策略;
4. 緩存數據有兩級:內存和磁盤,因此無需擔心容量問題;
5. 緩存數據會在虛擬機重啟的過程中寫入磁盤;
6. 可以通過 RMI、可插入 API 等方式進行分布式緩存;
7. 具有緩存和緩存管理器的偵聽接口;
8. 支持多緩存管理器實例,以及一個實例的多個緩存區域;
9. 提供 Hibernate 的緩存實現;
由于 EhCache 是進程中的緩存系統,一旦將應用部署在集群環境中,每一個節點維護各自的緩存數據,當某個節點對緩存數據進行更新,這些更新的數據無法在其它節點中共享,這不僅會降低節點運行的效率,而且會導致數據不同步的情況發生。例如某個網站采用 A、B 兩個節點作為集群部署,當 A 節點的緩存更新后,而 B 節點緩存尚未更新就可能出現用戶在瀏覽頁面的時候,一會是更新后的數據,一會是尚未更新的數據,盡管我們也可以通過 Session Sticky 技術來將用戶鎖定在某個節點上,但對于一些交互性比較強或者是非 Web 方式的系統來說,Session Sticky 顯然不太適合。
所以就需要用到 EhCache 的集群解決方案。
從1.2版本開始,Ehcache可以使用分布式的緩存了。EhCache?從 1.7?版本開始,支持五種集群方案,分別是:
? Terracotta
? RMI
? JMS
? JGroups
? EhCache Server
其中的三種最為常用集群方式,分別是 RMI、JGroups 以及 EhCache Server 。本文主要介紹RMI的方式。
分布式這個特性是以plugin的方式實現的。Ehcache自帶了一些默認的分布式緩存插件實現,這些插件可以滿足大部分應用的需要。如果需要使用其他的插件那就需要自己開發了,開發者可以通過查看distribution包里的源代碼及JavaDoc來實現它。盡管不是必須的,在使用分布式緩存時理解一些ehcahce的設計思想也是有幫助的。這可以參看分布式緩存設計的頁面。以下的部分將展示如何讓分布式插件同ehcache一起工作。
下面列出的是一些分布式緩存中比較重要的方面:
? 你如何知道集群環境中的其他緩存?
? 分布式傳送的消息是什么形式?
? 什么情況需要進行復制?增加(Puts),更新(Updates)或是失效(Expiries)?
? 采用什么方式進行復制?同步還是異步方式?
為了安裝分布式緩存,你需要配置一個PeerProvider、一個CacheManagerPeerListener,
它們對于一個CacheManager來說是全局的。每個進行分布式操作的cache都要添加一個cacheEventListener來傳送消息。
?
二、集群緩存概念及其配置
正確的元素類型
只有可序列化的元素可以進行復制。一些操作,比如移除,只需要元素的鍵值而不用整個元素;在這樣的操作中即使元素不是可序列化的但鍵值是可序列化的也可以被復制。
成員發現(Peer Discovery)
Ehcache進行集群的時候有一個cache組的概念。每個cache都是其他cache的一個peer,沒有主cache的存在。剛才我們問了一個問題:你如何知道集群環境中的其他緩存?這個問題可以命名為成員發現(Peer Discovery)。
Ehcache提供了兩種機制用來進行成員發現,就像一輛汽車:手動檔和自動檔。要使用一個內置的成員發現機制要在ehcache的配置文件中指定cacheManagerPeerProviderFactory元素的class屬性為
net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory。
自動的成員發現
自動的發現方式用TCP廣播機制來確定和維持一個廣播組。它只需要一個簡單的配置可以自動的在組中添加和移除成員。在集群中也不需要什么優化服務器的知識,這是默認推薦的。
成員每秒向群組發送一個“心跳”。如果一個成員 5秒種都沒有發出信號它將被群組移除。如果一個新的成員發送了一個“心跳”它將被添加進群組。
任何一個用這個配置安裝了復制功能的cache都將被其他的成員發現并標識為可用狀態。
要設置自動的成員發現,需要指定ehcache配置文件中cacheManagerPeerProviderFactory元素的properties屬性,就像下面這樣:
peerDiscovery=automatic
multicastGroupAddress=multicast address | multicast host name
multicastGroupPort=port
timeToLive=0-255 (timeToLive屬性詳見常見問題部分的描述)
示例
假設你在集群中有兩臺服務器。你希望同步sampleCache1和sampleCache2。每臺獨立的服務器都要有這樣的配置:
配置server1和server2
手動進行成員發現
進行手動成員配置要知道每個監聽器的IP地址和端口。成員不能在運行時動態地添加和移除。在技術上很難使用廣播的情況下就可以手動成員發現,例如在集群的服務器之間有一個不能傳送廣播報文的路由器。你也可以用手動成員發現進行單向的數據復制,只讓server2知道server1,而server1不知道server2。
配置手動成員發現,需要指定ehcache配置文件中cacheManagerPeerProviderFactory的properties屬性,像下面這樣:
peerDiscovery=manual rmiUrls=//server:port/cacheName, //server:port/cacheName ...
rmiUrls配置的是服務器cache peers的列表。注意不要重復配置。
示例
假設你在集群中有兩臺服務器。你要同步sampleCache1和sampleCache2。下面是每個服務器需要的配置:
配置server1
?
配置server2
<cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory" properties="peerDiscovery=manual, rmiUrls=//server1:40001/sampleCache11|//server1:40001/sampleCache12"/>配置CacheManagerPeerListener
每個CacheManagerPeerListener監聽從成員們發向當前CacheManager的消息。配置CacheManagerPeerListener需要指定一個CacheManagerPeerListenerFactory,它以插件的機制實現,用來創建CacheManagerPeerListener。
cacheManagerPeerListenerFactory的屬性有:
class – 一個完整的工廠類名。
properties – 只對這個工廠有意義的屬性,使用逗號分隔。
Ehcache有一個內置的基于RMI的分布系統。它的監聽器是RMICacheManagerPeerListener,這個監聽器可以用
RMICacheManagerPeerListenerFactory來配置。
<cacheManagerPeerListenerFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory" properties="hostName=localhost, port=40001, socketTimeoutMillis=2000"/>有效的屬性是:
hostname (可選) – 運行監聽器的服務器名稱。標明了做為集群群組的成員的地址,同時也是你想要控制的從集群中接收消息的接口。
在CacheManager初始化的時候會檢查hostname是否可用。
如果hostName不可用,CacheManager將拒絕啟動并拋出一個連接被拒絕的異常。
如果指定,hostname將使用InetAddress.getLocalHost().getHostAddress()來得到。
警告:不要將localhost配置為本地地址127.0.0.1,因為它在網絡中不可見將會導致不能從遠程服務器接收信息從而不能復制。在同一臺機器上有多個CacheManager的時候,你應該只用localhost來配置。
port – 監聽器監聽的端口。
socketTimeoutMillis (可選) – Socket超時的時間。默認是2000ms。當你socket同步緩存請求地址比較遠,不是本地局域網。你可能需要把這個時間配置大些,不然很可能延時導致同步緩存失敗。
配置CacheReplicators
每個要進行同步的cache都需要設置一個用來向CacheManagerr的成員復制消息的緩存事件監聽器。這個工作要通過為每個cache的配置增加一個cacheEventListenerFactory元素來完成。
<!-- Sample cache named sampleCache2. --> <cache name="sampleCache2" maxElementsInMemory="10" eternal="false" timeToIdleSeconds="100" timeToLiveSeconds="100" overflowToDisk="false"> <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory" properties="replicateAsynchronously=true,replicatePuts=true, replicateUpdates=true, replicateUpdatesViaCopy=false, replicateRemovals=true "/> </cache>class – 使用net.sf.ehcache.distribution.RMICacheReplicatorFactory
這個工廠支持以下屬性:
replicatePuts=true | false – 當一個新元素增加到緩存中的時候是否要復制到其他的peers. 默認是true。
replicateUpdates=true | false – 當一個已經在緩存中存在的元素被覆蓋時是否要進行復制。默認是true。
replicateRemovals= true | false – 當元素移除的時候是否進行復制。默認是true。
replicateAsynchronously=true | false – 復制方式是異步的(指定為true時)還是同步的(指定為false時)。默認是true。
replicatePutsViaCopy=true | false – 當一個新增元素被拷貝到其他的cache中時是否進行復制指定為true時為復制,默認是true。
replicateUpdatesViaCopy=true | false – 當一個元素被拷貝到其他的cache中時是否進行復制(指定為true時為復制),默認是true。
你可以使用ehcache的默認行為從而減少配置的工作量,默認的行為是以異步的方式復制每件事;你可以像下面的例子一樣減少RMICacheReplicatorFactory的屬性配置:
<!-- Sample cache named sampleCache4. All missing RMICacheReplicatorFactory properties default to true --> <cache name="sampleCache4" maxElementsInMemory="10" eternal="true" overflowToDisk="false" memoryStoreEvictionPolicy="LFU"> <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"/> </cache>?
常見的問題
Windows上的Tomcat
有一個Tomcat或者是JDK的bug,在tomcat啟動時如果tomcat的安裝路徑中有空格的話,在啟動時RMI監聽器會失敗。參見http://archives.java.sun.com/cgi-bin/wa?A2=ind0205&L=rmi-users&P=797和http://www.ontotext.com/kim/doc/sys-doc/faq-howto-bugs/known-bugs.html。
由于在Windows上安裝Tomcat默認是裝在“Program Files”文件夾里的,所以這個問題經常發生。
廣播阻斷
自動的peer discovery與廣播息息相關。廣播可能被路由阻攔,像Xen和VMWare這種虛擬化的技術也可以阻攔廣播。如果這些都打開了,你可能還在要將你的網卡的相關配置打開。一個簡單的辦法可以告訴廣播是否有效,
那就是使用ehcache remote debugger來看“心跳”是否可用。
廣播傳播的不夠遠或是傳得太遠
你可以通過設置badly misnamed time to live來控制廣播傳播的距離。用廣播IP協議時,timeToLive的值指的是數據包可以傳遞的域或是范圍。約定如下:
0是限制在同一個服務器
1是限制在同一個子網
32是限制在同一個網站
64是限制在同一個region
128是限制在同一個大洲
255是不限制
譯者按:上面這些資料翻譯的不夠準確,請讀者自行尋找原文理解吧。
在Java實現中默認值是1,也就是在同一個子網中傳播。改變timeToLive屬性可以限制或是擴展傳播的范圍。
?
三、 RMI方式緩存集群/配置分布式緩存
RMI 是 Java 的一種遠程方法調用技術,是一種點對點的基于 Java 對象的通訊方式。EhCache 從 1.2 版本開始就支持 RMI 方式的緩存集群。在集群環境中 EhCache 所有緩存對象的鍵和值都必須是可序列化的,也就是必須實現 java.io.Serializable 接口,這點在其它集群方式下也是需要遵守的。
?
???? 下圖是 RMI 集群模式的結構圖:
??????
采用 RMI 集群模式時,集群中的每個節點都是對等關系,并不存在主節點或者從節點的概念,因此節點間必須有一個機制能夠互相認識對方,必須知道其它節點的信息,包括主機地址、端口號等。EhCache 提供兩種節點的發現方式:手工配置和自動發現。手工配置方式要求在每個節點中配置其它所有節點的連接信息,一旦集群中的節點發生變化時,需要對緩存進行重新配置。
由于 RMI 是 Java 中內置支持的技術,因此使用 RMI 集群模式時,無需引入其它的 Jar 包,EhCache 本身就帶有支持 RMI 集群的功能。使用 RMI 集群模式需要在 ehcache.xml 配置文件中定義 cacheManagerPeerProviderFactory 節點。
?
????? 分布式同步緩存要讓這邊的cache知道對方的cache,叫做Peer Discovery(成員發現)?EHCache實現成員發現的方式有兩種:
1、手動查找
A、 在ehcache.xml中配置PeerDiscovery成員發現對象
????? Server1配置,配置本地hostName、port是400001,分別監聽192.168.8.32:400002的mobileCache和192.168.5.231:400003 的mobileCache。注意這里的mobileCache是緩存的名稱,分別對應著server2、server3的cache的配置。
<?xml version="1.0" encoding="gbk"?> <ehcache xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="ehcache.xsd"> <diskStore path="java.io.tmpdir"/> ? <!-- 集群多臺服務器中的緩存,這里是要同步一些服務器的緩存 server1 hostName:192.168.8.9 port:400001 cacheName:mobileCache server2 hostName:192.168.8.32 port:400002 cacheName:mobileCache server3 hostName:192.168.8.231 port:400003 cacheName:mobileCache 注意:每臺要同步緩存的服務器的RMI通信socket端口都不一樣,在配置的時候注意設置 --> <!-- server1 的cacheManagerPeerProviderFactory配置 --> <cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory" properties="hostName=localhost, port=400001, socketTimeoutMillis=2000, peerDiscovery=manual, rmiUrls=//192.168.8.32:400002/mobileCache|//192.168.5.231:400003/mobileCache" /> </ehcache>以上注意cacheManagerPeerProviderFactory元素出現的位置在diskStore下
?
同樣在你的另外2臺服務器上增加配置
Server2,配置本地host,port為400002,分別同步192.168.8.9:400001的mobileCache和192.168.5.231:400003的mobileCache
<!-- server2 的cacheManagerPeerProviderFactory配置 --> <cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory" properties="hostName=localhost, port=400002, socketTimeoutMillis=2000, peerDiscovery=manual, rmiUrls=//192.168.8.9:400001/mobileCache|//192.168.5.231:400003/mobileCache" />Server3,配置本地host,port為400003,分別同步192.168.8.9:400001的mobileCache緩存和192.168.8.32:400002的mobileCache緩存
<!-- server3 的cacheManagerPeerProviderFactory配置 --> <cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory" properties="hostName=localhost, port=400003, socketTimeoutMillis=2000, peerDiscovery=manual, rmiUrls=//192.168.8.9:400001/mobileCache|//192.168.8.32:400002/mobileCache" />這樣就在三臺不同的服務器上配置了手動查找cache的PeerProvider成員發現的配置了。 值得注意的是你在配置rmiUrls的時候要特別注意url不能重復出現,并且端口、地址都是對的。
如果指定,hostname將使用InetAddress.getLocalHost().getHostAddress()來得到。
警告:不要將localhost配置為本地地址127.0.0.1,因為它在網絡中不可見將會導致不能從遠程服務器接收信息從而不能復制。在同一臺機器上有多個CacheManager的時候,你應該只用localhost來配置。
?
B、 下面配置緩存和緩存同步監聽,需要在每臺服務器中的ehcache.xml文件中增加cache配置和cacheEventListenerFactory、cacheLoaderFactory的配置
<defaultCache maxElementsInMemory="10000" eternal="false" timeToIdleSeconds="30" timeToLiveSeconds="30" overflowToDisk="false"/> <!-- 配置自定義緩存 maxElementsInMemory:緩存中允許創建的最大對象數 eternal:緩存中對象是否為永久的,如果是,超時設置將被忽略,對象從不過期。 timeToIdleSeconds:緩存數據空閑的最大時間,也就是說如果有一個緩存有多久沒有被訪問就會被銷毀,如果該值是 0 就意味著元素可以停頓無窮長的時間。 timeToLiveSeconds:緩存數據存活的時間,緩存對象最大的的存活時間,超過這個時間就會被銷毀,這只能在元素不是永久駐留時有效,如果該值是0就意味著元素可以停頓無窮長的時間。 overflowToDisk:內存不足時,是否啟用磁盤緩存。 memoryStoreEvictionPolicy:緩存滿了之后的淘汰算法。 每一個小時更新一次緩存(1小時過期) --> <cache name="mobileCache" maxElementsInMemory="10000" eternal="false" overflowToDisk="true" timeToIdleSeconds="1800" timeToLiveSeconds="3600" memoryStoreEvictionPolicy="LFU"> <!-- RMI緩存分布同步查找 class使用net.sf.ehcache.distribution.RMICacheReplicatorFactory 這個工廠支持以下屬性: replicatePuts=true | false – 當一個新元素增加到緩存中的時候是否要復制到其他的peers。默認是true。 replicateUpdates=true | false – 當一個已經在緩存中存在的元素被覆蓋時是否要進行復制。默認是true。 replicateRemovals= true | false – 當元素移除的時候是否進行復制。默認是true。 replicateAsynchronously=true | false – 復制方式是異步的指定為true時,還是同步的,指定為false時。默認是true。 replicatePutsViaCopy=true | false – 當一個新增元素被拷貝到其他的cache中時是否進行復制指定為true時為復制,默認是true。 replicateUpdatesViaCopy=true | false – 當一個元素被拷貝到其他的cache中時是否進行復制指定為true時為復制,默認是true。 asynchronousReplicationIntervalMillis=1000 --> <!-- 監聽RMI同步緩存對象配置 注冊相應的的緩存監聽類,用于處理緩存事件,如put,remove,update,和expire --> <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory" properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true, replicateUpdatesViaCopy=false, replicateRemovals=true "/> <!-- 用于在初始化緩存,以及自動設置 --> <bootstrapCacheLoaderFactory class="net.sf.ehcache.bootstrap.BootstrapCacheLoaderFactory"/> </cache>?
C、 這樣就完成了3臺服務器的配置,下面給出server1的完整的ehcache.xml的配置
<?xml version="1.0" encoding="gbk"?> <ehcache xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="ehcache.xsd"> <diskStore path="java.io.tmpdir"/> ? <!-- 集群多臺服務器中的緩存,這里是要同步一些服務器的緩存 server1 hostName:192.168.8.9 port:400001 cacheName:mobileCache server2 hostName:192.168.8.32 port:400002 cacheName:mobileCache server3 hostName:192.168.8.231 port:400003 cacheName:mobileCache 注意每臺要同步緩存的服務器的RMI通信socket端口都不一樣,在配置的時候注意設置 --> <!-- server1 的cacheManagerPeerProviderFactory配置 --> <cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory" properties="hostName=localhost, port=400001, socketTimeoutMillis=2000, peerDiscovery=manual, rmiUrls=//192.168.8.32:400002/mobileCache|//192.168.5.231:400003/mobileCache" /> <defaultCache maxElementsInMemory="10000" eternal="false" timeToIdleSeconds="30" timeToLiveSeconds="30" overflowToDisk="false"/> <!-- 配置自定義緩存 maxElementsInMemory:緩存中允許創建的最大對象數 eternal:緩存中對象是否為永久的,如果是,超時設置將被忽略,對象從不過期。 timeToIdleSeconds:緩存數據空閑的最大時間,也就是說如果有一個緩存有多久沒有被訪問就會被銷毀, 如果該值是 0 就意味著元素可以停頓無窮長的時間。 timeToLiveSeconds:緩存數據存活的時間,緩存對象最大的的存活時間,超過這個時間就會被銷毀, 這只能在元素不是永久駐留時有效,如果該值是0就意味著元素可以停頓無窮長的時間。 overflowToDisk:內存不足時,是否啟用磁盤緩存。 memoryStoreEvictionPolicy:緩存滿了之后的淘汰算法。 每一個小時更新一次緩存(1小時過期) --> <cache name="mobileCache" maxElementsInMemory="10000" eternal="false" overflowToDisk="true" timeToIdleSeconds="1800" timeToLiveSeconds="3600" memoryStoreEvictionPolicy="LFU"> <!-- RMI緩存分布同步查找 class使用net.sf.ehcache.distribution.RMICacheReplicatorFactory 這個工廠支持以下屬性: replicatePuts=true | false – 當一個新元素增加到緩存中的時候是否要復制到其他的peers。默認是true。 replicateUpdates=true | false – 當一個已經在緩存中存在的元素被覆蓋時是否要進行復制。默認是true。 replicateRemovals= true | false – 當元素移除的時候是否進行復制。默認是true。 replicateAsynchronously=true | false – 復制方式是異步的指定為true時,還是同步的,指定為false時。默認是true。 replicatePutsViaCopy=true | false – 當一個新增元素被拷貝到其他的cache中時是否進行復制指定為true時為復制,默認是true。 replicateUpdatesViaCopy=true | false – 當一個元素被拷貝到其他的cache中時是否進行復制指定為true時為復制,默認是true。 asynchronousReplicationIntervalMillis=1000 --> <!-- 監聽RMI同步緩存對象配置 注冊相應的的緩存監聽類,用于處理緩存事件,如put,remove,update,和expire --> <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory" properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true, replicateUpdatesViaCopy=false, replicateRemovals=true "/> <!-- 用于在初始化緩存,以及自動設置 --> <bootstrapCacheLoaderFactory class="net.sf.ehcache.bootstrap.BootstrapCacheLoaderFactory"/> </cache> </ehcache>2、自動發現
自動發現配置和手動查找的方式有一點不同,其他的地方都基本是一樣的。同樣在ehcache.xml中增加配置,配置如下
<!-- 搜索某個網段上的緩存 timeToLive 0是限制在同一個服務器 1是限制在同一個子網 32是限制在同一個網站 64是限制在同一個region 128是限制在同一個大洲 255是不限制 --> <cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory" properties="peerDiscovery=automatic, multicastGroupAddress=192.168.0.1, multicastGroupPort=400004, timeToLive=32" />其他的配置和手動查找方式的配置是一樣的,這里就不再贅述了。關于ehcache的其他緩存配置方式這里將不再介紹,大家可以自己去研究。可以參考:
官方文檔:http://www.ehcache.org/documentation/user-guide/cache-topologies#using-a-cache-server
ibm developerworks文檔:http://www.ibm.com/developerworks/cn/java/j-lo-ehcache/index.html
JGroups 集群模式
EhCache 從 1.5. 版本開始增加了 JGroups 的分布式集群模式。與 RMI 方式相比較, JGroups 提供了一個非常靈活的協議棧、可靠的單播和多播消息傳輸,主要的缺點是配置復雜以及一些協議棧對第三方包的依賴。
JGroups 也提供了基于 TCP 的單播 ( Unicast ) 和基于 UDP 的多播 ( Multicast ) ,對應 RMI 的手工配置和自動發現。使用單播方式需要指定其它節點的主機地址和端口,下面是兩個節點,并使用了單播方式的配置:
<cacheManagerPeerProviderFactoryclass="net.sf.ehcache.distribution.jgroups.JGroupsCacheManagerPeerProviderFactory"properties="connect=TCP(start_port=7800):TCPPING(initial_hosts=host1[7800],host2[7800];port_range=10;timeout=3000;num_initial_members=3;up_thread=true;down_thread=true):VERIFY_SUSPECT(timeout=1500;down_thread=false;up_thread=false):pbcast.NAKACK(down_thread=true;up_thread=true;gc_lag=100;retransmit_timeout=3000):pbcast.GMS(join_timeout=5000;join_retry_timeout=2000;shun=false;print_local_addr=false;down_thread=true;up_thread=true)" propertySeparator="::" />使用多播方式配置如下:
<cacheManagerPeerProviderFactoryclass="net.sf.ehcache.distribution.jgroups.JGroupsCacheManagerPeerProviderFactory"properties="connect=UDP(mcast_addr=231.12.21.132;mcast_port=45566;):PING:MERGE2:FD_SOCK:VERIFY_SUSPECT:pbcast.NAKACK:UNICAST:pbcast.STABLE:FRAG:pbcast.GMS"propertySeparator="::" />從上面的配置來看,JGroups 的配置要比 RMI 復雜得多,但也提供更多的微調參數,有助于提升緩存數據復制的性能。詳細的 JGroups 配置參數的具體意義可參考 JGroups 的配置手冊。
JGroups 方式對應緩存節點的配置信息如下:
<cache name="sampleCache2"maxElementsInMemory="10"eternal="false"timeToIdleSeconds="100"timeToLiveSeconds="100"overflowToDisk="false"><cacheEventListenerFactoryclass="net.sf.ehcache.distribution.jgroups.JGroupsCacheReplicatorFactory"properties="replicateAsynchronously=true, replicatePuts=true,replicateUpdates=true, replicateUpdatesViaCopy=false, replicateRemovals=true" /> </cache>使用組播方式的注意事項
使用 JGroups 需要引入 JGroups 的 Jar 包以及 EhCache 對 JGroups 的封裝包 ehcache-jgroupsreplication-xxx.jar 。
在一些啟用了 IPv6 的電腦中,經常啟動的時候報如下錯誤信息:
java.lang.RuntimeException: the type of the stack (IPv6) and the user supplied addresses (IPv4) don't match: /231.12.21.132.
解決的辦法是增加 JVM 參數:-Djava.net.preferIPv4Stack=true。如果是 Tomcat 服務器,可在 catalina.bat 或者 catalina.sh 中增加如下環境變量即可:
SET CATALINA_OPTS=-Djava.net.preferIPv4Stack=true經過實際測試發現,集群方式下的緩存數據都可以在 1 秒鐘之內完成到其節點的復制。
EhCache Server
與前面介紹的兩種集群方案不同的是, EhCache Server 是一個獨立的緩存服務器,其內部使用 EhCache 做為緩存系統,可利用前面提到的兩種方式進行內部集群。對外提供編程語言無關的基于 HTTP 的 RESTful 或者是 SOAP 的數據緩存操作接口。
下面是 EhCache Server 提供的對緩存數據進行操作的方法:
OPTIONS /{cache}}
獲取某個緩存的可用操作的信息。
HEAD /{cache}/{element}
獲取緩存中某個元素的 HTTP 頭信息,例如:
curl --head http://localhost:8080/ehcache/rest/sampleCache2/2EhCache Server 返回的信息如下:
HTTP/1.1 200 OK X-Powered-By: Servlet/2.5 Server: GlassFish/v3 Last-Modified: Sun, 27 Jul 2008 08:08:49 GMT ETag: "1217146129490" Content-Type: text/plain; charset=iso-8859-1 Content-Length: 157 Date: Sun, 27 Jul 2008 08:17:09 GMTGET /{cache}/{element}
讀取緩存中某個數據的值。
PUT /{cache}/{element}
寫緩存。
由于這些操作都是基于 HTTP 協議的,因此你可以在任何一種編程語言中使用它,例如 Perl、PHP 和 Ruby 等等。
下圖是 EhCache Server 在應用中的架構:
圖 3. EhCache Server 應用架構圖
EhCache Server 同時也提供強大的安全機制、監控功能。在數據存儲方面,最大的 Ehcache 單實例在內存中可以緩存 20GB。最大的磁盤可以緩存 100GB。通過將節點整合在一起,這樣緩存數據就可以跨越節點,以此獲得更大的容量。將緩存 20GB 的 50 個節點整合在一起就是 1TB 了。
總結
以上我們介紹了三種 EhCache 的集群方案,除了第三種跨編程語言的方案外,EhCache 的集群對應用程序的代碼編寫都是透明的,程序人員無需考慮緩存數據是如何復制到其它節點上。既保持了代碼的輕量級,同時又支持龐大的數據集群。EhCache 可謂是深入人心。
2009 年年中,Terracotta 宣布收購 EhCache 產品。Terracotta 公司的產品 Terracotta 是一個 JVM 級的開源群集框架,提供 HTTP Session 復制、分布式緩存、POJO 群集、跨越集群的 JVM 來實現分布式應用程序協調。最近 EhCache 主要的改進都集中在跟 Terracotta 框架的集成上,這是一個真正意義上的企業級緩存解決方案。
=======================================================================
ehcache提供三種網絡連接策略來實現集群,rmi,jgroup還有jms。同時ehcache可以可以實現多播的方式實現集群,也可以手動指定集群主機序列實現集群
Ehcache支持的分布式緩存支持有三種RMI,JGroups,JMS,這里介紹下MRI和JGrpups兩種方式,Ehcache使用版本為1.5.0,關于ehcache的其他信息請參http://ehcache.sourceforge.net/EhcacheUserGuide.html,
關于jgroups的信息請參考http://www.jgroups.org/manual/html_single/index.html。
環境為兩臺機器 server1 ip:192.168.2.154,server2 ip:192.168.2.23
1. RMI方式:
rmi的方式配置要點(下面均是server1上的配置,server2上的只需要把ip兌換即可)
a. 配置PeerProvider:
<cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory" properties="peerDiscovery=manual,rmiUrls=//192.168.2.23:40001/userCache|//192.168.2.23:40001/resourceCache" />配置中通過手動方式同步sever2中的userCache和resourceCache。
b. 配置CacheManagerPeerListener:
<cacheManagerPeerListenerFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory" properties="hostName=192.168.2.154, port=40001,socketTimeoutMillis=2000" />配置中server1監聽本機40001端口。
c. 在每一個cache中添加cacheEventListener,例子如下:
<cache name="userCache" maxElementsInMemory="10000" eternal="true" overflowToDisk="true" timeToIdleSeconds="0" timeToLiveSeconds="0"diskPersistent="false" diskExpiryThreadIntervalSeconds="120"> <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory" properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true,replicateUpdatesViaCopy= false, replicateRemovals= true " /> </cache>屬性解釋:
必須屬性:
??????? name:設置緩存的名稱,用于標志緩存,惟一
??????? maxElementsInMemory:在內存中最大的對象數量
??????? maxElementsOnDisk:在DiskStore中的最大對象數量,如為0,則沒有限制
??????? eternal:設置元素是否永久的,如果為永久,則timeout忽略
??????? overflowToDisk:是否當memory中的數量達到限制后,保存到Disk
可選的屬性:
??????? timeToIdleSeconds:設置元素過期前的空閑時間
??????? timeToLiveSeconds:設置元素過期前的活動時間
??????? diskPersistent:是否disk store在虛擬機啟動時持久化。默認為false
?? diskExpiryThreadIntervalSeconds:運行disk終結線程的時間,默認為120秒
??????? memoryStoreEvictionPolicy:策略關于Eviction
緩存子元素:
??? cacheEventListenerFactory:注冊相應的的緩存監聽類,用于處理緩存事件,如put,remove,update,和expire
??? bootstrapCacheLoaderFactory:指定相應的BootstrapCacheLoader,用于在初始化緩存,以及自動設置。
?
參考另外一篇學習筆記http://wozailongyou.javaeye.com/blog/230252,也有集群的說明
2. JGroups方式:
ehcache 1.5.0之后版本支持的一種方式,配置起來比較簡單,要點:
a. 配置PeerProvider,使用tcp的方式,例子如下:
<cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.jgroups.JGroupsCacheManagerPeerProviderFactory" properties="connect=TCP(start_port=7800): TCPPING(initial_hosts=192.168.2.154[7800],192.168.2.23[7800];port_range=10;timeout=3000; num_initial_members=3;up_thread=true;down_thread=true): VERIFY_SUSPECT(timeout=1500;down_thread=false;up_thread=false): pbcast.NAKACK(down_thread=true;up_thread=true;gc_lag=100;retransmit_timeout=3000): pbcast.GMS(join_timeout=5000;join_retry_timeout=2000;shun=false; print_local_addr=false;down_thread=true;up_thread=true)" propertySeparator="::" />b.為每個cache添加cacheEventListener:
<cache name="userCache" maxElementsInMemory="10000" eternal="true" overflowToDisk="true" timeToIdleSeconds="0" timeToLiveSeconds="0" diskPersistent="false" diskExpiryThreadIntervalSeconds="120"> <cacheEventListenerFactory class="net.sf.ehcache.distribution.jgroups.JGroupsCacheReplicatorFactory" properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true, replicateUpdatesViaCopy=false, replicateRemovals=true"/> </cache>JGroup方式配置的兩個server上的配置文件一樣,若有多個server,在initial_hosts中將server ip加上即可。
一個完整的ehcache.xml文件:
<?xml version="1.0" encoding="UTF-8"?> <ehcache xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="http://ehcache.sf.net/ehcache.xsd"> <diskStore path="java.io.tmpdir" /> <cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.jgroups.JGroupsCacheManagerPeerProviderFactory" properties="connect=TCP(start_port=7800): TCPPING(initial_hosts=192.168.2.154[7800],192.168.2.23[7800];port_range=10;timeout=3000; num_initial_members=3;up_thread=true;down_thread=true): VERIFY_SUSPECT(timeout=1500;down_thread=false;up_thread=false): pbcast.NAKACK(down_thread=true;up_thread=true;gc_lag=100;retransmit_timeout=3000): pbcast.GMS(join_timeout=5000;join_retry_timeout=2000;shun=false; print_local_addr=false;down_thread=true;up_thread=true)" propertySeparator="::" /> <defaultCache maxElementsInMemory="10000" eternal="true" overflowToDisk="true" timeToIdleSeconds="0" timeToLiveSeconds="0" diskPersistent="false" diskExpiryThreadIntervalSeconds="120"> <cacheEventListenerFactory class="net.sf.ehcache.distribution.jgroups.JGroupsCacheReplicatorFactory" properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true, replicateUpdatesViaCopy=false, replicateRemovals=true"/> </defaultCache> <cache name="velcroCache" maxElementsInMemory="10000" eternal="true" overflowToDisk="true" timeToIdleSeconds="0" timeToLiveSeconds="0" diskPersistent="false" diskExpiryThreadIntervalSeconds="120"> <cacheEventListenerFactory class="net.sf.ehcache.distribution.jgroups.JGroupsCacheReplicatorFactory" properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true, replicateUpdatesViaCopy=false, replicateRemovals=true"/> </cache> <cache name="userCache" maxElementsInMemory="10000" eternal="true" overflowToDisk="true" timeToIdleSeconds="0" timeToLiveSeconds="0" diskPersistent="false" diskExpiryThreadIntervalSeconds="120"> <cacheEventListenerFactory class="net.sf.ehcache.distribution.jgroups.JGroupsCacheReplicatorFactory" properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true, replicateUpdatesViaCopy=false, replicateRemovals=true"/> </cache> <cache name="resourceCache" maxElementsInMemory="10000" eternal="true" overflowToDisk="true" timeToIdleSeconds="0" timeToLiveSeconds="0" diskPersistent="false" diskExpiryThreadIntervalSeconds="120"> <cacheEventListenerFactory class="net.sf.ehcache.distribution.jgroups.JGroupsCacheReplicatorFactory" properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true, replicateUpdatesViaCopy=false, replicateRemovals=true"/> </cache> </ehcache>?
轉載于:https://www.cnblogs.com/duanxz/p/4919132.html
總結
以上是生活随笔為你收集整理的EhCache 分布式缓存/缓存集群的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 桥叔时间
- 下一篇: [转]创建一个JavaScript弹出D