Zookeeper是Hadoop的分布式協(xié)調(diào)服務(wù)。

?

Zookeeper是簡(jiǎn)單的，它的核心是一個(gè)精簡(jiǎn)的文件系統(tǒng)，它提供一些簡(jiǎn)單的操作和額外的抽象操作，如排序和通知。

Zookeeper表現(xiàn)力足夠強(qiáng)，它的原語(yǔ)操作是一組豐富的構(gòu)件，可用于實(shí)現(xiàn)很多協(xié)調(diào)數(shù)據(jù)結(jié)構(gòu)和協(xié)議。如分布式隊(duì)列，分布式鎖和一組同級(jí)別的領(lǐng)導(dǎo)者選舉等。

Zookeeper具有高可用性，它運(yùn)行在一組機(jī)器之上，并且在設(shè)計(jì)上具有高可用性，可以幫助系統(tǒng)避免單點(diǎn)故障。

Zookeeper采用松耦合交互方式，參與者不需要彼此了解。

Zookeeper是一個(gè)資源庫(kù)，它提供了一個(gè)關(guān)于通用協(xié)調(diào)模式實(shí)現(xiàn)和方法的開(kāi)源共享存儲(chǔ)庫(kù)，能使程序員免于編寫(xiě)這類(lèi)通用的協(xié)議。

Zookeeper也是高性能的，對(duì)于以寫(xiě)為主的基準(zhǔn)吞吐量，已經(jīng)超過(guò) 10000 ops，以讀為主的話還要高好幾倍。

?

?

Zookeeper可以被看成高可用的文件系統(tǒng)，但它沒(méi)有文件和目錄，因此可以看成一個(gè)由節(jié)點(diǎn)組成的目錄樹(shù)，節(jié)點(diǎn)統(tǒng)一稱(chēng)為znode，最多可以存儲(chǔ)1M的內(nèi)容。Znode的讀寫(xiě)操作都是原語(yǔ)操作，即讀寫(xiě)都是全部讀或全部寫(xiě)，不存在讀一部分和寫(xiě)一部分的操作，當(dāng)然，也不能追加內(nèi)容。因此，Zookeeper還有個(gè)組的概念，可以以組名命名父節(jié)點(diǎn)，成員作為子節(jié)點(diǎn)。

?

一個(gè)簡(jiǎn)單的例子：

?

public class CreateGroup implements Watcher {

private static final int SESSION_TIMEOUT = 5000;

private ZooKeeper zk;

private CountDownLatch connectedSignal = new CountDownLatch(1);

public void connect(String hosts) throws IOException, InterruptedException {

zk = new ZooKeeper(hosts, SESSION_TIMEOUT, this);

connectedSignal.await();

}

@Override

public void process(WatchedEvent event) { // Watcher interface

if (event.getState() == KeeperState.SyncConnected) {

connectedSignal.countDown();

}

}

public void create(String groupName) throws KeeperException,

InterruptedException {

String path = "/" + groupName;

String createdPath = zk.create(path, null/*data*/, Ids.OPEN_ACL_UNSAFE,

CreateMode.PERSISTENT);

System.out.println("Created " + createdPath);

}

public void close() throws InterruptedException {

zk.close();

}

public static void main(String[] args) throws Exception {

CreateGroup createGroup = new CreateGroup();

createGroup.connect(args[0]);

createGroup.create(args[1]);

createGroup.close();

}

}

?

主要需要理解的一個(gè)是 Watcher接口，一個(gè)是connectedSignal。

Watcher對(duì)象主要接收Zookeeper的回調(diào)，以 獲得各種事件的通知。它接口中只有一個(gè)方法，process（WatchedEvent event），根據(jù)event的可以做處理。

當(dāng)一個(gè)Zookeeper實(shí)例被創(chuàng)建時(shí)，會(huì)啟動(dòng)一個(gè)線程連接到Zookeeper服務(wù)。由于構(gòu)造函數(shù)是立即返回，因此使用新建的實(shí)例之前，要確保Zookeeper之間的連接已經(jīng)建立。這時(shí)需要使用一個(gè)CountDownLatch類(lèi)來(lái)完成這個(gè)工作。關(guān)于CountDownLatch的使用，可以參考這篇文章：淺析Java中CountDownLatch用法。

Znode以某種方式變化時(shí)，觀察機(jī)制可以讓客戶(hù)端得到通知。因此，可以在讀操作如 exists/getChildren/getData上設(shè)置觀察，寫(xiě)操作create/delete和setData會(huì)觸發(fā)觀察器，產(chǎn)生一個(gè)觀察事件。

Zookeeper客戶(hù)端API

Zookeeper提供兩種API：同步執(zhí)行的和異步執(zhí)行的。

同步的直接返回Stat

public Stat exists(String path, Watcher watcher) throws KeeperException, InterruptedException

Stat是包含該znode元數(shù)據(jù)的對(duì)象。

異步接口使用回調(diào)實(shí)現(xiàn)：

public void exists(String path, Watcher watcher, StatCallback cb, Object ctx)

?

StatCallback接口有以下方法：

public void processResult(int rc, String path, Object ctx, Stat stat);

其中，rc參數(shù)是返回代碼，對(duì)應(yīng)KeeperException的代碼，每個(gè)非零代碼都代表一個(gè)異常。

異步API允許你一流線方式處理請(qǐng)求，這在某些情況下可以提供更好的吞吐量。對(duì)于以事件驅(qū)動(dòng)模型編程來(lái)說(shuō)，異步也更適合。

?

ACL

每個(gè)znode被創(chuàng)建時(shí)，都會(huì)帶一個(gè)ACL列表，用于決定誰(shuí)可以對(duì)他執(zhí)行何種操作。ACL依賴(lài)于客戶(hù)端的身份驗(yàn)證機(jī)制。Zookeeper提供三種身份驗(yàn)證模式：

Digest：用戶(hù)名和密碼

Host：主機(jī)名

IP：ip地址

?

每個(gè)ACL都是身份驗(yàn)證模式，符合該模式的身份和一組權(quán)限的組合。

轉(zhuǎn)載于:https://www.cnblogs.com/yangqk/archive/2012/06/21/2558105.html

總結(jié)

以上是生活随笔為你收集整理的Hadoop学习笔记 ZooKeeper的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。