1、ack是什么

ack 機制是storm整個技術體系中非常閃亮的一個創新點。

通過Ack機制，spout發送出去的每一條消息，都可以確定是被成功處理或失敗處理， 從而可以讓開發者采取動作。比如在Meta中，成功被處理，即可更新偏移量，當失敗時，重復發送數據。
因此，通過Ack機制，很容易做到保證所有數據均被處理，一條都不漏。
另外需要注意的，當spout觸發fail動作時，不會自動重發失敗的tuple，需要spout自己重新獲取數據，手動重新再發送一次

ack機制即， spout發送的每一條消息，

? 在規定的時間內，spout收到Acker的ack響應，即認為該tuple 被后續bolt成功處理
? 在規定的時間內，沒有收到Acker的ack響應tuple，就觸發fail動作，即認為該tuple處理失敗，
? 或者收到Acker發送的fail響應tuple，也認為失敗，觸發fail動作

另外Ack機制還常用于限流作用： 為了避免spout發送數據太快，而bolt處理太慢，常常設置pending數，當spout有等于或超過pending數的tuple沒有收到ack或fail響應時，跳過執行nextTuple， 從而限制spout發送數據。

通過conf.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, pending);設置spout pend數。

2、如何使用Ack機制

spout 在發送數據的時候帶上msgid

設置acker數至少大于0；Config.setNumAckers(conf, ackerParal);
在bolt中完成處理tuple時，執行OutputCollector.ack(tuple), 當失敗處理時，執行OutputCollector.fail(tuple);
推薦使用IBasicBolt， 因為IBasicBolt 自動封裝了OutputCollector.ack(tuple), 處理失敗時，請拋出FailedException，則自動執行OutputCollector.fail(tuple)

3、如何關閉Ack機制

有2種途徑

spout發送數據時不帶上msgid
設置acker數等于0

4、基本實現

Storm 系統中有一組叫做”acker”的特殊的任務，它們負責跟蹤DAG（有向無環圖）中的每個消息。
acker任務保存了spout id到一對值的映射。第一個值就是spout的任務id，通過這個id，acker就知道消息處理完成時該通知哪個spout任務。第二個值是一個64bit的數字，我們稱之為”ack val”， 它是樹中所有消息的隨機id的異或計算結果。

<TaskId,<RootId,ackValue>> Spoutid,<系統生成的id,ackValue> Task-0,64bit,0

ack val表示了整棵樹的的狀態，無論這棵樹多大，只需要這個固定大小的數字就可以跟蹤整棵樹。當消息被創建和被應答的時候都會有相同的消息id發送過來做異或。 每當acker發現一棵樹的ack val值為0的時候，它就知道這棵樹已經被完全處理了

STORM的消息容錯機制

數據在處理中出現異常時，需要保證消息被完整處理。 ----------------------- SPOUT --A---B---C---D 期望:當其中一個環節出現異常時，Spout能夠重新發送一份數據。 ----------------------- 問題:SPOUT如何知道一條消息的處理狀態成功:ack(Object msgid)失敗:fail(Object msgid):Bolt如何告知Spout消息處理的狀態collector.emit(new Value())collector.ack() //當消息處理成功時collector.fail()//當消息處理失敗時 ------------------

Ack機制

Spout發送一條數據出去，需要知道數據處理成功和失敗的狀態，如果失敗進行消息的重新發送1、自定義spout實現BaseRichSpout，覆寫ack，fail方法。2、在自定義的spout發送數據的時候，需要制定messageid，messageid是一個Object。3、當消息處理成功或失敗之后，Storm框架會將messageId傳回來。如果消息要重發，直接通過messageId找到或直接轉化成數據內容進行重發。4、自定義Bolt實現BaseRichBolt5、在bolt的execute中進行兩個操作5.1、發送數據時，需要指定血緣關系，錨點collector.emit(父tuple，new 子Tuple)5.2、當execute處理完業務邏輯的時候，需要告訴storm框架當前階段的處理狀態。collector.ack(tuple) 如果在編寫storm程序時，在bolt環節忘了手動ack或fail，怎么辦？忘了手動ack或fail，storm框架會等待反饋，達到超時閾值之后，就直接給fail。 如果在編寫storm程序時，在bolt環節忘了標識錨點，怎么辦？忘了標識錨點，就是忘了標識血緣關系。storm會認為你不關心后面階段的處理狀況。Storm BaseRichBolt API 過于繁瑣，就開了另外一個api：BaseBasicBolt如果實現了BaseBasicBolt，就不需要錨點，不需要手動ack或fail。

總結

以上是生活随笔為你收集整理的ack是什么，如何使用Ack机制，如何关闭Ack机制，基本实现，STORM的消息容错机制，Ack机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。