office工作日志文件_风暴事件处理器–每个工作者的GC日志文件
office工作日志文件
在過去的三個月中,我正在與一個新團隊合作,為電信領域的大數據分析構建產品。
Storm事件處理器是我們使用的主要框架之一,它確實很棒。 您可以閱讀其官方文檔中的更多詳細信息(已改進)。
Storm使用Workers來完成您的工作,其中每個人都是一個JVM,并由Storm內部管理(啟動,如果無響應則重新啟動,將Worker移至群集的另一個節點等)。 對于單個作業,您可以在集群上運行許多Worker(Storm決定如何在集群節點中分配Worker)。 作為“節點”,我指的是正在運行的操作系統,可以在VM或物理機上運行。
這里的棘手點是,即使節點中的所有Worker正在運行/處理其他類型的作業,它們都讀取相同的配置文件(STORM_HOME / conf / storm.yaml )。 此外,有一個單一的參數(worker.childopts)在此文件中,其用于所有工人(在同一節點的)來初始化他們的JVM(如何設置JVM選項)。
因為我們想知道GC在每個worker中的性能,我們需要監視每個Worker / JVM的GC日志。
就像我說的那樣,問題在于,當一個節點中的所有Worker都從同一配置文件中讀取相同的參數以初始化其JVM時,因此為每個Worker / JVM使用不同的GC日志記錄文件并不是一件容易的事。
幸運的是,Storm開發人員公開了解決該問題的“ 變量 ”。 該變量名為“ ID ”,并且對于每個節點上的每個Worker都是唯一的(相同的Worker ID可以存在于不同的節點中)。
對于Workers JVM Options,我們在“ storm.yaml ”文件中使用以下條目:
worker.childopts: "-Xmx1024m -XX:MaxPermSize=256m -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -verbose:gc -Xloggc:/opt/storm/logs/gc-storm-worker-%ID%.log"請注意,您必須在“ ID ”字符串之前和之后添加“ % ”(以便被標識為內部Storm變量)。
另外,對于Supervisor JVM選項(每個節點上有一個進程),我們在“ storm.yaml ”文件中使用以下條目:
supervisor.childopts: "-Xmx512m -XX:MaxPermSize=256m -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -verbose:gc -Xloggc:/opt/storm/logs/gc-storm-supervisor.log"我也包括了一種內存設置(“ -Xmx”和“ -XX:MaxPermSize”),但這只是一個例子。
請記住,Storm需要Oracle Hotspot JDK 6 (尚不支持JDK 7/8)。 這是一個嚴重的缺點,但我們希望它會盡快解決。
希望能幫助到你!
民主需要免費軟件
翻譯自: https://www.javacodegeeks.com/2014/04/storm-event-processor-gc-log-file-per-worker.html
office工作日志文件
總結
以上是生活随笔為你收集整理的office工作日志文件_风暴事件处理器–每个工作者的GC日志文件的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 被ddos攻击了怎么查(如何查看ddos
- 下一篇: Linux端口占用查看命令杀掉(linu