Hadoop解决内存受限问题
生活随笔
收集整理的這篇文章主要介紹了
Hadoop解决内存受限问题
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
因為NameNode的數據需要加載到內存里,隨著數據越來越大,內存會不夠用出現內存受限問題。
解決方法:
官網:hdfs聯邦 ? ?http://blog.csdn.net/zengmingen/article/details/52143300
國內:
因為數據存在階段性,時間,內容不同等。
一個集群只能有一個NameNode,則把不同階段的數據存到不同的集群里,這是國內如京東百度淘寶等的解決方法。
如:
京東的訂單存一個集群
京東的流水存一個集群
京東的商品信息存一個集群
訂單里10年前的一個集群,10年內的一個集群
總結
以上是生活随笔為你收集整理的Hadoop解决内存受限问题的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 海康+萤石云+云存储多少钱一个月_400
- 下一篇: Android的权限