learn from 從0開始學大數據（極客時間）

• 數據太大（PB級別），將程序發送到數據所在地方進行計算，比移動數據更劃算

如何實現的：

• 將大規模數據存儲在集群的所有服務器上，（HDFS系統，塊存儲）
• 大數據引擎根據服務器的計算能力，在每臺服務器啟動若干分布式任務執行進程待命
• 大數據計算框架編程，打包編程模型，如 Java 的 JAR 包
• 用 Hadoop 或 Spark 執行 JAR 包（解析數據輸入路徑、大小、數據切分、數據片分配給任務執行進程）
• 任務執行進程，檢查是否有對應的程序包，沒有則下載，通過反射的方式加載程序
• 加載程序后，讀取數據，執行程序

總結

以上是生活随笔為你收集整理的移动计算比移动数据更划算的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。