2021SC@SDUSC

PIG在大數(shù)據(jù)平臺中的位置與作用

題主并沒有上過大數(shù)據(jù)相關(guān)的課程，拿出了一份之前掃盲的時候整理的資料來帶給大家

Pig是一種高級數(shù)據(jù)語言，運行于HDFS之上，是hadoop上層的衍生架構(gòu)

主要的幾種大數(shù)據(jù)架構(gòu)及其之間的關(guān)系如下圖所示

?按照不同功能進行劃分，一些的大數(shù)據(jù)項目可以如下所示

?由上圖可以看出，Pig是一種查詢平臺，我的資料中還有以下的引用：

簡介：Pig是一種編程語言，它簡化了Hadoop常見的工作任務(wù)。Pig可加載數(shù)據(jù)、表達轉(zhuǎn)換數(shù)據(jù)以及存儲最終結(jié)果。Pig內(nèi)置的操作使得半結(jié)構(gòu)化數(shù)據(jù)變得有意義（如日志文件）。同時Pig可擴展使用Java中添加的自定義數(shù)據(jù)類型并支持數(shù)據(jù)轉(zhuǎn)換。

Pig最大的作用就是對mapreduce算法(框架)實現(xiàn)了一套shell腳本 ，類似我們通常熟悉的SQL語句，在Pig中稱之為Pig Latin，在這套腳本中我們可以對加載出來的數(shù)據(jù)進行排序、過濾、求和、分組(group by)、關(guān)聯(lián)(Joining)，Pig也可以由用戶自定義一些函數(shù)對數(shù)據(jù)集進行操作，也就是傳說中的UDF(user-defined functions)。

Pig官方網(wǎng)站>>>

Pig Latin介紹

Pig Latin是一種SQL like語言 ，其功能和SQL類似

Pig源碼獲取

首先訪問Pig官網(wǎng)

?點擊側(cè)邊欄的Releases，下拉，找到Download標題，->Downloqd a release now!

點第一個網(wǎng)址https://dlcdn.apache.org/pig

進去后頁面是這樣的

?選擇下載pig-0.17.0-src.tar.gz

下載后是個壓縮文件，解壓后用任意編程軟件打開就行了

核心代碼目錄

根據(jù)小組分工，本人接下來將對Pig的數(shù)據(jù)類型進行分析，代碼集中于/data目錄

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的【软件工程实践】Pig项目1-什么是Pig的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。