全球尺度遥感云计算平台:Google Earth Engine
Google Earth Engine(GEE)?是一個基于 Google 云服務基礎設施的遙感大數據分析平臺,它結合 Google 強大的云計算能力與 NASA、ESA、NOAA 等機構的空間數據,用于在全球尺度解決一些非常重要的社會問題:森林退化、糧食安全、災害預警、水資源管理、氣候監測以及環境保護等。
GEE 官方宣傳視頻(版權歸 Google 所有)
Spacefan 的視頻
?·?303?播放
發展背景
2008 年,手握 40 多年 LandSat 數據的美國地質調查局(USGS)逐步將自 1972 年以來的所有 LandSat 存檔數據免費向公眾開放,成為開放遙感數據的急先鋒。隨后 ESA 哥白尼計劃下的 Sentinel-1/2/3/5、NOAA 的 MODIS 等衛星項目產生的空間數據加入免費大軍,為 GEE 的出現奠定了數據基礎。
2011 年,Google 決定放棄對?Google Earth Enterprise?的深入開發,轉而協同卡耐基梅隆大學、NASA、USGS 的技術人員一起設計更具技術前瞻性的?Google Earth Engine。兩款產品都簡稱 GEE,但卻代表了 Google 在不同時期對地球科學與遙感大數據的認知。
2012 年,Goodchild 等人?提出,“衛星以及地面傳感器所提供的地理信息數據量的迅速增長,正在鼓勵產生一種新的、第四類的、大數據的科學范式,這種范式強調國際間合作、數據密集型分析、巨大的計算資源以及高端的可視化方式”。至此,地理信息云計算的概念逐漸浮出水面。
2013 年,GEE 作為 Google 內部孵化項目,開始在行業內曝光,并積極尋求與外部的合作。
2015 年,GEE 公測上線,在全球遙感與地理信息行業產生較大反響,標志著遙感云計算時代的正式到來。
2016 年,GEE 開發團隊在一年內人員數量翻倍,在 Google Cloud Platform(GCP)的助力之下,開始為新興的商業遙感應用提供解決方案。
2017 年,Google 正式開源 Google Earth Enterprise,簡稱 OpenGEE,由社區驅動開發與技術維護。同年,GEE 團隊發布論文?Google Earth Engine: Planetary-scale geospatial analysis for everyone,全面介紹了 GEE 出現的時代背景、平臺架構、數據集、基本語法、計算效率以及未來的挑戰,引起國內外科研單位及相關從業人員的廣泛關注,GEE 逐漸被大家應用于實際科研與生產之中。
技術特點
GEE 結合了 PB 級衛星影像和地理空間數據集,以及全球尺度的分析功能,使科學家、研究人員和開發人員可以使用它來監測變化,繪制趨勢并量化地球表面的差異。
GEE 基于?Google Cloud?架設,最底層為數據存儲,包括 20 級柵格和 22 級矢量瓦片數據,Fusion Table 已經棄用;第二層為云計算層,分為即時響應計算和批量計算;第三層為網絡化的?REST(Representational State Transfer,表現層狀態轉換)APIs 服務;第四層為客戶端庫,用 JavaScript 和 Python 解析 REST APIs,可稱為 JavaScript API 和 Python API;頂層為交互層,JavaScript API 對應?Code Editor,Python API 對應三方開發的網頁或本地應用。
GEE 系統架構
得益于 Google 良好的底層技術生態,GEE 的應用潛力逐漸被眾多用戶挖掘。尤其在近來來迅猛發展的人工智能技術領域,GEE Python API 可無縫與 TensorFlow 框架相結合,實現智能遙感大數據分析。
綜上所述,GEE 具有如下鮮明的技術特點:
- 海量的多源數據:GEE 匯集 PB 級海量地理信息空間數據,包括衛星遙感、航空遙感、基礎地理信息以及可直接使用的高級應用產品等數據。
- 超強的云端計算:GEE 基于 Google 云服務平臺架設,并行處理分析任務,計算資源近乎無限,無需考慮硬件成本。
- 規范的用戶接口:GEE 提供基于 JavaScript 和 Python 語言的雙重用戶接口,對眾多數據處理的函數實現規范化封裝,極大程度較低了用戶的學習門檻。
- 良好的開發生態:GEE 自上線伊始就極為重視開發生態的發展,官方豐富的開發文檔、科研項目基金的支持、活躍的開發社區以及不定期開發者大會的組織等,為 GEE 的發展注入了強勁的活力。
- 免費的服務平臺:GEE 的使用完全免費,僅對數據導出有所限制。
數據集
GEE 包含 PB 級海量地理信息空間數據,主要有:
- 超過 40 年的 LandSat 系列衛星影像:星下點重訪周期 16 天,最新的 LandSat-8 衛星為 11 譜段多光譜數據。
- Sentinel-1/2/3/5 衛星遙感數據:Sentinel-1 為 C 波段 SAR 數據;Sentinel-2 為 13 譜段多光譜數據;Sentinel-3 為海洋與陸地觀測衛星,通過海洋和陸地彩色儀器(OLCI)、海洋和陸地表面溫度輻射計(SLSTR)、合成孔徑雷達高度計(SRAL)、微波輻射計(MWR)和精密定軌(POD)儀器實現高精度海面地形、海陸表面溫度、海陸表面顏色遙感與測量,以支持海洋預報系統、海陸環境與氣象監測等科學任務;Sentinel-5 為大氣測量衛星,用于空氣質量、臭氧和紫外線輻射以及氣候監測和預報。
- MODIS 中等分辨率遙感影像數據:具有 36 個譜段,最高分辨率為 250 m,一天可實現兩次全球覆蓋。
- 高分辨率航空遙感影像:1 m 分辨率高清航空遙感影像,僅覆蓋美國本土。
- 基礎地理信息數據:全球地形數據、氣象數據、矢量數據等。
- 應用產品數據:地表覆蓋數據、夜光數據、耕地數據、NDVI 數據、EVI 數據、LAI 數據等。
官方統計,GEE 數據中心包含超過 200 個公共數據集、500 多萬張影像,并以每天大約 4000 張影像的速度遞增。其不完整的數據集目錄參見:Earth Engine Data Catalog。
GEE 公有數據集
學習資源
GEE 的普及離不開豐富的學習資源,首推官方系統性的介紹文檔:https://developers.google.com/earth-engine,其中的?JavaScript and Python Guides、API Reference?和?Earth Engine Community Content?部分是初學者的不二之選。其次,推薦澳大利亞查爾斯·達爾文大學?GEARS?團隊的 GEE 教程。以及,華人吳秋生老師的系列視頻教程:https://space.bilibili.com/527404442/video,和他開發的?geemap?模塊教程。吳秋生老師還寫有?Awesome-GEE,對 GEE 學習資源做了較為全面的歸總。
對英文無感的童鞋可以看?王金柱?同學的入門視頻教程:遙感大數據平臺 Google Earth Engine 教學視頻,以及知乎大佬?無形的風?寫的系列教程。若想快速系統學習 GEE,而且家里有礦的,可直接閱讀《遙感云計算與科學分析:應用與實踐》一書。
遙感云計算與科學分析:應用與實踐
當然,再多的學習資源都比不上一次走心的實踐操作。下面就為大家演示,如何利用 MODIS 數據制作 2020 年 5 月至 2021 年 5 月全中國植被指數時序。
全國植被指數時序
首先,從?全國地理信息資源目錄服務系統?下載全國行政邊界矢量數據,導入到 GEE。然后,建立研究區域,并裁剪中國行政邊界。
中國行政邊界
隨后,加載 MODIS 植被指數產品,并進行數據篩選。
篩選得到的 MODIS 數據集
最后,將篩選得到的影像組成時序,并以直觀的配色方案輸出至終端顯示。
全國 2020~2021 年植被指數時序
從時序圖可見,植被的生成變化情況隨時間沿緯度帶呈潮汐狀。這與太陽相對赤道的偏角在南北緯 23.5° 之間移動有關,此現象的具體研究參見:Nicholson, 2019。在世界范圍內,無論規模大小,都可以發現相似的植被生產力季節性變化模式。
PS:后臺回復“全國植被指數時序”獲取完整示例代碼。
結語
作為一個集成的一體化工具,GEE 不局限于專業的遙感或地理空間信息應用開發,還能廣泛服務于缺乏計算資源的消費級人群。
本文從?發展背景、技術特點、數據集?與?學習資源?四個方面簡要介紹了 GEE 全球尺度遙感云計算平臺,并以全國 2020~2021 植被指數時序制作為例展示了 GEE 在大尺度遙感數據分析方面的巨大應用潛力。
希望本文能拋磚引玉,為 GEE 初學者提供具有建設性意義的入門參考!
總結
以上是生活随笔為你收集整理的全球尺度遥感云计算平台:Google Earth Engine的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 8的倍数——题解(容斥原理)
- 下一篇: mybatis查询记录条数