2021FME博客大赛 —— 基于FME的土地利用与夜光遥感数据综合统计
作者:賈繼鵬
?
摘要:本文使用FME空間數(shù)據(jù)轉(zhuǎn)換處理軟件,對土地利用數(shù)據(jù)和夜光遙感影像數(shù)據(jù)進行綜合統(tǒng)計分析研究,獲取不同地域、不同類型、不同時期的綜合統(tǒng)計信息,從時空域上分析這些數(shù)據(jù),以呈現(xiàn)出我國近些年來的區(qū)域經(jīng)濟發(fā)展態(tài)勢,對于區(qū)域發(fā)展評估、國土空間規(guī)劃等具有重要意義。
?
1、任務(wù)背景
土地利用能夠為人類提供各類產(chǎn)品和服務(wù),具有環(huán)境功能、社會功能和經(jīng)濟功能等多功能特性,是評估土地利用效應(yīng)、合理性及可持續(xù)性的重要手段。夜光遙感能夠有效獲取經(jīng)濟社會發(fā)展動態(tài),評估經(jīng)濟社會發(fā)展可能存在的宏觀問題。開展土地利用與夜光遙感數(shù)據(jù)綜合統(tǒng)計研究,從土地利用的角度分析近年來我國各省域的夜光遙感指標數(shù)據(jù),為區(qū)域可持續(xù)發(fā)展研究提供一種有效途徑。
本文充分利用FME強大的空間數(shù)據(jù)處理能力,綜合運用土地利用分類數(shù)據(jù)和夜光遙感影像數(shù)據(jù),通過數(shù)據(jù)準備、土地利用分類數(shù)據(jù)處理、夜光遙感數(shù)據(jù)處理、疊加分類綜合統(tǒng)計等數(shù)據(jù)處理過程,按省域獲取不同地域、不同類型、不同時期的綜合統(tǒng)計數(shù)據(jù)信息,能夠為社會經(jīng)濟發(fā)展研究、國土空間規(guī)劃等提供快速、可靠的數(shù)據(jù)支撐。
2、基于FME的技術(shù)路線
2.1 數(shù)據(jù)準備
依據(jù)項目研究目標,收集相關(guān)數(shù)據(jù)資源,并經(jīng)過分類整理與分析,以及必要的預(yù)處理,滿足疊加分類統(tǒng)計分析的需求。
(1)任務(wù)范圍線數(shù)據(jù)。獲取資源環(huán)境科學(xué)與數(shù)據(jù)中心網(wǎng)站的中國省級行政邊界矢量數(shù)據(jù),采用shp格式Krasovsky_1940_Albers坐標系。數(shù)據(jù)可作為研究區(qū)域范圍界定以及其他數(shù)據(jù)處理的范圍依據(jù)。
(2)土地利用數(shù)據(jù)。獲取資源環(huán)境科學(xué)與數(shù)據(jù)中心網(wǎng)站的多時期中國土地利用遙感監(jiān)測柵格數(shù)據(jù),采用GRID格式Krasovsky_1940_Albers坐標系。數(shù)據(jù)集包括1970年代末期(1980)-2020年共九期,數(shù)據(jù)生產(chǎn)制作是以各期Landsat 8/TM/ETM遙感影像為主要數(shù)據(jù)源,通過人工目視解譯生成。土地利用類型包括耕地、林地、草地、水域、居民地和未利用土地6個一級類型以及25個二級類型,本項目主要關(guān)注居民地相關(guān)分類,具體分類如表 1所示。數(shù)據(jù)準備時以不同年份數(shù)值為上一級文件夾統(tǒng)一存放各省份分區(qū)數(shù)據(jù),便于以不同時期為主線進行分類統(tǒng)計。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 表 1 居民地相關(guān)分類系統(tǒng)
| 一級類型 | 二級類型 | |||
| 編號 | 名稱 | 編號 | 名稱 | 含義 |
| 5 | 城鄉(xiāng)、工礦、居民用地 | - | - | 指城鄉(xiāng)居民點及其以外的工礦、交通等用地。 |
| - | - | 51 | 城鎮(zhèn)用地 | 指大、中、小城市及縣鎮(zhèn)以上建成區(qū)用地。 |
| - | - | 52 | 農(nóng)村居民點 | 指獨立于城鎮(zhèn)以外的農(nóng)村居民點。 |
| - | - | 53 | 其它建設(shè)用地 | 指廠礦、大型工業(yè)區(qū)、油田、鹽場、采石場等用地以及交通道路、機場及特殊用地。 |
(3)夜光遙感數(shù)據(jù)。獲取科羅拉多礦業(yè)大學(xué)提供的NPP夜間燈光遙感數(shù)據(jù),主要以經(jīng)過了一定校正處理和合成的月尺度數(shù)據(jù)為主。文件以壓縮的tarball傳送,每個壓縮包含一組地理位置。數(shù)據(jù)采用GeoTIFF格式WGS 1984地理坐標系。按照研究區(qū)域主要下載75N060E片區(qū)數(shù)據(jù),文件命名示例:SVDNB_npp_20200401-20200430_75N060E_vcmcfg_v10_c202006121200.avg_rade9h.tif。數(shù)據(jù)準備時可將解壓后不同年份的GeoTIFF格式月度數(shù)據(jù)統(tǒng)一存放至一個文件夾內(nèi)。
2.2?土地利用數(shù)據(jù)處理
土地利用數(shù)據(jù)處理主要是對獲取的原始土地利用遙感監(jiān)測柵格數(shù)據(jù)按照不同年份分類,經(jīng)過坐標轉(zhuǎn)換、鑲嵌、柵格矢量化、重分類及融合、分區(qū)提取等處理,獲取待統(tǒng)計區(qū)域的土地利用分類數(shù)據(jù)。具體處理流程如圖 1所示。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖 1 土地利用數(shù)據(jù)處理
原始土地利用遙感監(jiān)測柵格數(shù)據(jù)采用Krasovsky_1940_Albers坐標系,為了最終分類統(tǒng)計面積的準確性,特統(tǒng)一轉(zhuǎn)換至Asia_North_Albers_Equal_Area_Conic坐標系,采用EsriReprojector轉(zhuǎn)換器進行處理,以便充分利用ESRI已有重投影庫參數(shù)模型。參數(shù)設(shè)置如圖 2所示:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖 2 坐標轉(zhuǎn)換參數(shù)設(shè)置
土地利用遙感監(jiān)測柵格數(shù)據(jù)是按照不同年份不同省份進行的存儲,為了便于后期依據(jù)新的分區(qū)進行疊加統(tǒng)計,需要將現(xiàn)有分散數(shù)據(jù)統(tǒng)一整合,并保留數(shù)據(jù)年份信息。采用RasterMosaicker轉(zhuǎn)換器鑲嵌同一年份數(shù)據(jù),增加“地類年份”字段,并以原始數(shù)據(jù)暴露的屬性項“fme_basename”為基礎(chǔ)賦值相應(yīng)屬性。參數(shù)設(shè)置如圖 3所示:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖 3 地類年份取值參數(shù)設(shè)置
柵格矢量化采用RasterToPolygonCoercer轉(zhuǎn)換器將柵格轉(zhuǎn)換為矢量面數(shù)據(jù),并保留數(shù)據(jù)中地類代碼值為“地類”字段。以便于后期在矢量面數(shù)據(jù)的基礎(chǔ)上,依據(jù)不同的地類代碼進行精準的疊加統(tǒng)計。
采用AttributeFilter轉(zhuǎn)換器將矢量面數(shù)據(jù)按照地類代碼51、52、53進行分類輸出,同時輸出其他分類數(shù)據(jù)。對于其他分類數(shù)據(jù)作為一個整體研究,需采用AttributeManager轉(zhuǎn)換器進行統(tǒng)一地類代碼賦值,僅限數(shù)值型,以77為例,便于在最終統(tǒng)計表中統(tǒng)一替換為“其他”類型。再采用Dissolver轉(zhuǎn)換器將新賦值地類融合為一個整體,便于后期同類統(tǒng)計。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖 4 要素分類輸出參數(shù)設(shè)置
當(dāng)然,對于要素分類輸出也可以采用TestFilter轉(zhuǎn)換器設(shè)置必要的測試條件過濾要素分類輸出,無論采用哪種方式都不可避免要對其他地類數(shù)據(jù)進行統(tǒng)一賦值、融合的過程,個人傾向于采用AttributeFilter轉(zhuǎn)換器參數(shù)設(shè)置便捷一些。
為了進行分區(qū)統(tǒng)計,還需采用Clipper轉(zhuǎn)換器結(jié)合新的省級分區(qū)范圍矢量面數(shù)據(jù)進行分區(qū)裁切輸出。將提取的土地利用分類數(shù)據(jù)作為被裁切的對象,分區(qū)范圍面作為裁切對象,同時選擇合并屬性參數(shù)項,便于后期依據(jù)不同類型值分類統(tǒng)計。
2.3?夜光遙感數(shù)據(jù)處理
NPP夜光遙感影像數(shù)據(jù)處理主要是通過坐標轉(zhuǎn)換、裁切、柵格鑲嵌、柵格矢量化等步驟,實現(xiàn)待疊加統(tǒng)計區(qū)域夜光遙感影像數(shù)據(jù)提取。具體處理流程如圖 5所示:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖 5 夜光遙感數(shù)據(jù)處理流程
原始夜光遙感影像數(shù)據(jù)采用WGS 1984地理坐標系,需使用EsriReprojector轉(zhuǎn)換器投影至Asia_North_Albers_Equal_Area_Conic坐標系,投影方法同土地利用數(shù)據(jù)坐標系轉(zhuǎn)換,便于數(shù)據(jù)在統(tǒng)一的坐標系下開展疊加分類統(tǒng)計。
研究區(qū)域是位于75N060E片區(qū)的夜光遙感影像數(shù)據(jù),覆蓋范圍包含中國全境以及周邊國家區(qū)域,數(shù)據(jù)量較大,需要采用Clipper轉(zhuǎn)換器結(jié)合研究范圍界線進行裁剪輸出,避免過多數(shù)據(jù)冗余,提高數(shù)據(jù)處理效率。同時在裁剪過程中添加“夜光年份”字段,利用字符串函數(shù)Substring結(jié)合數(shù)據(jù)讀取時暴露的屬性項“fme_basename”進行自動賦值,作為疊加分類統(tǒng)計的區(qū)分類型之一。
夜光遙感影像數(shù)據(jù)因部分年尺度數(shù)據(jù)無法獲取,故采用經(jīng)過了一定校正處理和合成的月尺度數(shù)據(jù),利用RasterMosaicker轉(zhuǎn)換器鑲嵌為年尺度的平均數(shù)據(jù),鑲嵌過程中以“夜光年份”字段為分組進行,便于疊加分類統(tǒng)計尺度保持一致。具體參數(shù)設(shè)置如圖 6所示:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖 6 夜光遙感影像數(shù)據(jù)鑲嵌參數(shù)設(shè)置
然后需要利用RasterToPolygonCoercer轉(zhuǎn)換器將影像數(shù)據(jù)矢量化為面數(shù)據(jù),保留數(shù)據(jù)屬性為“燈光值”。矢量化面數(shù)據(jù)為了滿足分區(qū)精細統(tǒng)計的需要,保留“燈光值”屬性是為了統(tǒng)計夜光亮度的最大、最小、平均、數(shù)量、總和等數(shù)值,滿足相關(guān)分析的需要。
2.4?分類綜合統(tǒng)計
對以上處理的兩項分類數(shù)據(jù),采用疊加裁切、統(tǒng)計范圍篩選、面積計算、統(tǒng)計信息計算等方式,實現(xiàn)數(shù)據(jù)的疊加分類統(tǒng)計,滿足數(shù)據(jù)分析的需求。具體處理流程如圖 7所示:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖 7 疊加分類統(tǒng)計數(shù)據(jù)處理流程
根據(jù)數(shù)據(jù)分析的需求,統(tǒng)計不同地區(qū)、不同土地分類類型、不同土地利用年份、不同夜光數(shù)據(jù)年份的燈光亮度值信息,主要包括最小值、最大值、均值、總值、數(shù)量、面積等6項數(shù)值。需要將各相關(guān)數(shù)據(jù)進行疊加才能實現(xiàn)不同統(tǒng)計類型所需數(shù)值的統(tǒng)計信息,可以采用Clipper或AreaOnAreaOverlayer轉(zhuǎn)換器進行疊加處理,二者均需要合并相交屬性,為區(qū)分統(tǒng)計類型做準備。采用Clipper轉(zhuǎn)換器時設(shè)置較簡單,與土地利用數(shù)據(jù)處理時的設(shè)置相同。采用AreaOnAreaOverlayer轉(zhuǎn)換器時需要保留壓蓋計數(shù)屬性“壓蓋數(shù)”,為下一步獲取相交數(shù)據(jù)信息做準備,同時選擇屬性聚合模式為“合并輸入的屬性”,具體參數(shù)設(shè)置如圖 8所示,還需要使用Tester轉(zhuǎn)換器設(shè)置測試條件為“壓蓋數(shù)=2”提取2套不存在自重疊的輸入面數(shù)據(jù)真實相交的部分,滿足分類統(tǒng)計的需要。二者處理方法相比,還是Clipper較為便捷。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖 8 數(shù)據(jù)疊加處理參數(shù)設(shè)置
對于有研究價值的燈光數(shù)值使用Tester轉(zhuǎn)換器進行篩選提取,可設(shè)置參數(shù)測試條件為“燈光值>=10”,值域依據(jù)項目實際研究需要確定,具體參數(shù)設(shè)置如圖 9所示:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖 9 數(shù)據(jù)篩選提取參數(shù)設(shè)置
統(tǒng)計屬性項中關(guān)鍵的一項“面積”使用AreaCalculator轉(zhuǎn)換器獲取燈光值的平面面積。設(shè)置面積屬性為“燈光面積”進行統(tǒng)一自動賦值,同時可以利用“放大倍數(shù)”參數(shù)來確定面積統(tǒng)計單位的換算,如數(shù)據(jù)本身長度單位為米,設(shè)置放大倍數(shù)為1,則實現(xiàn)統(tǒng)計面積單位為平方米。具體參數(shù)設(shè)置如圖 10所示:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖 10 數(shù)據(jù)面積計算參數(shù)設(shè)置
在計算完各要素的面積值屬性后,利用StatisticsCalculator轉(zhuǎn)換器完成最后的分類型數(shù)據(jù)統(tǒng)計,設(shè)置分組內(nèi)容包含省份名稱、地類、地類年份、夜光年份,以及添加需要統(tǒng)計的屬性信息。具體參數(shù)設(shè)置如圖 11所示:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖 11 分類統(tǒng)計參數(shù)設(shè)置
3、效果與成效
通過各分類數(shù)據(jù)的處理研究,搭建了一整套從原始數(shù)據(jù)到統(tǒng)計信息的全流程數(shù)據(jù)處理方案,具體流程方案如圖 12所示。該流程方案可以全自動快速獲取數(shù)據(jù)分析時需要的統(tǒng)計依據(jù),并且可以在統(tǒng)計結(jié)果輸出完成后查看各處理環(huán)節(jié)的緩存數(shù)據(jù),為統(tǒng)計結(jié)果中異常數(shù)值的快速追溯提供可靠依據(jù)。按照區(qū)域、分類、年份等類型的統(tǒng)計數(shù)據(jù)信息輸出數(shù)據(jù)表結(jié)果,經(jīng)簡單的表格格式調(diào)整后,統(tǒng)計結(jié)果以**省為例如圖 13所示。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖 12 數(shù)據(jù)全流程處理方案
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖 13 分類統(tǒng)計信息表
4、技術(shù)創(chuàng)新性、應(yīng)用創(chuàng)新性
本技術(shù)方案首先展現(xiàn)了多源異構(gòu)數(shù)據(jù)的融合處理能力。多源數(shù)據(jù)包含矢量、柵格等各類型的區(qū)劃數(shù)據(jù)、夜光遙感數(shù)據(jù)、土地利用數(shù)據(jù),各數(shù)據(jù)來源、數(shù)據(jù)格式、數(shù)據(jù)結(jié)構(gòu)等存在較大差異,通過FME較強大的空間數(shù)據(jù)處理能力,實現(xiàn)數(shù)據(jù)的統(tǒng)一疊加融合,為多源數(shù)據(jù)的充分利用提供可靠的技術(shù)支撐。
其次展現(xiàn)了異構(gòu)數(shù)據(jù)的統(tǒng)一處理能力。異構(gòu)數(shù)據(jù)包括矢量、柵格等類型數(shù)據(jù),涵蓋Shape File、GEOTIFF、GRID、EXCEL等格式,涉及WGS 1984、Krasovsky_1940_Albers、Asia_North_Albers_Equal_Area_Conic等坐標系統(tǒng),通過FME空間數(shù)據(jù)轉(zhuǎn)換處理系統(tǒng)實現(xiàn)異構(gòu)數(shù)據(jù)的數(shù)據(jù)格式統(tǒng)一、數(shù)據(jù)坐標系統(tǒng)一、數(shù)據(jù)屬性關(guān)系關(guān)聯(lián)等處理,為異構(gòu)數(shù)據(jù)綜合利用提供強大支撐。
再者展現(xiàn)了FME廣泛的應(yīng)用領(lǐng)域。該處理方案不僅能對夜光遙感數(shù)據(jù)進行自動批量處理,準確獲取其重要信息要素,還在土地利用分類數(shù)據(jù)處理方面展現(xiàn)出強大的深加工能力,對于此類專業(yè)數(shù)據(jù)方面且能夠游刃有余,其他數(shù)據(jù)的處理更是不在話下,應(yīng)用領(lǐng)域較為廣泛。
5、行業(yè)推廣應(yīng)用價值
利用FME軟件,結(jié)合不同時期各省的土地利用數(shù)據(jù)和對夜光遙感數(shù)據(jù)進行綜合統(tǒng)計分析研究,其研究方法及成果能夠在諸多行業(yè)領(lǐng)域推廣應(yīng)用。利用得到的時空變化統(tǒng)計數(shù)據(jù),能夠為我國復(fù)工復(fù)產(chǎn)、區(qū)域發(fā)展評估、國土空間規(guī)劃等研究提供數(shù)據(jù)支撐。今后,可向相關(guān)自然資源、數(shù)字政務(wù)、國民經(jīng)濟等行業(yè)部門推廣應(yīng)用,對于促進經(jīng)濟社會發(fā)展、鄉(xiāng)村振興、城市化進程等具有重要意義和推廣價值。
總結(jié)
以上是生活随笔為你收集整理的2021FME博客大赛 —— 基于FME的土地利用与夜光遥感数据综合统计的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 如何开发一个异常检测系统:异常检测 vs
- 下一篇: EtherCAT伺服驱动器-如何选择硬件