混凝土泵送机械大数据挖掘与应用
混凝土泵送機械大數據挖掘與應用
趙鑫, 吳德志, 周志忠
中聯重科股份有限公司，湖南 長沙 410205
國家混凝土機械工程技術研究中心，湖南 長沙 410205
摘要：基于混凝土機械設備的施工數據、業務和生產數據，通過數據清洗和識別技術、業務模型和算法分析技術、數據可視化展示技術，構建了混凝土泵送機械的大數據分析平臺，分析了全國相關設備的開工率、市場和發展趨勢，并進行了市場預測，實現了動態維護保養、故障統計和實時預警，實現了大數據驅動生產、市場和服務的應用。未來可通過大數據驅動實現工程機械的智能化的轉型和發展。
關鍵詞：混凝土機械；工業大數據；大數據分析；大數據應用
論文引用格式：
趙鑫, 吳德志, 周志忠. 混凝土泵送機械大數據挖掘與應用[J]. 大數據, 2018, 4(4): 64-75.
ZHAO X, WU D?Z, ZHOU Z?Z. Big data mining and application of concrete pumping machinery[J]. Big Data Research, 2018, 4(4): 64-75.
1 引言
由于信息技術、網絡技術、通信技術的發展，實時的、大批量的數據傳輸成為現實，智能數據分析在對海量科學數據的處理中變得越來越普遍。大數據是信息技術（IT）產業的又一次顛覆性技術革命，它的產生滿足了實時海量數據采集后的存儲、操作、管理和可視化的需求，大數據將重點運用于商業決策、政府決策和公共服務三大領域。目前大數據的應用也逐漸從互聯網走向了智慧城市、智慧醫療、智能電網及工業領域，互聯網以其開放、自治與共享的理念，正在不斷與社會各個領域結合，帶動生產和社會的巨大進步。大數據可以對民族發展、產業升級換代、科學發展、跨學科研究、預測未來等方面產生巨大的影響。
新一代信息通信技術的發展驅動制造業邁向轉型升級的新階段——數據驅動的新階段，這是新的技術條件下制造業生產全流程、全產業鏈、產品全生命周期數據可獲取、可分析、可執行的必然結果。工業大數據技術是使工業大數據中所蘊含的價值得以挖掘和展示的一系列的技術與方法，包括數據采集、預處理、存儲、分析挖掘、可視化和智能控制等。工程機械設備是社會基礎建設的“晴雨表”，工程機械物聯網大數據可以印證整體經濟數據走強和工程開工率提升，對宏觀決策很有幫助。據統計，目前中國前3位的工程機械企業的設備保有量均超過15萬臺，每天設備的生產、位置、施工、故障信息等會實時傳輸到各自企業的云平臺，通過云平臺的數據采集、存儲和分析，可以實時得出設備的生產、庫存、開工率、開工時間、區域開工熱度、潛在市場需求分析、故障統計分析等數據，通過設備數據分析和研究，可以實現中國市場宏觀分析、市場需求分析、企業生產指導、企業質量提升等。混凝土機械作為工程機械的一種，是國家基礎施工、高鐵建設、隧道建設等的重要保證，了解混凝土機械的施工大數據特點，同樣對混凝土機械的提升有巨大的推進作用。
大數據的定義很多，比較有代表性的是3V定義，大數據滿足3個特點：規模性（volume）、多樣性（variety）和高速性（velocity）。泵送機械大數據的特點符合典型大數據特征且有自身的特點：數據量大；數據多樣化，設備上傳數據包括視頻、圖片、地理位置信息等多類型數據；數據價值密度低，雖然設備上傳的數據多，但是需要長時間的分析才能挖掘，信息量大，但是價值信息密度低；數據在線性，設備施工過程中數據實時傳輸，故障信息需要實時解析。泵送機械大數據面臨諸多方面的挑戰，根本挑戰在于其復雜性、不確定性和涌現性。
本文針對目前混凝土泵送機械設備大數據的技術現狀、關鍵問題和面臨的技術挑戰，介紹了目前混凝土設備的特點、數據傳輸結構、大數據分析關鍵技術、大數據架構設計、大數據分析應用和預測，從而對宏觀分析、營銷市場分析、配件市場等的決策起到輔助作用。
2 混凝土機械特點及數據傳輸結構
2.1 混凝土機械特點
混凝土機械包括混凝土泵車、攪拌車、拖泵、攪拌站等，攪拌站是混凝土生產的設備，攪拌車是混凝土運輸的設備，泵車、拖泵是泵送混凝土到施工地點的設備。本文以混凝土泵車為例進行整體介紹和大數據分析研究。
混凝土泵車是一種用于輸送和澆筑混凝土的工程機械設備，由泵送系統、臂架系統、底架系統等組成，其中泵送系統是泵送混凝土的裝置，包括泵送機構、分配機構和攪拌機構，如圖1所示。臂架系統是輸送混凝土的裝置，通過不同系統的協同，實現對混凝土的輸送，從而實現對公路、鐵路、水利等基礎設置的建設。混凝土機械具有施工時間長、能在惡劣環境下施工等特點，是國家基礎建設的根本設備。
圖1 混凝土泵車設備及其泵送系統
2.2 數據源及其特點
數據獲取是重要的環節，數據的準確采集是大數據采集的關鍵。目前大數據的主要來源包括：商業數據、互聯網數據和物聯網數據。本文的大數據主要是針對設備的物聯網數據、GPS數據和針對企業內部軟件企業資源規劃（enterprise resource planning，ERP）、企業管理解決方案（systems applications and products，SAP）等的商業數據。
由于混凝土泵送機械特殊的結構特點，一般采用的數據來源有以下幾個。
● 設備底盤傳輸的數據。如底盤發動機數據（發動機轉速、燃油消耗、發動機總工作時間）和底盤其他數據（車速、燃油油位、系統電壓）等。
● 設備本身的傳感器數據。根據工程機械智能化的發展趨勢，越來越多的傳感裝置得到應用，如壓力傳感器、位移傳感器、角度傳感器、視頻/音頻傳感器、振動傳感器、控制器、GPS行駛記錄儀等。
● 企業ERP、SAP、客戶關系管理（customer relationship management， CRM）系統的數據。
數據傳輸的過程包括：數據獲取、數據傳輸、數據清洗、數據變換。數據傳輸流程如圖2所示。
圖2 數據傳輸流程
2.3 數據的獲取和傳輸
工程機械的大數據可以根據數據類型進行區別獲取，結構化數據采用系統日志采集的方法獲取，非結構化的數據可以通過將元數據標簽附加到非結構化數據上，使非結構化數據與結構化數據進行集成處理；企業特定系統（如CRM等）的數據可通過開放相關接口獲取。
由于設備的移動工作屬性，車輛的工況數據、位置信息等通過車載GPS終端、移動網絡進行傳輸；視頻音頻等非結構化數據首先通過Wi-Fi與當地服務器連接，然后通過互聯網傳輸到企業大數據平臺；企業運營數據則直接通過接口傳輸到大數據平臺，然后由大數據平臺對所有數據進行匯總和存儲。
2.4 數據的清洗和變換
數據傳輸到大數據平臺后，需要對其進行預處理，數據預處理的方法包括數據清洗、數據集成、數據變換等。工程機械的數據預處理主要是對數據進行清洗，即對數據進行解析、規整和處理：對數據噪聲、空白值或異常數據進行分析判斷，通過閾值算法、合理空間設定算法等進行排查和分析，實現數據的初步清洗，然后對清洗后的數據進行變換解析，得出可以用于分析的數據。由于工況數據的多樣性，對數據進行去噪處理、數據聚集和數據規范化處理非常重要。
?
3 混凝土機械大數據分析關鍵技術
混凝土機械大數據展示需要多種技術的協同，文件系統提供存儲能力的支持，索引系統提供高效的數據查詢，數據分析系統提供模型構建、算法研究等，可視化系統將分析結果進行視覺表現形式的展示，驅動各種業務的發展。同時基于工程機械施工的特點，對于設備類型、特征屬性需要利用設備碼識別技術，以保證準確識別不同類型的設備及其關鍵配置信息，保證數據不同維度區分的準確性。
3.1 設備碼識別技術
每一臺出廠的混凝土機械設備，無論是泵車、攪拌車、攪拌站、車載泵等，都有一個識別的代碼，以便于區分。同時還要對某種設備的自身屬性進行區分，如泵車的臂架長度（如23 m、40 m、49 m、56 m、63 m）是區分泵車施工能力的關鍵指標；泵車搭載的底盤類型（如奔馳、五十鈴、解放底盤等）可以對不同類型進行區別分析；還有產品程序版本信息、產品中高端版本信息、配置信息等。在大數據分析的基礎上，通過正確地設置這些基本信息，可以準確識別出不同設備的特征、結構，從而可以進行正確、有效的數據分析。
對工程機械企業進行大數據分析時，正確識別設備碼是基礎。出廠前對每臺設備進行有效的把控，不僅能提升產品質量，同時對數據資產的獲取也起到很大的作用。
3.2 大數據算法研究技術
由于數據種類多、數量質量不統一等原因，如果將所有的數據聚集在一起，而不做任何處理，會產生很多的無用數據干擾大數據的分析和決策。因此，數據分析是大數據價值鏈最后的也是最重要的階段，是大數據價值的體現和大數據應用的基礎。大數據算法是影響大數據分析結果準確性的關鍵。
大數據分析的理論核心是數據算法，算法研究既要考慮數據量也要考慮處理速度。很多傳統的數據分析方法也可以應用到大數據分析中：聚類分析方法是劃分對象的統計學方法；因子分析方法是用典型的因子描述許多指標或因素之間的聯系；相關分析方法是測定事務之間的相關關系的規律性；數據挖掘方法是實現一些高級別的數據分析需求等。但是在處理大規模數據集、非結構化數據時，處理效率無法達到預期。目前許多領域的研究是在分布式計算框架上對現有數據挖掘理論加以改進，進行并行化和分布式的處理。
數據算法要面對TB級以上的建模能力，需要構建可擴展性大數據挖掘算法，要確保在大數據分析、處理過程中的數據安全及隱私不被泄露等，同時構建分布式工作流引擎，保證負載均衡。
3.3 大數據可視化技術
作為解釋大量數據最有效的手段之一，可視化率先被科學與工程計算領域采用。數據可視化可以非常直觀地呈現大數據的特點，幫助人們分析大規模、多來源、高維度、實時變化的信息，并可以提供輔助的實時決策支持。為了提升數據解釋、展示能力，現在大部分企業都引入了數據可視化技術，可視化結果可以形象地向用戶展示數據分析結果，更方便用戶對結果的理解和接收。大數據可視化具有實時性、操作簡易性、豐富展現性、多數據集成支持性等特性。目前數據分析常見的柱狀圖、餅圖、直方圖只能呈現基本的信息，對于復雜的結構化、非結構化數據，數據可視化的流程非常復雜，具體實現流程如圖3所示。
圖3 大數據可視化實現的流程
大數據可視化技術的實施，可以對工程機械生產數據、設備的分布區域、施工地點、施工時長、故障診斷、售后服務等進行可視化展示，為公司的生產、技術、營銷和售后提供數據支撐。通過數據化管理，還可以進行潛在市場分析、故障動態預警、施工趨勢分析、施工活力圖分析等。
?
4 面向工程機械應用的大數據架構設計
如何根據不同的工程機械大數據分析需求設計出穩定的架構，以滿足日益變化的需求變更和產品數量的擴張，是工程機械大數據方法論及其關鍵技術分析和研究的重點。本文基于數據采集、數據傳輸、數據存儲和計算、數據應用4個層面進行了敏捷大數據架構設計。該架構可以解決各類數據格式不統一、數據量和采樣頻率差異大等問題，實現各種數據采集；突破了海量數據存儲及快速計算，實現數據高效管理，基于Hadoop分布式文件系統實現數據高效的管理和存儲，采用具有可伸縮性、基于內存計算的Spark并行分布式計算框架實現數據挖掘與機器學習等算法，最終可實現工程機械數據的采集、存儲、管理及數據清洗、數據轉換、數據顯示、數據應用。其總體架構設計如圖4所示。
圖4 混凝土機械大數據分析總體架構設計
4.1 數據采集
采集的數據可分為3種類型：設備采集的工況、地理位置數據，設備上安裝的壓力、位移、液位等傳感器數據，GPS采集的定位軌跡數據；生產、銷售等系統的數據庫，結構化和非結構化數據，根據射頻識別（RFID）終端識別的設備生產過程產生的數據，銷售產生的客戶數據；互聯網數據采集，包括環境數據、原材料數據、大規模建設、房地產開發等數據，根據爬蟲技術獲取的互聯網、行業公共數據等。采集的數據需要進行提取、轉換、清洗和隱私脫敏等處理。數據采集后通過傳輸通道進行傳輸。
4.2 數據處理
大數據中蘊含的寶貴價值是人們存儲和處理大數據的驅動力，目前人們對大數據的處理主要是對靜態數據的批處理、對在線數據的實時處理以及對圖像數據的綜合處理。由于混凝土泵送設備的特殊性，設備銷售后大部分時間在當地施工，傳感器采集的數據通過GPS、3G/4G/Wi-Fi進行傳輸，同時其他工況數據通過互聯網進行傳輸，統一將數據傳輸到大數據平臺。數據存儲采用分布式云存儲系統，存儲后進行處理。大數據的應用類型有很多，主要有流處理（stream processing）和批處理（batch processing）兩種處理方式。
本文根據數據的傳輸頻率，采用兩種模式結合的方式，其中毫秒、秒級數據采用流處理方式，其他數據采用批處理方式。對采集設備的位置信息、工況信息、環境信息、數據庫信息等進行算法挖掘時，要考慮算法的可擴展性。其中對工程機械產生的數據進行處理的方法如下。
● 地理位置信息數據清洗，根據合理行駛速度區間，將設備的位置信息限定在合理的行駛地理區間內，處理異常地理位置信息，保證車輛位置信息準確。
● 工況信息會出現空值、重復、丟失等情況，通過過濾、篩選及冗余傳輸等策略，實現工況數據實時準確傳輸，保證信息準確。
● 其他信息還需要采用容錯性、水平擴展等措施進行數據分析處理。
4.3 數據應用
數據采集后，通過云存儲、建模、算法研究和分析，可以被轉換為圖形化數據。數據應用層首先要滿足泵送設備的大數據分析需求，包括位置信息和工況信息可視化查詢、展示、趨勢預測等，分析的結果可以對應用起到決策支撐的作用。
?
5 大數據應用和預測
本文以筆者單位生產的混凝土泵送設備為例，著重從訂單數據、生產類數據、工況數據、故障數據、地理位置數據等方面分析數據，挖掘數據價值。
● 通過將訂單數據與生產數據、庫存數據進行實時對比分析，調配設備庫存及生產情況。
● 通過對區域施工熱度進行分析，實現全國、省、市三級開工熱度分析及未來施工預測，并對施工熱度上升、下降趨勢明顯的區域進行預警，防止生產短缺，保證及時備貨，同時防止生產過剩，造成產品呆滯。
● 通過分析所有設備的施工情況，建立動態維護保養預警模型，實現主動維護保養和配件銷售、驅動精準服務的要求。
● 通過分析區域施工位置及市場熱度，實時指導客戶對區域市場的把控，了解市場行情，指導后期經營活動。
● 故障統計分析和預測，通過故障數據、實時工況數據監控，實現對關鍵元器件質量的把控，同時通過故障預測模型進行預測分析，調整控制參數。
● 通過數據驅動整體實現數據對營銷、服務、研發、客戶等領域的數據指導，并對未來變化趨勢做出預測，為客戶、企業管理者戰略決策提供數據支撐。
5.1 需求訂單量與生產進度、倉儲情況匹配
數據源為CRM系統訂單數據（設備型號、配置等）、客戶信用等級數據、客戶所屬區域施工總量市場數據、實時生產數據、庫存數據、發貨時間等。CRM系統會實時更新潛在客戶的需求數據、已下訂單數據；實時生產數據包括設備的下料、物料的搬運，結構焊接，設備裝配，整車的涂裝；設備入庫后，實時更新設備庫存數量、時間、發出數量、未來n天的發貨計劃等，生產過程的數據量為5～10 GB/天。
訂單成交率指數：全國的營銷人員會填寫所有潛在客戶的信息，包括客戶實際需求型號、配置、分期付款等，分期付款客戶系統自動匹配計算出訂單成交系數，分別為以下幾個。
● 老客戶根據月活躍天數、日施工時間、最近施工時間3個參數對客戶信用等級進行評價，再使用歸一化法將參數映射到，設參數為A1，新客戶A1=0.5。
● 銀行信用系統整體上對客戶的綜合評價記為A2，沒有評價信息時，A2=0.5。
● 對該訂單所在區域整體施工總量值排名，依據五分位法設定區域施工系數A3。
依據以上系數，預測整體訂單數量，并實時結合正在生產的設備數量、型號及設備庫存數據情況，合理安排生產情況和設備備貨情況，保證訂單與設備生產相關聯，保證產品銷售。
將全國所有銷售業務數據與生產、庫存數據相關聯，建立動態模型，實現了訂單預測、生產全過程實時監控和分析；倉儲實時監控，建立動態閉環，保證了設備生產，同時避免了產能過剩和產能不足的發生。業務驅動市場極大地提升了智能工廠的生產效率，實現了業務到生產的數據融合，促進了企業發展。圖5為訂單與生產流程，圖6為設備庫存數據。
圖5訂單與生產流程
圖6依據訂單數據實現的庫存設備數據
5.2 區域熱度分析
（1）數據源
數據源為施工數據（施工方量、施工時間），包括設備月施工天數、單次施工時間、最近的施工時間。按照設備施工數據5 MB/天的數據傳輸量、日平均施工設備5 000臺計算，日數據量約為24 GB。
（2）區域施工熱區預測
利用設備的日施工時間、月施工次數、單次施工時間、日施工總量增量斜率等多個變量建立施工預測模型，各個數據采用正態分布分析法，得出設備施工的概率分布，同時對設備數據進行橫向、縱向分析、多元回歸分析等，實現區域熱度的預測。
通過分析設備某段時間的位置分布及整體施工數據，可以得出某一個月設備的開工熱度。
通過總量、平均量分析法、增量斜率分析法和地理位置映射方法，可獲取全國、各個省市的總的施工量、單臺設備平均施工數據和施工增量斜率。圖7為2017年全國混凝土泵送設備的月施工圖，通過分析可以得出：施工總數與施工臺數相關性較強， 2月份施工量全年最低，整體上施工熱度在4～10月份；平均每臺施工方量趨勢大體一致，7、8月份由于天氣原因施工總量略有下降，11月份以后東北和西北地區施工總量和開工臺數下降明顯，與氣候和溫度關聯較大。
圖7 2017年設備施工量統計
通過地理位置映射的方法，分析不同省、市的施工情況，并對未來全國、省、市的施工情況進行預測，提供整體的宏觀分析和區域熱度分析的指數模型，具有重要意義。
5.3 精準服務分析
數據源為客戶信息、維護保養信息、設備地理位置信息、設備工作時間。數據量包含在第5.2節施工數據中。采用動態關聯算法，目前所有的設備檔案信息都有詳細的服務記錄，將單臺設備施工數據與設備維護保養數據結合，可實現精準服務。傳統的服務靠服務工程師在保養后記錄，再根據大概的時間（如1年）進行保養提醒，或者客戶提出對設備保養的需求時才進行，沒有考慮設備實際的施工情況，因此這樣的保養不準確，且無法做到需求預測、提前備貨等。
正常情況下，泵送機械底盤、潤滑油、易損件（眼鏡板、切割環、活塞、S管等）、結構件等的保養都與施工方量、施工時間等相關，通過將CRM系統客戶設備維護保養信息進行更新維護，可實時獲取設備最新狀態，根據方量和施工時間信息進行累加，實現精準服務。通過以上數據，建立維護保養、設備保養預測、零配件銷售、當地零配件庫倉儲的動態關聯系統，建立維護保養庫，將設備的維護保養數據轉化成同一個時間維度，即進行時間的標準化。將服務數據映射到時間上，通過添加施工方量、施工時間數據維度，設定維護保養報警閾值、實際實施閾值等。根據設備實際施工數據反饋，當觸發閾值時，將信息映射到時間維度，實施相關零配件的備貨處理、主動服務溝通和相關零配件的主動銷售。本模型采用零配件需求數據邏輯分類、需求決策樹模型，實現數據驅動服務的轉型。根據數據互聯互通和動態反饋，實時修正閾值設定，維護保養及零配件需求預測準確率大于80%。圖8為3款設備目前的施工方量區間統計。
圖8 3款泵車施工方量區間統計
5.4 數據支撐支持市場
數據源為設備地理位置信息、設備施工信息。設備每在一個地方施工，該施工點就會作為熱度點在地圖上映射，根據長時間的數據分析和跟蹤，并實時更新，可以得出全國所有地區的施工地點和施工熱度。
采用聚類分析法、判別分析法對開工熱度點進行判別和分析，從而實時聚焦開工熱度區域，并實時累計疊加，建立全國、省、市的熱度可視化系統，并得出熱門施工區域。該數據支撐市場系統對指導市場和客戶、把控區域市場情況起到很好的作用。
5.5 故障預警分析
數據源為設備回傳故障數據、CRM系統中客戶設備實際發生故障、設備工況數據（如壓力、液壓油溫等）。故障數據為觸發數據，數據量較小；工況數據實時性要求高，設備數據量參考第5.2節。
故障預警分析主要采用統計學、故障模型預測算法。設備擁有故障自診斷信息，設備一旦施工，任何故障信息都會實時傳輸到大數據平臺，通過分析一段時間內泵車的所有故障數據，可以對關鍵技術可靠性、關鍵傳感器穩定性、GPS的故障率等進行統計分析，同時可基于實時回傳的工況數據，建立故障預測模型，如可以通過泵送壓力、持續時間、發動機轉速等建立泵送防堵管的模型，實時預測泵送設備的泵送性能，并根據預測結果調整控制參數，保證故障自適應解決。根據故障處理問題，建立故障預測和故障解決知識庫，為故障的快速解決提供數據分析和指導。
6 結束語
本文提出混凝土泵送設備的特點和大數據發展情況，分析了混凝土機械特點及數據傳輸結構。通過關鍵技術分析，構建了大數據平臺的架構；通過大數據的分析和應用，可以在設備生產、倉儲、銷售、服務等多個方面提供數據支撐，為工程機械企業的決策提供有效的數據支撐，并為企業在大數據時代的發展提供方法論。目前，工程機械大數據應用仍然面臨諸多挑戰，不同工程機械企業間難以共享，數據缺乏統一的接口和平臺，還有某些關鍵工況數據依然必須依賴可靠性高、費用昂貴的傳感設備等。隨著科技的發展和進步、工程機械設備數據獲取和大數據技術的深入結合，工程機械設備的應用將會使國家和相關行業實時了解設備動態、宏觀開工情況、區域活躍指數等，從而實現宏觀分析和調控，為制定合理的產業政策，保證國家、行業、公司有序健康發展提供助力。
《大數據》期刊
《大數據（Big?Data?Research，BDR）》雙月刊是由中華人民共和國工業和信息化部主管，人民郵電出版社主辦，中國計算機學會大數據專家委員會學術指導，北京信通傳媒有限責任公司出版的科技期刊。
關注《大數據》期刊微信公眾號，獲取更多內容
總結
以上是生活随笔為你收集整理的混凝土泵送机械大数据挖掘与应用的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【CyberSecurityLearni
- 下一篇： 【CyberSecurityLearni