从报表到数据可视化,我用这五步,成功搭建银行大数据架构
今天來講講銀行的數字化建設吧,作為大數據量的典型,它的數據架構搭建是很有意義的。
雙模IT是由gartner首次提出來的概念,當時他是這么解釋的:雙模IT就像武士和忍者,一個行為嚴謹規范,是作戰主力,一個擅長盜取暗殺,是高效輔助。其實就跟抗日戰爭時期的正規軍和游擊隊類似。Gartner認為:雙模式IT才是未來很長一段時間的主流。
?
雙模IT在數據分析上的具體形態,就是將固化分析和探索分析結合起來,用固化分析來應對復雜邏輯場景,比如查詢報表、填報報表、復雜報表等;探索分析來應對不確定的臨時場景,進行一些探索式業務分析,比如大數據全量分析、自助取數、可視化探索分析甚至是數據挖掘。
?
舉一個簡單的例子,比如1104的貸款質量遷徙表,這種報表比較復雜,里面涉及到的計算也比較多,但是內容是相對固定的。所以這種報表毫無疑問是需要交給IT來完成的,業務沒有能力和時間完成這種復雜報表。
但是再看下面兩個報表,左右兩邊的報表整體未改,但是指標由于某些原因又需要進行增刪改操作,這種需求如果有自助分析平臺,讓報表有足夠的自由度,業務是可以自己去修改報表的。
?
這個其實就是雙模IT的一個典型場景,雙模IT其實就是用固化分析和自助分析結合的模式來解決現階段數據應用的分工問題,是真正能實現IT和業務雙贏的一種IT解決方案。
?
我們都說離開建設談應用都是耍流氓,那我們該如何建設良好的雙模IT架構呢,這就是今天的另一個關鍵詞了:生態。
生態學思維是指有機體不能脫離其他環境單獨存在,強調各個系統之間、各個個體之間的相互聯系和反饋,就像我們的自然生態系統一樣,任何一個生命體都不能離開自然生態而獨立存活。同樣的,將這個思維映射到商業智能的建設上,就是要建立一個具有連續性、多樣性的商業智能生態。
我們知道物種多樣性和自然生態系統的穩定高效息息相關,同樣的,商業智能生態是否豐富多樣也決定了商業智能是否可以長期保持活力。商業智能的生態類型非常豐富,但基本分為數據生態、業務生態、分析生態、產品生態、應用生態五個大類。
?
每個生態其實都有其豐富的內涵,這也正好符合生態系統"豐富多樣"的特征,下面我們就詳細的解釋一下各個生態的建設過程。
數據生態建設
數據生態建設的第一步是對全行數據進行梳理,建立數據治理制度,與業務緊密結合進行數倉建設。一般的過程是從各個業務系統增量抽取數據到ODS貼源層,然后在ODS層數據進行分類和清洗但是保留最小粒度,最后根據設計好的維度模型進行數倉的建設,形成口徑一致的匯總層數據。
一般的,我們還會在數倉中建設一些面向應用的數據集市,比如面向審計我們會做EAST數據,面向風險監管我們會有風險集市等。
?
然后就是堅持長期的進行數據治理。其實在數倉的建設過程中就會做好一些清洗工作,比如統一編碼規則,規范臟數據等。但是數據治理是一個長期的工作,不僅僅包括ETL過程的一次性工作,還包括長期的組織、制度、流程的配合。
?
那在建設好數據基礎之后,我們該怎么利用這些數據進行分析呢?首先我們分析肯定不是亂分析的,而是根據一定的指標體系來進行分析的,而指標體系在一些傳統分析領域是有非常成熟的指標庫的。比如分析盈利性分析、流動性風險分析、財務分析等。
舉個例子經營狀況分析指標體系就包含:資金成本率、經營成本率等等。再結合分析模型,比如說財務經常使用的杜邦分析模型,就能形成一張層次清晰的分析報告。
?
有很多人問到,到底什么是分析模型。其實分析模型就是分析問題的方法、思路,有些能夠固化,而有些需要臨時確定。復雜的類似一些數據挖掘模型,簡單的比如針對客戶的RFM分析模型已經有了固化套路了,但是針對審計系統的有些新的模型可能需要臨時分析邏輯,在經過行內驗證之后,就能固化下來,逐漸形成審計模型庫。
上面這些方法是針對部門的專業人員的,但是對于領導來說,不一定要每個指標都看,這就需要針對領導的需求進行指標體系定制。
我們對多家銀行領導對于駕駛艙的訴求總結了一下,給領導的看的指標一定要有層次、有分類、有閉環。有層次就是不能把全行經營的所有明細一股腦的全部給領導進行展示,需要按照匯總關系設計一些鉆取聯動;有分類就是需要把經營指標進行分類展示,形成類似經營看板的報告;有閉環,就是業務有頭有尾,又涵蓋全貌,比如不能只有存貸款分析而沒有收入和利潤分析。
比如,可以將全行經營指標進行分類之后進行展示的,比如經營對比、規模對比、凈利潤、凈收入、成本收入比、總資產、各項存款余額、各項貸款余額和不良貸款率等,未達標的大指標進行泛紅顯示,領導點進詳細信息就可以查看詳細統計信息了,比如哪個支行、哪個客戶經理未達標,前五名后五名等。
數據整理好了只是完成了將數據轉化為信息的過程,但是數據只有緊密的結合業務場景,才能發揮更大的價值。相比于數據倉庫采用成熟的建模方式不同,業務生態相對來說比較個性化。
業務生態建設
銀行的業務生態其實是很復雜的,但是商業智能應該盡量根據行內的需求進行業務生態建設,不能盲目開發導致資源浪費。各個銀行根據他們自己的特色和領導的關注點,都開發了豐富多樣的分析系統。
?
業務生態的建設相對于數據生態來說,是比較個性化的。比如某個省聯社其實已經在我們平臺上建設了非常多的經營管理駕駛艙給到下面的行社來用,但是對于農商行這種區域特色的金融機構來說,行長的經營管理策略和關注的指標體系都是有不一樣的。
而且不同的時間節點,關注的報表內容也是不同的,所以沒辦法一套大而全的系統滿足全省所有農商行的管理需求。所以很多行社其實自己也會針對行領導的關注點來開發一些特色的管理駕駛艙,還有些會將駕駛艙放到移動端上面,讓領導出差在外也能對行內狀況了如指掌。
分析生態建設
其實不僅僅是指標和業務是具有多樣性的,分析方式也是具有豐富多樣的形式的。分析生態的建設內容一般包含四種:固化分析、自助分析、數據挖掘和人工智能分析,我們需要根據需要和科技現狀采取不同的分析方式。
第一個分析形式是固化報表。首先我們給報表下一個定義:
- 報表能夠將所需數據反饋給使用者
- 數據將以標準的、預定義的格式呈現
- 在生成報表的過程中,除了通過報表界面請求報表的使用者外,沒有他人參與
綜上幾點:報表不夠靈活。
一種比較常見的誤解是:手頭上有大量可用的報表,但是誤以為他們有大量可用的分析。商業智能的管理員會說"我們有世界一流的BI環境,我們有500多份可用的報表,它們可以覆蓋任何業務領域,我們的業務人員擁有他們想要的一切數據"。
但是,業務人員會說"太失望了!我們花費了一兩年時間來建這個報表系統,但我依然沒有找到我需要的"。這就是為什么IT和業務經常爭執的原因。
分歧源于下面的事實:好像埋藏在500份報表中的東西才是業務人員所需要的。但是當報表多達500份時,他們很難從中找出他們想要的。另外,任何兩個人都希望用他們的方法和角度來看同一件事,這也就意味著每個報表都需要面向不同的人員提供不同的觀察角度。
重要的不是報表的數量,而是報表的相關性。所以在固化分析這一步,我們需要的不僅僅是固化報表,而是固化報表群,這個群是用來表達一個業務模塊的,并且報表與報表之間是有業務關聯或者邏輯關聯的。
比如單獨的一張流動性缺口表是一個固化報表,但是如果配合上流動性結構表、趨勢表,資產流動性表,負債流動性表等組成一個報表群,就能將流動性的常規分析模型給固化下來,每次不用重新思考報表之間的關系,也不用每次重新開始一個分析,固化報表會直接給你答案。
那我們該怎么讓報表更加靈活并且確實對某類問題行之有效呢?這個就需要業務自助的形式,來對業務問題進行探索性的分析。當然這個工作也可以交給IT來做,但是效果肯定沒有業務自己拿到數據來做好。
因為業務是數據的生產者,也是應該是數據的消費者,而IT只應該是數據的加工者。業務自助分析是一種社會專業化分工細化的體現,銀行的業務越來越復雜,IT人員不太可能同時對所有的銀行業務都很了解,不懂業務去做分析那自然是沒法得到答案的。
IT將數據加工成業務能懂的數據之后,對業務來說數據就轉化為了信息,然后業務再結合自己的專業知識,就能將信息場景化的轉化為智慧,這就是著名的DIKW模型。
?
除了固化分析和自助分析,現在數據挖掘也非常的火。我們在BI中我們內置了一些數據挖掘算法,讓業務人員也可以在前端用可視化的方式做一些數據挖掘工作,結合FineBI強大的可視化能力,制作出優秀的數據分析報告。
?
如果需要更加高級的數據挖掘算法支持,我們也提供R語言深度集成,可以在前端輸入R語句來實現復雜的算法,后期也將支持python語言。
?
最后的一個分析生態,人工智能分析,現階段實際應用場景還比較少,但是我們的創新產品研究所也在持續跟進這樣的新興需求,比如微信語音打開報表。
產品生態建設
要實現多樣化的數據分析方式,我們需要一個好的平臺或者工具來支撐這些任務。帆軟在數據行業沉淀了十幾年了,在產品生態上已經從數據采集、數據存儲、數據處理到最后的數據分析都提供了一站式的解決方案,其中也包括云產品和移動端分析產品。下面我們來簡單介紹一下。
首先是FineReport這款產品功能非常的強大,作為中國報表軟件的領導品牌,是國內唯一 一家入選gartner全球報表市場指南的廠商。主要面向的是IT人員,以簡單的方式制作復雜報表和復雜可視化報告,以類Excel的方式設計報表,并且提供強大的數據錄入模塊。
?
FineBI作為自助大數據分析平臺的領跑者,提供強大的數據處理、數據存儲和數據分析的功能,讓業務人員可以自己定制所需要的報表。能夠和finereport這種復雜固化分析形成雙模IT架構,實現既有正規軍又有游擊隊的數據分析模式。為了實現更加流暢的大數據自助分析,FineBI提供了spider引擎,采用分布式架構和內存計算,解決大數據量分析和快速展現的問題。
?
應用生態建設
我們針對行長、支行長等管理者,開發了一套適合行內經營管理的駕駛艙系統。將行長經常關注的指標梳理成一套模塊化的指標體系,結合帆軟銀行業多年的經驗和我們公司的美工和UI設計,形成一套有管理閉環、多維度追蹤的行長駕駛艙。
?
總結一下
今天分享的內容有比較多,不得不總結一句。其實講了這么多,圍繞的都是今天的主題"雙模IT銀行商業智能生態建設"方法,總結一下其實就是雙模IT的思路加上生態學的思維。
?
雙模IT非常好理解,就是需要固化分析和自助分析結合起來,分別應對一些復雜分析和探索性臨時性分析。
生態學思維其核心就是相互聯系和豐富多樣。商業智能的建設不能是孤立的系統,而應該是連接數據、業務、分析和應用的紐帶。
比如不管使用探索分析還是固化分析都可以對各種業務進行分析;不同的業務生態也需要不同的數據生態建設來進行支撐;不論使用finereport還是FineBI都可以根據不同的使用場景選擇PC端、移動端和大屏端進行展現;應用生態的建設應該緊密聯系銀行的業務生態。
這才是生態學思維的究極奧義,生態既要豐富多彩,又要緊密聯系,這樣才能讓商業智能源源不斷的迭代和發展。
歡迎關注我的公眾號“商業智能研究”,私信回復“資料包”,即可領取大數據、數據中臺、商業智能、數據倉庫等6G精華資料!
總結
以上是生活随笔為你收集整理的从报表到数据可视化,我用这五步,成功搭建银行大数据架构的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: @大学生|计算机专业怎么要怎么学?掌握这
- 下一篇: 神东煤矿:煤矿管控难?且看帆软如何助力其