数据分析即未来
導讀:今天分享一篇我的讀書筆記,其中包括我的一些個人思考,文章內容比較長,推薦對數據分析感興趣的朋友認真閱讀,因為認真閱讀才會更有收獲。
作者 / 來源:林驥(ID:linjiwx)
00 前言
《數據分析即未來》這本書的作者格雷戈里·納爾遜,是美國 ThotWave 的創始人和 CEO,國際分析研究所的專家,他在數據科學、知識管理和商業分析方面有著豐富的經驗和深入的研究,發表了 200 多篇論文和出版物。
這本書出版于 2020 年 6 月,主要圍繞數據分析的流程,講述了企業全生命周期的數據分析應用之道和管理指南。
數據分析的核心工作,是把數據變成有價值信息的過程,從簡單的統計報表和數據探索,知道數據指標和關鍵因素「是什么」,到具體原因的分析,知道數據背后的原因是「為什么」,再到預警、預測和優化的分析,知道下一步應該「怎么辦」,從而能夠主動做出更加科學的決策。
要成為一名高水平的數據分析師,需要同時具備「懂業務、懂數據、懂分析」三個條件,既要有扎實的數學、統計學、數據分析等基礎能力,又要熟悉業務場景和流程,還要有很強的實踐能力、創新能力、溝通表達能力和團隊合作意識。
業界經驗顯示,培養一個高水平的數據分析師,平均需要 9 年以上的數據分析實踐經驗,并且要持續學習新的專業技能和業務相關知識,才能應對快速變化的業務環境。
在大數據時代,數據分析不僅對企業至關重要,對個人也非常重要。我認為每個人無論從事什么職業,都應該具備一些數據分析能力,因為數據分析能夠幫助個人獲得更快的成長。
比如,我制作的「數據賦能系統」,其實也是數據分析的一種應用,運用數據分析的思維和工具,幫助自己和他人掌控時間、情緒和習慣,從而加速個人的成長。
作為數據分析部門的管理者,對于如何培養和留住優秀的數據分析人才,一直是我比較頭疼的問題。我鼓勵數據分析師「貼近業務、靠近數據、彼此接近」,幫助他們獲得成長,發揮自己的潛能,努力滿足業務的需求,解決業務的痛點和難點問題,為業務創造更大的價值。
想方設法讓數據分析嵌入到業務流程中去,避免業務部門與數據分析團隊之間互相埋怨,產生隔閡,這樣才能讓數據分析發揮出更大的價值。
我們身處一個數據非常豐富的時代,但真正對自己有效的信息其實是比較匱乏的,因為數據的噪音太多。所以,需要建立一套比較規范的數據收集、數據可視化、數據分析、數據應用的管理流程,有效地通過數據做出科學的決策。
過去,人們對數據分析的理解和應用,往往停留在一些方法論和技術工具的操作層面,比如 Excel、SQL、Python 等技術的具體實現方法。然而,很少有人涉及分析思維模型的開發和應用。
未來,我預計會有越來越多的人認識到數據的價值,看到數據分析的光明前景。希望有越來越多的人能夠用數據分析的思維模型來武裝自己的大腦,從而做出更加明智的決策。
01 分析概覽
數據是真實世界中所發生事情的記錄或「模型」,它幾乎無處不在,從使用手機,到健康記錄,再到購物歷史,我們很難想象,一個沒有數據的生活將會變成什么樣?
我們不僅是數據的制造者,也是數據的消費者。
比如,我記錄自己的時間、情緒和習慣,就生成了相應的數據,然后就可以對這些數據進行分析,找到數據背后隱藏的信息,從而做出更好的決策,完成一個從制作數據到消費數據的閉環。
數據分析是用知識創造價值的過程,從分析概念,到分析實踐,再到分析成果,數據分析的真正作用是形成可行動的洞察力,從而幫助我們做出科學的決策。
數據分析的目的是為了洞察過去的規律,運用數據分析的思維,結合對業務的理解,通過數據分析的方法和機器學習的算法,預測未來的趨勢,從而幫助我們做出正確的決策,采取適當的行動。
02 分析人才
數據分析是一個從是什么,到為什么,再到怎么做的過程,需要不斷學習,形成 PDCA 循環,從而優化決策的過程。
數據分析的技能非常龐雜,沒有任何人能精通一切分析技能,但人人都可以學習一些簡單實用的分析技能,將數據轉化為有用的能力,幫助自己做出更好的決策。
衡量數據分析人才,主要包括 4 項能力:技術(如Excel、SQL、Python等)、業務(運營、流程、專業等)、方法(統計、A/B測試、質量提升等)、軟技能(溝通表達、分析思維、寫作、管理等),其中非技術方面的能力更重要,特別是解決實際問題的能力。
人都是不完美的,研究表明,記憶常常不能真實反映現實,所以及時記錄真實的數據,這對于后續的分析非常重要。
一個優秀的分析人才,需要通過不斷學習實踐系統性思維和批評性思維,養成質疑、勤練、反思的習慣。
03 組織背景
數據分析的目標就像一個燈塔,指引著前進的方向。分析在組織中的作用通常包括:滿足領導者的信息需求,通過分析獲得競爭優勢,利用數據支持決策。
愿景像藍圖,知道未來的樣子。戰略是行動方案,需要做出權衡,知道將做什么和不做什么。
在數據分析領域,常見的組織架構包括:集中式、分散式、卓越中心式等,不同的組織架構有不同的優點和缺點,但無論如何,分析師都必須與各部門保持深入的聯系,以便充分了解他們的需求。
▲集中式
▲分散式
▲卓越中心式
很多公司采用卓越中心式的組織架構,把集中式與分散式相結合,總部構建一個集中的分析職能,擁有全局視角看問題的能力,負責培訓、知識管理、流程制定等工作,而其他分析師分布在各業務部門。
多花點時間與業務部門在一起,這是非常有必要的。大約花 20% 的時間和業務部門在一起,以便更加熟悉業務的背景等情況,讓自己和做出來的數據分析成果更接地氣,更有價值。
04 數據戰略
無論是解決問題、做出決策,還是抓住機會、抵御風險,都需要基于事實、依賴數據,并以此分析研究可行的方案。
數據戰略作為指導方針,告訴我們應該如何收集、管理、使用、治理哪些數據,需要與業務目標緊密聯系。
戰略目標是未來 5 年的行動方向,一定要非常清晰,明確范圍的邊界,發揮獨特的優勢。
對于數據分析師來說,優勢包括分析的復雜度、廣度、深度和速度,等等。
實施數據戰略包括 6 個階段:①規劃戰略、②創建路線圖、③協調組織、④執行計劃、⑤監控學習、⑥測試適應。
我們可以從重要性、緊迫性、復雜度(深度)、應用范圍(寬度)的維度,來綜合評估數據分析的成熟度。
一個成熟的分析平臺和架構,通常能夠權衡任務的重要性和緊迫性,在適當的范圍內,處理一些比較復雜的問題,提供一致的、可靠的和有價值的數據流。
正如 Michael Li 所說:復用性、一致性和可生產性,使得數據科學家專注于數據科學本身。
05 生命周期
分析生命周期包括 6 個環節:①定義問題、②識別問題、③探索問題、④分析問題、⑤成果展示、⑥項目實施。
我們關注的重點,通常是解決問題的速度和可解釋的價值。
分析的實踐領域有很多,包括分析模型開發和成果應用,比如:使用包括數據可視化、描述性和推斷性統計分析以及高級分析等技術,通過用數據講故事的方法,解決現有的問題或預測未來,以及將分析成果應用到業務處理流程中去。
按照投入時間的多少,可以把分析需求分成 4 個類別:
簡單的臨時需求:數小時
復雜的臨時需求:數小時到數天
特殊項目:數周
數據分析產品:數月
數據分析技術的發展日新月異,但是工具層面的應用很容易過時,因此,我認為應該重點培養數據分析的思維、管理和培訓能力。
06 問題理解
千萬不要提出錯誤的問題,也不要一開始就進入問題的細枝末節,而要先把問題本身搞清楚。如果你能正確地定義和陳述問題,那么就已經解決了問題的一半。
抓住問題本質的方法:問題是什么?它會影響誰?影響是什么?成功的標準是什么?成功需要滿足什么條件?需要哪些依賴關系?有哪些必須遵守的約束條件?
比如,問題是銷售目標沒有完成,可能會影響公司的每個人,導致獎金減少、甚至裁員等,成功的標準是在解決方案實施后的某個時間之內完成銷售目標。
要想獲得成功的解決方案,需要先找到問題的根本原因,比如用魚骨圖、樹形圖等分析工具促進深度思考,先發散,后收斂,幫助我們創造性地解決問題。
07 數據探查
真正的發現之旅,不在于尋找新的陸地,而在于用新的眼光去觀察。
在問題理解階段,先初步探索數據,以便確定問題的大小,支持原因的分析,檢驗相關的假設,確定方案的價值等。
不要在還沒有搞清楚問題之前,就一頓操作猛如虎,那樣很有可能是在浪費時間。
通過對問題進行聚焦,收集大約 70% 左右的必要數據,就可以快速決斷,避免瞻前顧后。因為如果等著 100% 的數據,那么很有可能貽誤戰機,失去敏捷性。哪怕是錯誤的決定,也比沒有決定要好得多,因為行動是可以隨時調整的。
只有那些有時間深入思考,并且充分全面地探索和分析數據的分析師才能持續取得成功。
把所發生的事情記錄下來,這是科學界長久以來的傳統,就像早期探險家和太空旅行者記錄日志一樣,我們也需要記錄自己的分析日志。
利用「數據賦能系統」,我把工作和生活中發生的事件和情緒都記錄了下來,我認為這個習慣值得長期保持下去。
08 模型開發
雖然我個人比較喜歡分析模型開發,但我也時常提醒自己,不要沉迷于技術,而應將關注點放在如何更好地理解和解決問題上面。
分析的方法和模型太多了,而且還在不斷推陳出新,數據挖掘、機器學習、人工智能、運籌學、時間序列分析、文本分析、語音和圖像識別等,每個分支可能都有幾十上百本書,一個人一輩子恐怕也學不完。
記住:千萬不要本末倒置,陷入到分析方法、模型或工具的戰術細節,而忘了分析的目標和解決問題的本質。
除了目標思維,對比、細分和溯源也是我們數據分析中常用的思維。比如,我們經常按時間、地點、人物、產品、渠道、價格、促銷等維度進行細分和對比,通過追根溯源、A/B 測試、假設檢驗、相關性統計檢驗等方法,找到問題的根本原因和關鍵因素,對未來的趨勢進行適當的預測。
下面這個表格總結了分析模型開發的一些實踐領域和關鍵技能,在一段時間內,可以專注某一個細分領域,重點學習和實踐相關知識,逐漸提升自己的專業能力。
09 成果應用
在得出分析結果之后,開始用數據講一個令人信服的故事,最終還要有付諸行動的計劃,而不能僅僅停留在紙面上。
變革從來都不是一件容易的事,不要以為人們會自然而然地接受分析的結果,尤其是當分析結果違背人們的自覺,或者要求人們改變行為習慣的時候。
幫助人們為變革做好思想準備,了解變革的邏輯思維和知識,使用能夠提升技能的工具,并把知識和工具應用到工作流程和行為習慣中去,這樣才能讓分析成果發揮出更大的價值。
10 產品管理
解決客戶的實際問題,這是一個數據分析產品成功與否的關鍵。
分析產品管理,是關于業務、分析和產品思維三者交叉點的管理。
構建一個最小可行性產品,刪除任何沒有直接貢獻的功能,盡快開始測試產品的功效,收集和分析相關的反饋數據,實現快速更新,不斷優化迭代。
我制作的「數據賦能系統」也屬于一個最小可行性產品,先用 Excel 實現最基礎的功能,再不斷進行更新和優化迭代,提高時間管理的效率和數據分析的效果。
11 付諸行動
分析是一種有效改變行為和抓住機會的策略,能夠影響我們工作的方式、做出的決定和取得的成果,把數據驅動的洞察力轉化為變革的動力。
比如,現代運動員大多數都會基于自己的歷史數據,利用數據分析的方法,有針對性提升自己某方面的運動能力。
我考慮建立一種優秀員工的模型,用來發現、挖掘、識別、培訓、培養、任用、提拔有潛力的優秀員工,看到他們身上的特點和規律,讓他們有動力和能力去發揮自己的潛能,通過做正確的事,揚長避短,從而取得更好的成果,創造更大的價值。
在效率與效果之間取得平衡,用正確的方式,做正確的事。相對而言,效果更重要,千萬不要高效率地做錯誤的事。所以,在做事之前,先明確目標和方向,這一點尤為重要。
高效能人士做事的效率通常都比較高,但反之則不成立,有很多人做事的效率很高,然而并沒有做出有效的成果。
把分析付諸行動,這是一個巨大的挑戰,因為在知道與做到之間存在巨大的鴻溝,需要不斷去嘗試克服很多障礙,但是一旦真正做到了,那么行動也將帶來巨大的收益。
12 勝任能力
勝任數據分析的核心能力,包括高效完成分析工作所需要的知識、技能、能力和性格等,能夠將數據轉化為可執行的業務干預措施,讓業務變得更好。
要掌握數據分析的知識和技能,需要持續不斷地學習,否則將難以勝任其工作,因為技術發展和社會環境的變化都是非??斓?。
傳統的分析技能更多是分析工具的應用,比如 Excel、SQL、SAS 等,而現代要勝任數據分析工作,不僅要懂業務,而且要有數據分析的思維,還有新的分析工具不斷出現,比如 Python、BI 軟件等。
13 未來趨勢
我非??春脭祿治龅奈磥?#xff0c;因為數據分析能滿足人們追根溯源的好奇心,能解決現實中的很多難題,能促進個人的成長,能提升企業的業績,能增強國家的競爭力,能讓世界變得更美好……
對企業而言,數據分析可能會涉及到企業經營的很多方面,包括戰略、數據、技術、流程、人員,等等。隨著技術的進步,數據分析的難度將會不斷降低。
我們每個人都可以從簡單的數據記錄開始,經過日積月累,形成自己的個人大數據。
如果你能從個人大數據中挖掘出一些有用的信息,形成一套有效的個人成長體系,那么將能成為一個更有智慧的人,一個洞察先機的人,一個能用數據為自己賦能的人。
有研究表明,未來 10 年,人工智能預計將取代目前 50% 的工作,但那些擁有解決問題的能力、并善于換位思考的數據達人將會脫穎而出。
最后的話
以上,就是我讀完《數據分析即未來》之后,寫的一些讀書筆記和個人思考。
這本書介紹了數據分析的全生命周期和應用流程,是一本側重于介紹「為什么」和「是什么」的參考書,而不是一本介紹「如何做」的工具書,比較適合領導者、決策者、分析團隊和有抱負的數據倡導者,比如首席數據官、數據科學家、數據分析師、量化專家、產品經理、項目經理、團隊負責人等。
每個人都是自己人生的 CEO,要想經營好自己的人生,就需要掌握一些基本的數據分析思維。
如果一個人能夠學會應用數據分析的技能,主動適應新的環境,從長遠的目標來考慮問題,并且對自己的選擇負責,做出更加明智的決策,那么未來將會成為一個更靠譜的人。
延伸閱讀👇
延伸閱讀《數據分析即未來》
干貨直達👇
什么是中臺架構?真的“燒錢”嗎?
什么是k-NN算法?怎樣實現?終于有人講明白了
詳解數據管理發展的5個階段
解讀OpenShift的邏輯架構和技術架構
更多精彩👇
在公眾號對話框輸入以下關鍵詞
查看更多優質內容!
讀書?|?書單?|?干貨?|?講明白?|?神操作?|?手把手
大數據?|?云計算?|?數據庫?|?Python?|?爬蟲?|?可視化
AI?|?人工智能?|?機器學習?|?深度學習?|?NLP
5G?|?中臺?|?用戶畫像?|?數學?|?算法?|?數字孿生
據統計,99%的大咖都關注了這個公眾號
👇
總結
- 上一篇: 【读书笔记】设计模式沉思录
- 下一篇: 3683