導讀：如何成為一名合格的數(shù)據(jù)科學家？這個問題回答起來亦簡亦難。本文帶你了解數(shù)據(jù)科學家的成長之路。

作者：彭鴻濤 張宗耀 聶磊 來源：大數(shù)據(jù)DT（ID：bigdatadt）

?

?

一次偶然的機會，有一位正在深造機器學習方面學位的朋友問了筆者一個問題：如何成為一名合格的數(shù)據(jù)科學家？

?

這個問題回答起來亦簡亦難。簡單回答的話可以拿出標準答案，坐而論道地說需要編程能力、數(shù)據(jù)操作能力、數(shù)學基礎、算法庫應用能力、算法調優(yōu)能力與業(yè)務對接的能力等。

?

但是這樣的答案筆者其實是不滿意的，因為有太多的技術意味。做數(shù)據(jù)分析、將數(shù)據(jù)的價值發(fā)揮出來，是一個“工程 + 科學”的過程，只要在這個過程中的任意一處找到自己的位置，就無謂數(shù)據(jù)科學家這種稱號了。

?

大數(shù)據(jù)時代方興未艾，人工智能時代又呼嘯而至。人們在很多場合下能看到諸多新應用，加之整個社會都在熱切地擁抱人工智能技術，使得大家都相信人工智能時代勢必會改變社會的方方面面，筆者對此也深信不疑。

?

在人工智能時代，將數(shù)據(jù)的價值發(fā)揮出來的要素有資金、數(shù)據(jù)、平臺、技術、人員等。數(shù)據(jù)科學家是人員要素中最為重要的部分，是需要企業(yè)非常重視的。在數(shù)據(jù)科學家自身發(fā)展的方向、組織結構，以及如何體現(xiàn)出價值等方面，相信大家肯定會有很多想法。

?

筆者從十幾年前加入IBM SPSS進入數(shù)據(jù)分析領域開始，至今擔任過分析軟件工具的開發(fā)者、解決實際業(yè)務問題的數(shù)據(jù)挖掘者、數(shù)據(jù)驅動業(yè)務以及數(shù)字化轉型的咨詢者等多種角色。反觀這些年的成長路徑，將一些較為重要的經(jīng)驗做一個粗淺的總結，拋磚引玉，以供讀者參考。

?

?

?

01 算法與數(shù)據(jù)科學家

?

我們隨便打開一些教科書，會發(fā)現(xiàn)機器學習、人工智能、數(shù)據(jù)挖掘等經(jīng)典領域所談論的很多知識點是共通的，比如從歷史數(shù)據(jù)中學習到事物模式并用于對未來做出判斷，是機器學習中的重要內容，也是人工智能的重要方面，更是數(shù)據(jù)挖掘的重點內容。

?

現(xiàn)在有一個很時髦的說法，認為機器學習是比數(shù)據(jù)挖掘更為高深的學科，實現(xiàn)人機對話那肯定是人工智能的范疇。

?

其實，從一個更為宏觀的視角來看的話，這幾個學科都是在將數(shù)據(jù)的價值通過算法和算法的組合（數(shù)據(jù)分析的流程）發(fā)揮出來，沒有一個清晰的標準說某類算法必須屬于人工智能范疇、某類算法必須屬于機器學習的范疇。

?

1. 數(shù)據(jù)科學、人工智能、機器學習等

?

有國外的學者試圖給出一個機器學習、數(shù)據(jù)科學、人工智能等時髦名詞之間關系的示意圖，如圖1-1所示，我們發(fā)現(xiàn)，這些學科間的關系可以說是交纏不清。

?

▲圖1-1 數(shù)據(jù)科學相關的學科之間的關系

?

筆者也就這些學科之間的關系進行了深入探索，查詢了很多的資料，發(fā)現(xiàn)圖1-1的中間部分，其實是來自SAS在1998年提供的數(shù)據(jù)分析的課程。除此之外，很少有人能將它們的關系說清楚，因為這本來就說不清楚。所以，對上圖，讀者只當其是一個參考即可。

?

重點是圖1-1所表達的含義：這些技術都是圍繞“問題解決” →“分析” →“策略” →“領域知識” →“溝通” →“表達” →“探索”等問題來展開的，而這些問題都是人們在認識世界、解決問題時所涉及的方面。

?

所以，本節(jié)采用圖1-1想表達的含義也是如此：計算機的技術在迅猛發(fā)展，現(xiàn)在很多的技術都可以融合使用來解決復雜問題了；對于數(shù)據(jù)科學相關的這些技術，很多方面都是通用的。

?

2. 室內活動還是室外活動

?

數(shù)據(jù)科學家是個含義較廣的名詞，人們往往也不會太多在意他們所從事的具體工作有什么不同，習慣將從事算法設計開發(fā)、在客戶現(xiàn)場直接應用數(shù)據(jù)分析工具解決問題的人都稱為數(shù)據(jù)科學家。

?

這樣的劃分其實無可厚非。但是若將算法看作成品，則可以將數(shù)據(jù)科學家分為室外（out-house）和室內（in-house）兩種角色。

?

所謂室內數(shù)據(jù)科學家關注具體算法的設計、實現(xiàn)。比如，在MapReduce的計算方式下如何實現(xiàn)分層聚類算法。

?

而室外數(shù)據(jù)科學家，也就是數(shù)據(jù)挖掘者，他們一般不需要關注具體算法和工具的實現(xiàn)，他們的職責是將客戶的需求翻譯為具體工具能解決的工作流程，并應用合適算法能得出有意義的結論。圖1-2比較形象地對比了兩種科學家的不同。

?

▲圖1-2 室內室外兩種數(shù)據(jù)分析人員職責對比

?

現(xiàn)在還有一種習慣就是將室內數(shù)據(jù)科學家稱為算法工程師，而對于室外數(shù)據(jù)科學家則稱之為數(shù)據(jù)科學家。我們大可不必糾結于這些名稱的不同，只要對他們的職責有不同的認識即可。

?

室外數(shù)據(jù)科學家，在長期的項目過程中，需要與業(yè)務人員有非常深入的溝通才能得出有意義的數(shù)據(jù)分析結果。所以，相對于數(shù)據(jù)模型而更加看重業(yè)務的需求和特點，這是室外數(shù)據(jù)科學家的基本素養(yǎng)。本書所謂的數(shù)據(jù)科學家是指所謂從事室外活動的數(shù)據(jù)分析者。

?

?

02 數(shù)據(jù)科學家不斷成長的幾個階段

?

現(xiàn)在移動端各種App百花齊放，這已經(jīng)使得信息的傳播沒有任何的限制，人們在不自覺的過程其實已經(jīng)閱讀了大量的自己感興趣的文章。若對機器學習比較感興趣，相信人們已經(jīng)看到了很多非常炫酷的機器學習的應用，如人臉識別的精度已經(jīng)提高到一個非常高的水平、大量智能問答機器人的部署已經(jīng)替代了不知多少呼叫中心的員工等。

?

顯而易見，這些應用絕不是單靠一個算法就能解決的，注定是平臺、算法、業(yè)務等要素的綜合應用才能產(chǎn)生這樣的效果。在應用數(shù)據(jù)分析時已經(jīng)基本形成一個共識，就是數(shù)據(jù)分析者要對業(yè)務有一定的了解，才能保證產(chǎn)生較好的結果。

?

Gartner很早就將數(shù)據(jù)分析能力分成了4種（如圖1-3所示）：

?

• 描述性分析（Descriptive Analysis）是在回答“過去發(fā)生了什么”，是了解現(xiàn)狀的有力手段；

• 診斷分析（Diagnostic Analysis）是尋找“為什么會是這樣”的方法；

• 預測分析（Predictive Analysis）是在回答“將來會是怎樣”；

• Prescriptive Analysis則是說“基于現(xiàn)狀、預測等結果，我如何選擇一個較優(yōu)的決策得到期望的結果”。

?

▲圖1-3 四種分析能力劃分（Gartner）

?

Business Intelligence的核心能力是解決描述分析和診斷分析。人們常說的預測模型（包括傳統(tǒng)的隨機森林、GBT等，還包括深度學習的常見算法如CNN等）、聚類模型、關聯(lián)分析等都屬于預測分析范疇。利用凸優(yōu)化、馬爾可夫等方法從眾多的決策選項中尋求最優(yōu)決策，則屬于Prescriptive Analysis的范疇，重點解決最優(yōu)決策的問題。

?

在圖1-3中，分析之后，人們經(jīng)驗、業(yè)務的輸入（Human Input）隨著分析手段的提高而減少，這是因為Prescriptive Analysis在分析過程中已經(jīng)將這些因素充分地引入。

?

比如，預測客戶流失的模型能夠輸出“哪些客戶將要流失”的名單，但是并不會輸出“OK，企業(yè)應該采用何種決策來挽留”，是應該給個折扣，還是辦一張會員卡？這些還是需要人們進行業(yè)務決策的輸入。

?

而Prescriptive Analysis則會分析折扣和會員卡哪種方式既能挽留客戶又能使得企業(yè)的收益較高，但是這些決策（會員卡和折扣）也是需要人們輸入后才能進行分析。

?

所以“通過數(shù)據(jù)分析的手段發(fā)揮數(shù)據(jù)價值”的過程，沒有業(yè)務輸入是絕對行不通的。所以，筆者也認為數(shù)據(jù)科學家絕不是僅僅精通算法即可，還需要對業(yè)務一直保持熱情，不斷思考如何發(fā)揮數(shù)據(jù)分析的業(yè)務價值。我們需要從技能、效果、工作內容、工作方法等多個層面來擴展相關的能力，這才能發(fā)揮較大的價值。

?

總之，如果數(shù)據(jù)科學家僅僅只是被動地考慮用何種算法滿足業(yè)務部門所提出的要求的話，是遠遠不夠的。

?

如果讀者有志于成為一個數(shù)據(jù)科學家，或者已經(jīng)是一個數(shù)據(jù)科學家，類似于職場的職業(yè)路徑規(guī)劃，數(shù)據(jù)科學家的成長路徑可以是什么？如何不斷成長？相信大家按照自己的興趣都有不同的理解。

?

若數(shù)據(jù)科學家一直致力于“發(fā)揮數(shù)據(jù)的價值”這條主線，那么筆者認為從價值的大小上可以分為算法、用法、業(yè)務、戰(zhàn)略4個層面（如圖1-4所示），數(shù)據(jù)科學家也可以沿著這條路徑來成長。

?

從圖1-4中可以看到不同層面的數(shù)據(jù)科學家的職責和作用是不同的，4個層次也是數(shù)據(jù)科學家成長的不同階段。

?

▲圖1-4 數(shù)據(jù)科學家成長的4個階段

?

1. 算法——如何構建數(shù)據(jù)分析模型

?

人們總是津津樂道各種時髦的算法，感嘆算法的發(fā)展使得人工智能有了長足的進展。比如，人們看到機器可以精準地識別人臉、機器可以作詩、機器可以識別圖片內容并“說出”符合其內容的文字描述，也熱衷于緊跟最新的技術發(fā)展來做一些新穎的應用。這是一個非常好的趨勢，可以促進人工智能的相關產(chǎn)業(yè)發(fā)展。

?

然而，人類已經(jīng)發(fā)明的算法遠不僅僅如此。若讀者一直在從事數(shù)據(jù)分析的相關工作，會發(fā)現(xiàn)其實能夠解決實際業(yè)務問題的算法非常多，有很多也是簡單直接的。

?

比如，找到潛在的價值客戶，既可以通過響應預測的模型，也可以通過聚類分析的模型，還可以通過社交網(wǎng)絡分析的模型來找到。構建這些模型所需要的相關知識也需要體系化地學習、不斷積累才能真正滿足實際的業(yè)務需求。

?

在很多數(shù)據(jù)挖掘的資料中都會把算法分為有監(jiān)督的學習、無監(jiān)督的學習等類別，每個類別下各自的算法又有不同。比如聚類算法屬于無監(jiān)督的學習范疇，而能夠做類別判斷或回歸的算法都屬于有監(jiān)督的學習范疇。

?

在實際使用時，需要針對需求靈活應用，如可以先用決策樹算法生成預測模型，然后分析決策樹的分支來細分客群。只有對這些算法有一個體系化的學習，才能達到靈活應用的目的。

?

超參數(shù)（Hyperparameter）是在給定數(shù)據(jù)集的情況下，確定一組參數(shù)組合能使得模型性能、泛化能力達到較優(yōu)。

?

每個算法在調試超參數(shù)的過程中，都有一些與算法特征相關的普遍規(guī)律，如隨機森林算法中決策樹的個數(shù)、決策樹的深度等，一般是需要預先被設定和關注的?；陔S機森林中每棵樹應當是一個弱分類器的原理，決策樹的深度應該很小才能避免過擬合。

?

目前有Grid Search等工具能夠在不同參數(shù)組合下嘗試找出一個合適的超參數(shù)，替代人們不斷進行手工嘗試的過程。但是不論如何，設置算法參數(shù)時總有一些經(jīng)驗總結可以在后來的應用中被復用。

?

在深刻了解算法原理、算法體系的基礎上，掌握參數(shù)調優(yōu)的技能是一個數(shù)據(jù)科學家的基本能力。不論是對初學者還是有一定經(jīng)驗的從業(yè)者來說，這都是一個需要不斷學習和積累的基本任務。

?

2. 用法——如何回頭看模型

?

在很多情況下，當數(shù)據(jù)科學家花費大量時間和精力構建出模型后，興高采烈地試圖交給業(yè)務人員進行使用時，往往會遇到一個有趣的情況：業(yè)務人員聽不懂你對高深算法的解釋，甚至不在乎你對數(shù)據(jù)的各種費心處理，他們只關心實際的問題，如模型到底效果如何？

?

在很多情況下，模型構建完成后需要對模型進行驗證。比如訓練時采用截止到3月的數(shù)據(jù)，而模型部署是在7月，所以需要數(shù)據(jù)科學家驗證截止到6月的情況下，模型的實際效果能達到什么程度。

?

這時，我們除了需要通過新數(shù)據(jù)計算模型性能指標（如提升度、準確性、穩(wěn)定性等）外，還需要計算模型實際業(yè)務結果會是怎么樣，能帶來多少收益或能避免多少損失（如圖1-5所示）。

?

▲圖1-5 以簡單明了的方式來討論模型使用的預期價值

?

數(shù)據(jù)科學家除了要對模型性能指標熟稔于心外，還需要能夠表達清楚模型真正的實際價值。所以，在第一步模型構建完成后，應用兩套指標來衡量是比較可取的做法——模型性能指標是從數(shù)學角度說明模型優(yōu)劣；業(yè)務指標是從模型應用的業(yè)務結果來評價其價值。

?

在現(xiàn)實中，人們往往不好準確把握模型的真實業(yè)務價值，在實際應用后通過數(shù)據(jù)統(tǒng)計才能有結論。

?

但是這一點都不妨礙模型部署前的估算：按照目前模型的性能指標，估計在第一次給定客戶數(shù)的情況能有多少人購買，大致的營業(yè)額會是多少。采用估算還是采用事后統(tǒng)計，都是用以說明模型業(yè)務價值的手段，可以靈活應用。

?

數(shù)據(jù)科學家要像重視模型性能指標的計算一樣重視模型所帶來的業(yè)務指標的計算。

?

總體來講，數(shù)據(jù)科學家不能將自己的工作范圍只框定在純粹建模，需要“抬頭看”和“睜眼看”業(yè)務價值。

?

3. 業(yè)務——如何產(chǎn)生更大價值

?

業(yè)務問題的解決，可以從一處痛點開始突破，也可以按照體系化的方法整體解決。

?

比如，銀行對理財產(chǎn)品的營銷：

?

• 若只關注具體產(chǎn)品的銷售，則簡單的產(chǎn)品響應預測模型即可解決；

• 若只關注一批產(chǎn)品的銷售，則也可以通過構建多輸出預測模型預測每一個產(chǎn)品的購買概率來生成推薦列表；

• 若關注客戶旅程地圖（Customer Journey Map）而確定營銷時機，則需要一批模型；

• 若關注客戶體驗的提升，需要的就不是一批模型，而是一個體系化的平臺加大量模型才能達到預期效果。

?

大多數(shù)情況下，數(shù)據(jù)科學家應當在具體的業(yè)務背景下展開工作。比如，若業(yè)務部門按照客戶旅程地圖的方法來分析客戶特征、了解客戶需求、并適時推薦產(chǎn)品（如圖1-6所示），則數(shù)據(jù)挖掘的模型是服務于一個個業(yè)務場景，在整體客戶關系管理的框架下發(fā)揮價值的。

?

數(shù)學科學家的工作需要深度融入業(yè)務，甚至引領數(shù)據(jù)驅動的業(yè)務發(fā)展。此時，數(shù)據(jù)科學家的定位不應該僅僅是構建模型者，還應該是數(shù)據(jù)驅動業(yè)務這種新模式的搭建者。

?

這種角色變化就要求數(shù)據(jù)科學家深刻理解具體的業(yè)務、新的數(shù)據(jù)驅動模式的運作方式，圍繞數(shù)據(jù)驅動模式而展開各種活動的意義。

?

▲圖1-6 以客戶旅程地圖為例說明不同的業(yè)務場景需要相應的模型

?

在這種情況下，數(shù)據(jù)科學家在構建模型時需要明確：該模型在數(shù)據(jù)驅動業(yè)務的新模式中在哪個階段發(fā)揮什么作用？如何構建一個模型組來協(xié)同工作？有了這些模型后數(shù)據(jù)驅動業(yè)務模式能夠做到什么程度？

?

4. 戰(zhàn)略——如何更廣

?

數(shù)字化變革是目前幾乎所有企業(yè)都無法回避的任務。企業(yè)由于所處行業(yè)、自身特點等原因，需要量身定制數(shù)字化轉型的戰(zhàn)略。大型企業(yè)需要選擇發(fā)展重點作為突破方向，在轉型過程中既要做好技術基礎，也需要大力推行敏捷的方法，同時要對人們的觀念、組織內的流程等方面做出更新（如圖1-7所示）。

?

▲圖1-7 一個量身定制的數(shù)字化轉型路線圖示例

?

資深數(shù)據(jù)科學家或首席數(shù)據(jù)科學家所擔負的職責不應該僅僅是完成目前安排的任務，或者去做一些博人眼球的所謂智能應用。其還應該深度參與企業(yè)數(shù)字化轉型的戰(zhàn)略制定、計劃安排、引領加速器項目等工作，因為資深數(shù)據(jù)科學家最應該懂得數(shù)據(jù)的價值如何發(fā)揮、能夠發(fā)揮到什么程度。

?

對于大型企業(yè)而言，數(shù)字化轉型的任務是艱巨的，不過眾多行業(yè)已經(jīng)或多或少地開始了相關的行動。筆者由于工作關系也深入?yún)⑴c到了大型金融機構數(shù)字化轉型的咨詢工作，深刻感觸到了企業(yè)在進行數(shù)字化轉型時的困難。這使得筆者更加認為讓真正懂得如何發(fā)揮數(shù)據(jù)價值的人員按照加速器的方式來推動數(shù)字化轉型進程是至關重要的。

?

關于作者：彭鴻濤，德勤企業(yè)咨詢總監(jiān)兼首席數(shù)據(jù)科學家，德勤全球AI團隊核心成員，德勤數(shù)字化轉型、智慧營銷、智慧風控、客戶體驗等核心咨詢服務方案的資深顧問。

張宗耀，上海全應科技有限公司資深數(shù)據(jù)科學家，前華為企業(yè)智能部門資深數(shù)據(jù)科學家，前IBM SPSS 算法組件團隊資深算法工程師。

聶磊，陜西萬禾數(shù)字科技有限公司CTO，前IBM SPSS 資深數(shù)據(jù)科學家，前IBM Watson Analytics數(shù)據(jù)分析引擎技術主管及架構師。

?

本文摘編自《增強型分析：AI驅動的數(shù)據(jù)分析、業(yè)務決策與案例實踐》，經(jīng)出版方授權發(fā)布。

?

延伸閱讀《增強型分析》 點擊上圖了解及購買 轉載請聯(lián)系微信：DoctorData

?

推薦語：增強型分析是數(shù)據(jù)科學的未來，本書講解了如何通過前沿的大數(shù)據(jù)技術和AI技術實現(xiàn)智能的數(shù)據(jù)分析和業(yè)務決策，即增強型分析。本書的三位作者是來自德勤、前華為和前IBM的資深數(shù)據(jù)科學家，在大數(shù)據(jù)和AI領域至少都有10年以上的工作經(jīng)驗，他們將各自多年來在“構建數(shù)據(jù)挖掘模型，解決實際業(yè)務問題”方面積累的經(jīng)驗全部總結在了這本書中。

?

長按二維碼或點擊閱讀原文 發(fā)現(xiàn)更多好書

?

?

?

有話要說?

?

Q:?你成長到了哪個階段？ 歡迎留言與大家分享

?

猜你想看?

?

• ?

• ?

• ?

• ?

?

更多精彩?

?

在公眾號對話框輸入以下關鍵詞 查看更多優(yōu)質內容！

?

PPT?|?報告?|?讀書?|?書單?|?干貨? 大數(shù)據(jù)?|?揭秘?|?Python?|?可視化 AI?|?人工智能?|?5G?|?中臺 機器學習?|?深度學習?|?神經(jīng)網(wǎng)絡 合伙人?|?1024?|?段子?|?數(shù)學

?

據(jù)統(tǒng)計，99%的大咖都完成了這個神操作 ?

?

?

覺得不錯，請把這篇文章分享給你的朋友 轉載 / 投稿請聯(lián)系：baiyu@hzbook.com 更多精彩，請在后臺點擊“歷史文章”查看 點擊閱讀原文，了解更多

總結

以上是生活随笔為你收集整理的AI时代的稀缺人才：解读数据科学家成长的4个阶段的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。