「数据ETL」从数据民工到数据白领蜕变之旅(三)-除了Excel催化剂之外PowerQuery新物种同样值得期待...
在自助式BI時代以前,Excel級別的數據ETL工作,非常低效,動不動就要啟用VBA來完成一些常見的需求,自帶的原生功能,未能滿足大量的繁瑣數據ETL剛需功能。
在Excel2010后,PowerQuery以插件的形式橫空出現,并最終在Excel2016中得以深度內置,是一款非常難得的輕量化數據ETL工具。
微軟官方插件與第三方插件待遇不同
在使用第三方插件的過程中,可以彌補一些數據處理的剛需,但因每個插件的定位及用途不一,暫沒有發現哪個像Excel催化劑這樣專注做一些高階的應用,同時第三方插件的使用體驗,略低于原生的功能(需要安裝、發布、分享等環節麻煩,同時界面操作沒法做到原生那般地緊密相聯)
在PowerQuery方面,其因是官方的插件,就算在Excel2010或Excel2013中使用,無論安裝的成功率保障還是和原生功能的內置方面,都比我們第三方插件要強得多,同時也更容易過IT審核的關卡,畢竟是官方的插件,肯定對電腦沒什么病毒后門式的顧慮。
PowerQuery一個很深入的集成性在于,其數據加載的過程中,原生地開發其以Excel智能表的形式加載出來,并且以數據連接的方式和源數據和加工過程相連接,所以非常好的體驗在于數據源更新后,只需刷新一下結果表即可按原來配置過的邏輯對數據進行更新。
在第三方插件中,這個過程肯定需要重新在界面上重來一遍,所以重復性邏輯數據更新還是壓倒性地好于第三方插件。
在Excel催化劑中,對于PowerQuery非常擅長的領域,Excel催化劑就比較少去開發,所以使用Excel催化劑的用戶群體,更佳的方式是同時掌握Excel催化劑+PowerQuery,在兩者中根據自己不同場景,選擇使用哪個工具來完成,而不應該生硬地在兩者中取一,通過復雜的操作才能完成可能對方很輕松勝任的任務。
PowerQuery學習之我見
PowerQuery的學習,并非是Excel高級用戶的專利,相反,它更適合于初中級用戶去接觸,因其內核使用了.NET Framework的底層架構,非常多的.NET語言的特性都在PowerQuery中得以實現。相對Excel的高級函數技術及VBA才能處理的方案,在PowerQuery中變得非常簡單。
并且在PowerQuery中,非常強調界面化操作,在界面上操作,非常直觀于數據的生成可視化展現,易于理解和檢查。同時PowerQuery上的操作過程,并詳細記錄為步驟的模塊,并且步驟可以在有先后順序的多個步驟間來回切換,感受步驟的前后對數據源產生的影響,非常好用。
所以,PowerQuery的使用,更合適于對Excel基礎操作有所了解,對函數的計算原理有所掌握的群體來使用學習,可以快速地逆襲過往需要Excel高手級別才能完成的事情。
PowerQuery學習資源
在這兩年里,PowerBI技術持續地火熱,圖書、視頻市場已經出現非常豐富的中文習資源了。基本上市面上能夠找到的熱門的學習資料都值得入手學習。
以下這些是筆者有接觸過的或購買過的圖書,非常不錯,可以系統地用來學習。
同樣地學習過程中,需要把握和平衡,使用二八原則的學習方式產出是最大的,例如PowerQuery,盡量學習下界面的操作,再加一些通用性套路玩法即可滿足大部分的工作場景,復雜的場景雖然PowerQuery可能也可完成,但可能其他方式的實現成本更低如使用Excel催化劑、SQL、SSIS、VBA等方式。
同樣地PowerBI社區的一些公眾號、博客文章,也是一個很不錯的補充學習,如國內最發燒的施陽大神開辟的博客https://pqfans.com/,和其他公眾號、知乎等渠道的PowerBI主題文章里也經常有一些碎片化的學習資料。
同樣地,PoweBI社區的免費知識星球【PowerBI朋友圈(P圈)】,里面也匯集了社區內大部分的免費學習資源。
結語
本篇從工具的角度,分析在筆者眼中的PowerQuery的功能特性及價值。是輕量級別的中小型數據ETL場景中非常好用的工具,結合Excel催化劑的功能,實現雙方的互補,能夠給廣大普通Excel用戶們帶來非常大的生產力提升。
筆者只是引路者,真正扎根學習的話,建議到社區里更專業分享PowerQuery工具的老師那里學習。筆者更愿意給讀者們帶來筆者最擅長的企業級BI工具的分享,敬請關注后續推文。
筆者未來聚焦在數據領域的分享,不限于Excel,會分享更多Sqlserver、dotNET、Azure、PowerBI等話題,升級數據分析的能力,歡迎繼續關注。*
系列文章
從數據民工到數據白領蛻變之旅(一)-工具總覽 https://www.jianshu.com/p/2bd3f90206ec
從數據民工到數據白領蛻變之旅(二)-重溫Excel催化劑經典 https://www.jianshu.com/p/cb89929bb8ae
關于Excel催化劑
Excel催化劑先是一微信公眾號的名稱,后來順其名稱,正式推出了Excel插件,插件將持續性地更新,更新的周期視本人的時間而定爭取一周能夠上線一個大功能模塊。Excel催化劑插件承諾個人用戶永久性免費使用!
Excel催化劑插件使用最新的布署技術,實現一次安裝,日后所有更新自動更新完成,無需重復關注更新動態,手動下載安裝包重新安裝,只需一次安裝即可隨時保持最新版本!
Excel催化劑插件下載鏈接:https://pan.baidu.com/s/1Iz2_NZJ8v7C9eqhNjdnP3Q
聯系作者公眾號取名催化劑,因Excel本身的強大,并非所有人能夠立馬享受到,大部分人還是在被Excel軟件所虐的階段,就是頭腦里很清晰想達到的效果,而且高手們也已經實現出來,就是自己怎么弄都弄不出來,或者更糟的是還不知道Excel能夠做什么而停留在不斷地重復、機械、手工地在做著數據,耗費著無數的青春年華歲月。所以催生了是否可以作為一種媒介,讓廣大的Excel用戶們可以瞬間點燃Excel的爆點,無需苦苦地掙扎地沒日沒夜的技巧學習、高級復雜函數的燒腦,最終走向了從入門到放棄的道路。
最后Excel功能強大,其實還需樹立一個觀點,不是所有事情都要交給Excel去完成,也不是所有事情Excel都是十分勝任的,外面的世界仍然是一個廣闊的世界,Excel只是其中一枚耀眼的明星,還有其他更多同樣精彩強大的技術、工具等。*Excel催化劑也將借力這些其他技術,讓Excel能夠發揮更強大的爆發!
關于Excel催化劑作者
姓名:李偉堅,從事數據分析工作多年(BI方向),一名同樣在路上的學習者。
服務過行業:零售特別是鞋服類的零售行業,電商(淘寶、天貓、京東、唯品會)
技術路線從一名普通用戶,通過Excel軟件的學習,從此走向數據世界,非科班IT專業人士。
歷經重重難關,終于在數據的道路上達到技術平原期,學習眾多的知識不再太吃力,同時也形成了自己的一套數據解決方案(數據采集、數據加工清洗、數據多維建模、數據報表展示等)。
擅長技術領域:Excel等Office家族軟件、VBA&VSTO的二次開發、Sqlserver數據庫技術、Sqlserver的商業智能BI技術、Powerbi技術、云服務器布署技術等等。
2018年開始職業生涯作了重大調整,從原來的正職工作,轉為自由職業者,暫無固定收入,暫對前面道路不太明朗,苦重新回到正職工作,對Excel催化劑的運營和開發必定受到很大的影響(正職工作時間內不可能維護也不可能隨便把工作時間內的成果公布于外,工作外的時間也十分有限,因已而立之年,家庭責任重大)。
和廣大擁護者一同期盼:Excel催化劑一直能運行下去,我所惠及的群體們能夠給予支持(多留言鼓勵下、轉發下朋友圈推薦、小額打賞下和最重點的可以和所在公司及同行推薦推薦,讓我的技術可以在貴司發揮價值,實現雙贏(初步設想可以數據顧問的方式或一些小型項目開發的方式合作)。
總結
以上是生活随笔為你收集整理的「数据ETL」从数据民工到数据白领蜕变之旅(三)-除了Excel催化剂之外PowerQuery新物种同样值得期待...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 创业周年记:召唤神龙一周年小记
- 下一篇: Docker系列之烹饪披萨(二)