免安装免配置 还免费的Spark 集群 --Databrickes Spark Clould
http://ihoge.cn/2018/Databrickes.html
摘要:本文帶你暢游Databrickes Spark Clould云服務。小白迅速上手大數據Spark開發環境,從此告別集群Bug的煩惱,徹底解放物理機負擔讓你隨時隨地想Run就Run��。
目錄:
Databrickes是個啥?
YouTube簡介,自備云梯
Databricks 屬于 Spark 的商業化公司,由美國伯克利大學 AMP 實驗室著名的 Spark 大數據處理系統多位創始人聯合創立。Databricks 致力于提供基于 Spark 的云服務,可用于數據集成,數據管道等任務。
Databricks 公司的云解決方案由三部分組成:Databricks 平臺、Spark 和 Databricks 工作區。該產品背后的理念是提供處理數據的單獨空間,不受托管環境和 Hadoop 集群管理的影響,整個過程在云中完成。該產品有幾個核心概念:由 Notebooks 提供一種與數據交互并構建圖形的方法,當用戶了解了顯示數據的方式時,就可以開始構建主控面板以監視某些類型的數據。最后,用戶可以通過該平臺的任務啟動器來規劃 Apache Spark 的運行時間。
說白了就是Databricks撈錢的,老是開源spark 也不收你錢,大家也要吃飯不是,干脆搞個 spark on cloud,服務懶人或小公司,你既不用搭建集群也不用維護,交點兒錢直接用他們提供的在線集群。當然還有一個作用,推廣普及spark ,所以也就有了Community版,即免費版
Databricks相當于給你了一個在線spark 集群,即:Spark online(聽著怎么這么像網游 (⊙﹏⊙)b),我等尚處spark初級階段的小白們剛好可以用他們提供的免費版來學習,省去了搭建和維護配置的過程,用來學習或溫習Spark API真是完美!
(筆者比較懶,下面Databricks Spark Cloud都用DSC代替��)
話不多說,開搞!!!
注冊Databricks
官網直達
Do you want to TRY DATACRICKS FREE?
Yeah, click here!
下面就是注冊頁面,不再啰嗦。注意的是左下角要進行人際身份驗證,網絡不好的童鞋請自備云梯��。然后驗證郵箱,點擊鏈接到登錄界面:
��If you don't want to pay for money, pelese click here!
搭建云上Spark集群環境
入門指南
這貨長這樣~界面清爽顏值高,功能齊全效率高。
基本使用流程:
沒辦法,筆者已經有一個集群在運行了,作為免費用戶只能擁有一個活動集群,或者升級高級用戶��
2.創建nootebook
選擇集群,選擇語言,新建項目,凱擼~
創建筆記、加載依賴資源、創建文件夾
3.創建Table
上傳本地數據,速度有點慢,耐心等待一會~��
任務流程可視化、數據可視化
自動生成任務階段流程,生成DAG。
豐富的畫圖工具,只需點點點即可完成高顏值圖表。
其他操作:
下面是重點!!
下面是重點!!
下面是重點!!
這里提供了豐富的適合不同場景的訓練數據、源代碼及簡介。
只需找到
即可快速導入到工作臺。只可惜自己英文太爛,啃的很慢������
DSC不僅提供了方便高可用的云集群服務,而且提供了豐富的學習資料,對像我等來說簡直是完美的產品。感謝各位大佬給我們提供了如此便捷的學習環境和資源,Life is short,只爭朝夕!
油管視頻自備云梯
原文地址,轉載注明出處http://ihoge.cn/2018/Databrickes.html
人工智能、機器學習、大數據更多精彩內容請點擊
總結
以上是生活随笔為你收集整理的免安装免配置 还免费的Spark 集群 --Databrickes Spark Clould的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 弹性式分布数据集RDD——Pyspark
- 下一篇: Spark的基本架构