見：http://lxw1234.com/archives/2017/01/832.htm

至此，你的大數(shù)據(jù)平臺底層架構(gòu)已經(jīng)成型了，其中包括了數(shù)據(jù)采集、數(shù)據(jù)存儲與計算（離線和實時）、數(shù)據(jù)同步、任務(wù)調(diào)度與監(jiān)控這幾大模塊。接下來是時候考慮如何更好的對外提供數(shù)據(jù)了。

第九章：我的數(shù)據(jù)要對外

通常對外（業(yè)務(wù)）提供數(shù)據(jù)訪問，大體上包含以下方面：

離線：比如，每天將前一天的數(shù)據(jù)提供到指定的數(shù)據(jù)源（DB、FILE、FTP）等；

離線數(shù)據(jù)的提供可以采用Sqoop、DataX等離線數(shù)據(jù)交換工具。

實時：比如，在線網(wǎng)站的推薦系統(tǒng)，需要實時從數(shù)據(jù)平臺中獲取給用戶的推薦數(shù)據(jù)，這種要求延時非常低（50毫秒以內(nèi)）。

根據(jù)延時要求和實時數(shù)據(jù)的查詢需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。

OLAP分析：OLAP除了要求底層的數(shù)據(jù)模型比較規(guī)范，另外，對查詢的響應(yīng)速度要求也越來越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的數(shù)據(jù)模型比較規(guī)模，那么Kylin是最好的選擇。

即席查詢：即席查詢的數(shù)據(jù)比較隨意，一般很難建立通用的數(shù)據(jù)模型，因此可能的方案有：Impala、Presto、SparkSQL。

這么多比較成熟的框架和方案，需要結(jié)合自己的業(yè)務(wù)需求及數(shù)據(jù)平臺技術(shù)架構(gòu)，選擇合適的。原則只有一個：越簡單越穩(wěn)定的，就是最好的。

如果你已經(jīng)掌握了如何很好的對外（業(yè)務(wù)）提供數(shù)據(jù)，那么你的“大數(shù)據(jù)平臺”應(yīng)該是這樣的：

第十章：牛逼高大上的機器學(xué)習(xí)

關(guān)于這塊，我這個門外漢也只能是簡單介紹一下了。數(shù)學(xué)專業(yè)畢業(yè)的我非常慚愧，很后悔當時沒有好好學(xué)數(shù)學(xué)。

在我們的業(yè)務(wù)中，遇到的能用機器學(xué)習(xí)解決的問題大概這么三類：

分類問題：包括二分類和多分類，二分類就是解決了預(yù)測的問題，就像預(yù)測一封郵件是否垃圾郵件；多分類解決的是文本的分類；

聚類問題：從用戶搜索過的關(guān)鍵詞，對用戶進行大概的歸類。

推薦問題：根據(jù)用戶的歷史瀏覽和點擊行為進行相關(guān)推薦。

大多數(shù)行業(yè)，使用機器學(xué)習(xí)解決的，也就是這幾類問題。

入門學(xué)習(xí)線路：

數(shù)學(xué)基礎(chǔ)；

機器學(xué)習(xí)實戰(zhàn)（Machine Learning in Action），懂Python最好；

SparkMlLib提供了一些封裝好的算法，以及特征處理、特征選擇的方法。

機器學(xué)習(xí)確實牛逼高大上，也是我學(xué)習(xí)的目標。

那么，可以把機器學(xué)習(xí)部分也加進你的“大數(shù)據(jù)平臺”了。

?

寫給大數(shù)據(jù)開發(fā)初學(xué)者的話1

寫給大數(shù)據(jù)開發(fā)初學(xué)者的話2

第三章：把別處的數(shù)據(jù)搞到Hadoop上

第四章：把Hadoop上的數(shù)據(jù)搞到別處去

寫給大數(shù)據(jù)開發(fā)初學(xué)者的話3

第五章：快一點吧，我的SQL

第六章：一夫多妻制

寫給大數(shù)據(jù)開發(fā)初學(xué)者的話4

第七章：越來越多的分析任務(wù)

第八章：我的數(shù)據(jù)要實時

寫給大數(shù)據(jù)開發(fā)初學(xué)者的話5

第九章：我的數(shù)據(jù)要對外

第十章：牛逼高大上的機器學(xué)習(xí)

總結(jié)

以上是生活随笔為你收集整理的写给大数据开发初学者的话5的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。