深度学习核心技术精讲100篇(三十二)-网易实时数仓实战应用
前言
隨著大數(shù)據(jù)技術(shù)的進(jìn)步,各種計(jì)算框架的涌現(xiàn),數(shù)據(jù)倉庫相關(guān)技術(shù)難題已經(jīng)從離線數(shù)倉逐漸過渡到實(shí)時(shí)數(shù)倉,越來越多的企業(yè)對(duì)數(shù)據(jù)的實(shí)時(shí)性提出了嚴(yán)格的要求,如何滿足企業(yè)的低延時(shí)的數(shù)據(jù)需求,如何看待批量處理和實(shí)時(shí)處理的關(guān)系,實(shí)時(shí)數(shù)倉應(yīng)該如何分級(jí),各家可能都有自己的理解,本文主要介紹網(wǎng)易的實(shí)時(shí)計(jì)算平臺(tái)的建設(shè)實(shí)踐以及網(wǎng)易對(duì)于實(shí)時(shí)數(shù)倉方面的一些規(guī)劃及展望,希望能夠起到拋磚引玉的作用。
01實(shí)時(shí)計(jì)算平臺(tái)實(shí)踐
1. 網(wǎng)易實(shí)時(shí)計(jì)算平臺(tái):Sloth
網(wǎng)易的實(shí)時(shí)計(jì)算平臺(tái)Sloth譯成中文是樹懶的意思,繼承了網(wǎng)易喜歡用動(dòng)物系命名大數(shù)據(jù)組件的風(fēng)格,如果你看過《瘋狂動(dòng)物城》,一定會(huì)對(duì)劇中的flash印象深刻。Sloth平臺(tái)的建設(shè)始于2017年12月份,至今已有3年的時(shí)間,期間平臺(tái)的彈性計(jì)算單元(ECU)規(guī)模一直呈現(xiàn)指數(shù)級(jí)增長,目前ECU已經(jīng)突破50000個(gè),運(yùn)行的CPU數(shù)量已經(jīng)達(dá)到15110核,內(nèi)存超過了34T。
2. 平臺(tái)架構(gòu)
總結(jié)
以上是生活随笔為你收集整理的深度学习核心技术精讲100篇(三十二)-网易实时数仓实战应用的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java进阶知识-数组类型
- 下一篇: 【毕业求职季】-听说你想去大厂看学妹,带