前言：

這個(gè)博客將記錄我大數(shù)據(jù)的學(xué)習(xí)歷程，供大家學(xué)習(xí)和參考，當(dāng)然如有什么地方寫得不好的，望大家能多給建議

首先，在學(xué)習(xí)之前我先對(duì)大數(shù)據(jù)有一個(gè)大概的概念，并參考網(wǎng)上的資料做了一個(gè)學(xué)習(xí)大數(shù)據(jù)的計(jì)劃，現(xiàn)把大數(shù)據(jù)需要學(xué)習(xí)的知識(shí)點(diǎn)放在下面，有需要的朋友可以參考參考

第一階段?JavaWwb 開發(fā)基礎(chǔ) HTML基礎(chǔ) []1、Html基本介紹 []2、HTML語法規(guī)范 []3、基本標(biāo)簽介紹 []4、HTML編輯器/文本文檔/WebStrom/elipse []5、HTML元素和屬性 []6、基本的HTML元素 []6.1 標(biāo)題 []6.2 段落 []6.3 樣式和style屬性 []6.3 鏈接 a []6.4 圖像 img []6.5 表格 table []6.6 列表 ul/ol/dl []7、 HTML注釋 []8、表單介紹 []9、Table標(biāo)簽 []10、DIV布局介紹 []11、HTML列表詳解 HTML布局和Bootstrap []1、 HTML塊元素（block）和行內(nèi)元素(inline) []2、使用div實(shí)現(xiàn)網(wǎng)頁布局 []3、響應(yīng)式WEB設(shè)計(jì)（Responsive Web Design） []4、使用bootstrap實(shí)現(xiàn)響應(yīng)式布局
HTML表單元素 []1、HTML表單 form []2、HTML表單元素 []3、 HTML input的類型 type []4、 Html input的屬性 CSS基礎(chǔ) []1、CSS簡介及基本語法 []2、在HTML文檔中使用CSS []3、CSS樣式 []4、CSS選擇器 []5、盒子模型 []6、布局及定位 CSS高級(jí)/CSS3 []1、尺寸和對(duì)齊 []2、分類（clear/cursor/display/float/position/visibility） []3、導(dǎo)航欄 []4、圖片庫 []5、圖片透明 []6、媒介類型 @media []7、CSS3 []8、CSS3動(dòng)畫效果 JavaScript基礎(chǔ) []1、JavaScript簡介 []2、基本語法規(guī)則 []3、在HTML文檔中使用JS []4、JS變量 []5、JS數(shù)據(jù)類型 []6、JS函數(shù) []7、JS運(yùn)算符 []8、流程控制 []9、JS錯(cuò)誤和調(diào)試 JavaScript對(duì)象和作用域 []1、數(shù)字 Number []2、字符串String []3、日期 Date []4、數(shù)組 []5、數(shù)學(xué) Math []6、DOM對(duì)象和事件 []7、BOM對(duì)象 []8、Window對(duì)象 []9、作用域和作用域鏈 []10、JSON Javascript庫 []1、Jquery []2、Prototype []3、Ext Js
Jquery []1、Jquery基本語法 []2、Jquery選擇器 []3、Jquery事件 []4、Jquery選擇器 []5、Jquery效果和動(dòng)畫 []6、使用Jquery操作HTML和DOM []7、Jquery遍歷 []8、Jquery封裝函數(shù) []9、Jquery案例 表單驗(yàn)證和Jquery Validate []1、用Js對(duì)HTML表單進(jìn)行驗(yàn)證 []2、Jquery Validata基本用法 []3、默認(rèn)校驗(yàn)規(guī)則和提示信息 []4、debug和ignore []5、更改錯(cuò)誤信息顯示位置和樣式 []6、全部校驗(yàn)通過后的執(zhí)行函數(shù) []7、修改驗(yàn)證觸發(fā)方式 []8、異步驗(yàn)證 []9、自定義校驗(yàn)方法 []10、radio 和 checkbox、select 的驗(yàn)證 Java基礎(chǔ) []1、關(guān)于Java []2、Java運(yùn)行機(jī)制 []3、第一個(gè)Java程序，注釋 []4、Javac,Java,Javadoc等命令 []5、標(biāo)識(shí)符與關(guān)鍵字 []6、變量的聲明，初始化與應(yīng)用 []7、變量的作用域 []8、變量重名 []9、基本數(shù)據(jù)類型 []10、類型轉(zhuǎn)換與類型提升 []11、各種數(shù)據(jù)類型使用細(xì)節(jié) []12、轉(zhuǎn)義序列 []13、各種運(yùn)算符的使用 流程控制 []1、選擇控制語句if-else []2、選擇控制語句switch-case []3、循環(huán)控制語句while []4、循環(huán)控制語句do-while []5、循環(huán)控制語句for與增強(qiáng)型for []6、break，continue，return []7、循環(huán)標(biāo)簽 []8、數(shù)組的聲明與初始化 []9、數(shù)組內(nèi)存空間分配 []10、棧與堆內(nèi)存 []11、二維（多維）數(shù)組 []12、Arrays類的相關(guān)方法 []13、main方法命令行參數(shù) 面向?qū)ο?[]1、面向?qū)ο蟮幕舅枷?[]2、類與對(duì)象 []3、成員變量與默認(rèn)值 []4、方法的聲明，調(diào)用 []5、參數(shù)傳遞和內(nèi)存圖 []6、方法重載的概念 []7、調(diào)用原則與重載的優(yōu)勢 []8、構(gòu)造器聲明與默認(rèn)構(gòu)造器 []9、構(gòu)造器重載 []10、this關(guān)鍵字的使用 []11、this調(diào)用構(gòu)造器原則 []12、實(shí)例變量初始化方式 []13、可變參數(shù)方法 訪問權(quán)限控制 []1、包 package和庫 []2、訪問權(quán)限修飾符private/protected/public/包訪問權(quán)限 []3、類的訪問權(quán)限 []4、抽象類和抽象方法 []5、接口和實(shí)現(xiàn) []6、解耦 []7、Java的多重繼承 []8、通過繼承來擴(kuò)展接口 錯(cuò)誤和異常處理 []1、概念：錯(cuò)誤和異常 []2、基本異常 []3、捕獲異常 catch []4、創(chuàng)建自定義異常 []5、捕獲所有異常 []6、Java標(biāo)準(zhǔn)異常 []7、使用finally進(jìn)行清理 []8、異常的限制 []9、構(gòu)造器 []10、異常匹配 []11、異常使用指南 數(shù)據(jù)庫基礎(chǔ)（MySQL） JDBC []1、Jdbc基本概念 []2、使用Jdbc連接數(shù)據(jù)庫 []3、使用Jdbc進(jìn)行crud操作 []4、使用Jdbc進(jìn)行多表操作 []5、Jdbc驅(qū)動(dòng)類型 []6、Jdbc異常和批量處理 []7、Jdbc儲(chǔ)存過程 Servlet和JSP []1、Servlet簡介 []2、Request對(duì)象 []3、Response對(duì)象 []4、轉(zhuǎn)發(fā)和重定向 []5、使用Servlet完成Crud []6、Session和Coolie簡介 []7、ServletContext和Jsp []8、El和Jstl的使用 Ajax []1、什么是Ajax []2、XMLHttpRequest對(duì)象（XHR） []3、XHR請(qǐng)求 []4、XHR響應(yīng) []5、readystate/onreadystatechange []6、Jquery Ajax []7、JSON []8、案例：對(duì)用戶名是否可用進(jìn)行服務(wù)器端校驗(yàn)
綜合案例 []1、項(xiàng)目開發(fā)一般流程介紹 []2、模塊化和分層 []3、DButils []4、QueryRunner []5、ResultSetHandle []6、案例：用戶登錄/注冊(cè)，從前端到后端 第二階段 Java SE 訪問權(quán)限和繼承 []1、包的聲明與使用 []2、import與import static []3、訪問權(quán)限修飾符 []4、類的封裝性 []5、static（靜態(tài)成員變量） []6、final（修飾變量，方法） []7、靜態(tài)成員變量初始化方式 []8、類的繼承與成員繼承 []9、super的使用 []10、調(diào)用父類構(gòu)造器 []11、方法的重寫與變量隱藏 []12、繼承實(shí)現(xiàn)多態(tài)和類型轉(zhuǎn)換 []13、instanceof 抽象類與接口 []1、抽象類 []2、抽象方法 []3、繼承抽象類 []4、抽象類與多態(tài) []5、接口的成員 []6、靜態(tài)方法與默認(rèn)方法 []7、靜態(tài)成員類 []8、實(shí)例成員類 []9、局部類 []10、匿名類 []11、eclipse的使用與調(diào)試 []12、內(nèi)部類對(duì)外圍類的訪問關(guān)系 []13、內(nèi)部類的命名 Lambda表達(dá)式與常用類 []1、函數(shù)式接口 []2、Lambda表達(dá)式概念 []3、Lambda表達(dá)式應(yīng)用場合 []4、使用案例 []5、方法引用 []6、枚舉類型（編譯器的處理） []7、包裝類型（自動(dòng)拆箱與封箱） []8、String方法 []9、常量池機(jī)制 []10、String講解 []11、StringBuilder講解 []12、Math，Date使用 []13、Calendars使用 異常處理與泛型 []1、異常分類 []2、try-catch-finally []3、try-with-resources []4、多重捕獲multi-catch []5、throw與throws []6、自定義異常和優(yōu)勢 []7、泛型背景與優(yōu)勢 []8、參數(shù)化類型與原生類型 []9、類型推斷 []10、參數(shù)化類型與數(shù)組的差異 []11、類型通配符 []12、自定義泛型類和類型擦出 []13、泛型方法重載與重寫 集合 []1 、常用數(shù)據(jù)結(jié)構(gòu) []2 、Collection接口 []3 、List與Set接口 []4 、SortedSet與NavigableSet []5 、相關(guān)接口的實(shí)現(xiàn)類 []6 、Comparable與Comparator []7、Queue接口 []8 、Deque接口 []9 、Map接口 []10、NavigableMap []11、相關(guān)接口的實(shí)現(xiàn)類 []12、流操作（聚合操作） []13、Collections類的使用 I/O流與反射 []1 、File類的使用 []2 、字節(jié)流 []3 、字符流 []4 、緩存流 []5 、轉(zhuǎn)換流 []6 、數(shù)據(jù)流 []7、對(duì)象流 []8、類加載，鏈接與初始化 []9 、ClassLoader的使用 []10、Class類的使用 []11、通過反射調(diào)用構(gòu)造器 []12、安全管理器 網(wǎng)絡(luò)編程模型與多線程 []1、進(jìn)程與線程 []2、創(chuàng)建線程的方式 []3、線程的相關(guān)方法 []4、線程同步 []5、線程死鎖 []6、線程協(xié)作操作 []7、計(jì)算機(jī)網(wǎng)絡(luò)（IP與端口） []8、TCP協(xié)議與UDP協(xié)議 []9、URL的相關(guān)方法 []10、訪問網(wǎng)絡(luò)資源 []11、TCP協(xié)議通訊 []12、UDP協(xié)議通訊 []13、廣播 SSM-Spring []1.Spring/Spring MVC []2.創(chuàng)建Spring MVC項(xiàng)目 []3.Spring MVC執(zhí)行流程和參數(shù) SSM-Spring.Mybatis []1.MyBatis簡介 []2.MyBatis配置文件 []3.用MyBatis完成CRUD []4.ResultMap的使用 []5.MyBatis關(guān)聯(lián)查詢 []6.動(dòng)態(tài)SQL []7.MyBatis緩沖 []8.MyBatis-Generator Socket編程 []1.網(wǎng)絡(luò)通信和協(xié)議 []2.關(guān)于Socket []3.Java Socket []4.Socket類型 []5.Socket函數(shù) []6.WebSocket []7.WebSocket/Spring MVC/WebSocket Ajax IO/異步 []window對(duì)象 []全局作用域 []窗口關(guān)系及框架 []窗口位置和大小 []打開窗口 []間歇調(diào)用和超時(shí)調(diào)用（靈活運(yùn)用） []系統(tǒng)對(duì)話框 []location對(duì)象 []navigator對(duì)象 []screen對(duì)象 []history對(duì)象 NIO/AIO []1.網(wǎng)絡(luò)編程模型 []2.BIO/NIO/AIO []3.同步阻塞 []4.同步非阻塞 []5.異步阻塞 []6.異步非阻塞 []7.NIO與AIO基本操作 []8.高性能IO設(shè)計(jì)模式 第三階段 Java 主流框架 MyBatis []1.mybatis框架原理分析 []2.mybatis框架入門程序編寫 []3.mybatis和hibernate的本質(zhì)區(qū)別和應(yīng)用場景 []4.mybatis開發(fā)dao方法 []5.SqlMapConfig配置文件講解 []6.輸入映射-pojo包裝類型的定義與實(shí)現(xiàn) []7.輸出映射-resultType、resultMap []8.動(dòng)態(tài)sql []9.訂單商品數(shù)據(jù)模型分析 []10.高級(jí)映射的使用 []11.查詢緩存之一級(jí)緩存、二級(jí)緩存 []12.mybatis與spring整合 []13. mybatis逆向工程自動(dòng)生成代碼 Spring/Spring MVC []1. springmvc架構(gòu)介紹 []2. springmvc入門程序 []3. spring與mybatis整合 []4. springmvc注解開發(fā)—商品修改功能分析 []5. springmvc注解開發(fā)—RequestMapping注解 []6. springmvc注解開發(fā)—Controller方法返回值 []7. springmvc注解開發(fā)—springmvc參數(shù)綁定過程分析 []8. springmvc注解開發(fā)—springmvc參數(shù)綁定實(shí)例講解 []9. springmvc與struts2的區(qū)別 []10. springmvc異常處理 []11. springmvc上傳圖片 []12. springmvc實(shí)現(xiàn)json交互 []13. springmvc對(duì)RESTful支持 []14. springmvc攔截器 第四階段 關(guān)系型數(shù)據(jù)庫/MySQL/NoSQL SQL基礎(chǔ) []1.SQL及主流產(chǎn)品 []2.MySQL的下載與安裝（sinux/windows） []3.MySql的基本配置/配置文件 []4.基本的SQL操作 DDL []5.基本的SQL操作 DML []6.基本的SQL操作 DCL []7.MySQL客戶端工具 []8.MySQL幫助文檔 MySQL數(shù)據(jù)類型和運(yùn)算符 []1 數(shù)值類型 []2 日期時(shí)間類型 []3 字符串類型 []4 CHAR 和 VARCHAR 類型 []5 BINARY 和 VARBINARY 類型 []6 ENUM 類型 []7 SET 類型 []8 算術(shù)運(yùn)算符 []9 比較運(yùn)算符 []10 邏輯運(yùn)算符 []11 位運(yùn)算 []12 運(yùn)算符的優(yōu)先級(jí) MySQL函數(shù) []1 字符串函數(shù) []2 數(shù)值函數(shù) []3 日期和時(shí)間函數(shù) []4 流程函數(shù) []5 其他常用函數(shù) MySQL存儲(chǔ)引擎 []1.MySQL支持的存儲(chǔ)引擎及其特性 []2.MyISAM []3.InnoDB []4.選擇合適的存儲(chǔ)引擎 選擇合適的數(shù)據(jù)類型 []1 CHAR 與 VARCHAR []2 TEXT 與 BLOB []3 浮點(diǎn)數(shù)與定點(diǎn)數(shù) []4 日期類型選擇 字符集 []1 字符集概述 []2 Unicode字符集 []3 漢字及一些常見字符集 []4 選擇合適的字符集 []5 MySQL 支持的字符集 []6 MySQL 字符集的設(shè)置? 索引的設(shè)計(jì)和使用 []1.什么是索引 []2.索引的類型 []3.索引的數(shù)據(jù)結(jié)構(gòu) BTree B+Tree Hash []4.索引的存儲(chǔ) []5.MySQL索引 []6.查看索引的使用情況 []7.索引設(shè)計(jì)原則 視圖/存儲(chǔ)過程/函數(shù)/觸發(fā)器 []1. 什么是視圖 []2. 視圖操作 []3. 什么是存儲(chǔ)過程 []4. 存儲(chǔ)過程操作 []5. 什么是函數(shù) []6. 函數(shù)的相關(guān)操作 []7. 觸發(fā)器 事務(wù)控制/鎖 []1. 什么是事務(wù) []2. 事務(wù)控制 []3. 分布式事務(wù) []4. 鎖/表鎖/行鎖 []5. InnoDB 行鎖爭用 []6. InnoDB 的行鎖模式及加鎖方法7 []7 InnoDB 行鎖實(shí)現(xiàn)方式7 []8 間隙鎖（Next-Key 鎖） []9 恢復(fù)和復(fù)制的需要，對(duì) InnoDB 鎖機(jī)制的影響 []10 InnoDB 在不同隔離級(jí)別下的一致性讀及鎖的差異 []11 表鎖 []12 死鎖 SQL Mode和安全問題 []1. 關(guān)于SQL Mode []2. MySQL中的SQL Mode []3. SQL Mode和遷移 []4. SQL 注入 []5. 開發(fā)過程中如何避免SQL注入 SQL優(yōu)化 []1.通過 show status 命令了解各種 SQL 的執(zhí)行頻率 []2. 定位執(zhí)行效率較低的 SQL 語句 []3. 通過 EXPLAIN 分析低效 SQL 的執(zhí)行計(jì)劃 []4. 確定問題并采取相應(yīng)的優(yōu)化措施 []5. 索引問題 []6.定期分析表和檢查表 []7.定期優(yōu)化表 []8.常用 SQL 的優(yōu)化 MySQL數(shù)據(jù)庫對(duì)象優(yōu)化 []1. 優(yōu)化表的數(shù)據(jù)類型 []2 散列化 []3 逆規(guī)范化 []4 使用中間表提高統(tǒng)計(jì)查詢速度 []5. 影響MySQL性能的重要參數(shù) []6. 磁盤I/O對(duì)MySQL性能的影響 []7. 使用連接池 []8. 減少M(fèi)ySQL連接次數(shù) []9. MySQL負(fù)載均衡 []MySQL集群 []MySQL管理和維護(hù) []MemCache []Redis []在Java項(xiàng)目中使用MemCache和Redis 第五階段：操作系統(tǒng)/Linux、云架構(gòu) Linux安裝與配置 []1、安裝Linux至硬盤 []2、獲取信息和搜索應(yīng)用程序 []3、進(jìn)階：修復(fù)受損的Grub []4、關(guān)于超級(jí)用戶root []5、依賴發(fā)行版本的系統(tǒng)管理工具 []6、關(guān)于硬件驅(qū)動(dòng)程序 []7、進(jìn)階：配置Grub 系統(tǒng)管理與目錄管理 []1、Shell基本命令 []2、使用命令行補(bǔ)全和通配符 []3、find命令、locate命令 []4、查找特定程序：whereis []5、Linux文件系統(tǒng)的架構(gòu) []6、移動(dòng)、復(fù)制和刪除 []7、文件和目錄的權(quán)限 []8、文件類型與輸入輸出 []9、vmware介紹與安裝使用 []10、網(wǎng)絡(luò)管理、分區(qū)掛載 用戶與用戶組管理 []1、軟件包管理 []2、磁盤管理 []3、高級(jí)硬盤管理RAID和LVM []4、進(jìn)階：備份你的工作和系統(tǒng) []5、用戶與用戶組基礎(chǔ) []6、管理、查看、切換用戶 []7、/etc/...文件 []8、進(jìn)程管理 []9、linux VI編輯器，awk，cut，grep，sed，find，unique等 Shell編程 []1、 SHELL變量 []2、傳遞參數(shù) []3、數(shù)組與運(yùn)算符 []4、SHELL的各類命令 []5、SHELL流程控制 []6、SHELL函數(shù) []7、SHELL輸入/輸出重定向 []8、SHELL文件包含 服務(wù)器配置 []1、系統(tǒng)引導(dǎo) []2、管理守護(hù)進(jìn)程 []3、通過xinetd啟動(dòng)SSH服務(wù) []4、配置inetd []5、Tomcat安裝與配置 []6、MySql安裝與配置 []7、部署項(xiàng)目到Linux 第六階段：Hadoop生態(tài)系統(tǒng) Hadoop基礎(chǔ) []1、大數(shù)據(jù)概論 []2、 Google與Hadoop模塊 []3、Hadoop生態(tài)系統(tǒng) []4、Hadoop常用項(xiàng)目介紹 []5、Hadoop環(huán)境安裝配置 []6、Hadoop安裝模式 []7、Hadoop配置文件 HDFS分布式文件系統(tǒng) []1、認(rèn)識(shí)HDFS及其HDFS架構(gòu) []2、Hadoop的RPC機(jī)制 []3、HDFS的HA機(jī)制 []4、HDFS的Federation機(jī)制 []5、 Hadoop文件系統(tǒng)的訪問 []6、JavaAPI接口與維護(hù)HDFS []7、HDFS權(quán)限管理 []8、hadoop偽分布式 Hadoop文件I/O詳解 []1、Hadoop文件的數(shù)據(jù)結(jié)構(gòu) []2、 HDFS數(shù)據(jù)完整性 []3、文件序列化 []4、Hadoop的Writable類型 []5、Hadoop支持的壓縮格式 []6、Hadoop中編碼器和解碼器 []7、 gzip、LZO和Snappy比較 []8、HDFS使用shell+Java API MapReduce工作原理 []1、MapReduce函數(shù)式編程概念 []2、 MapReduce框架結(jié)構(gòu) []3、MapReduce運(yùn)行原理 []4、Shuffle階段和Sort階段 []5、任務(wù)的執(zhí)行與作業(yè)調(diào)度器 []6、自定義Hadoop調(diào)度器 []7、 異步編程模型 []8、YARN架構(gòu)及其工作流程 MapReduce編程 []1、WordCount案例分析 []2、輸入格式與輸出格式 []3、壓縮格式與MapReduce優(yōu)化 []4、輔助類與Streaming接口 []5、MapReduce二次排序 []6、MapReduce中的Join算法 []7、從MySQL讀寫數(shù)據(jù) []8、Hadoop系統(tǒng)調(diào)優(yōu) Hive數(shù)據(jù)倉庫工具 []1、Hive工作原理、類型及特點(diǎn) []2、Hive架構(gòu)及其文件格式 []3、Hive操作及Hive復(fù)合類型 []4、Hive的JOIN詳解 []5、Hive優(yōu)化策略 []6、Hive內(nèi)置操作符與函數(shù) []7、Hive用戶自定義函數(shù)接口 []8、Hive的權(quán)限控制 Hive深入解讀 []1 、安裝部署Sqoop []2、Sqoop數(shù)據(jù)遷移 []3、Sqoop使用案例 []4、深入了解數(shù)據(jù)庫導(dǎo)入 []5、導(dǎo)出與事務(wù) []6、導(dǎo)出與SequenceFile []7、Azkaban執(zhí)行工作流 Sqoop與Oozie []1 、安裝部署Sqoop []2、Sqoop數(shù)據(jù)遷移 []3、Sqoop使用案例 []4、深入了解數(shù)據(jù)庫導(dǎo)入 []5、導(dǎo)出與事務(wù) []6、導(dǎo)出與SequenceFile []7、Azkaban執(zhí)行工作流 Zookeeper詳解 []1、Zookeeper簡介 []2、Zookeeper的下載和部署 []3、Zookeeper的配置與運(yùn)行 []4、Zookeeper的本地模式實(shí)例 []5、Zookeeper的數(shù)據(jù)模型 []6、Zookeeper命令行操作范例 []7、storm在Zookeeper目錄結(jié)構(gòu) NoSQL、HBase []1、HBase的特點(diǎn) []2、HBase訪問接口 []3、HBase存儲(chǔ)結(jié)構(gòu)與格式 []4、HBase設(shè)計(jì) []5、關(guān)鍵算法和流程 []6、HBase安裝 []7、HBase的SHELL操作 []8、HBase集群搭建 第七階段：Spark生態(tài)系統(tǒng) Spark []1.什么是Spark []2.Spark大數(shù)據(jù)處理框架 []3.Spark的特點(diǎn)與應(yīng)用場景 []4.Spark SQL原理和實(shí)踐 []5.Spark Streaming原理和實(shí)踐 []6.GraphX SparkR入門 []7.Spark的監(jiān)控和調(diào)優(yōu) Spark部署和運(yùn)行 []1.WordCount準(zhǔn)備開發(fā)環(huán)境 []2.MapReduce編程接口體系結(jié)構(gòu) []3.MapReduce通信協(xié)議 []4.導(dǎo)入Hadoop的JAR文件 []5.MapReduce代碼的實(shí)現(xiàn) []6.打包、部署和運(yùn)行 []7.打包成JAR文件 Spark程序開發(fā) []1、啟動(dòng)Spark Shell []2、加載text文件 []3、RDD操作及其應(yīng)用 []4、RDD緩存 []5、構(gòu)建Eclipse開發(fā)環(huán)境 []6、構(gòu)建IntelliJ IDEA開發(fā)環(huán)境 []7、創(chuàng)建SparkContext對(duì)象 []8、編寫編譯并提交應(yīng)用程序 Spark編程模型 []1、RDD特征與依賴 []2、集合（數(shù)組）創(chuàng)建RDD []3、存儲(chǔ)創(chuàng)建RDD []4、RDD轉(zhuǎn)換 執(zhí)行 控制操作 []5、廣播變量 []6、累加器 作業(yè)執(zhí)行解析 []1、Spark組件 []2、RDD視圖與DAG圖 []3、基于Standalone模式的Spark架構(gòu) []4、基于YARN模式的Spark架構(gòu) []5、作業(yè)事件流和調(diào)度分析 []6、構(gòu)建應(yīng)用程序運(yùn)行時(shí)環(huán)境 []7、應(yīng)用程序轉(zhuǎn)換成DAG Spark SQL與DataFrame []1、Spark SQL架構(gòu)特性 []2、DataFrame和RDD的區(qū)別 []3、創(chuàng)建操作DataFrame []4、RDD轉(zhuǎn)化為DataFrame []5、加載保存操作與Hive表 []6、Parquet文件JSON數(shù)據(jù)集 []7、分布式的SQL Engine []8、性能調(diào)優(yōu) 數(shù)據(jù)類型 深入Spark Streaming []1、Spark Streaming工作原理 []2、DStream編程模型 []3、Input DStream []4、DStream轉(zhuǎn)換 狀態(tài) 輸出 []5、優(yōu)化運(yùn)行時(shí)間及內(nèi)存使用 []6、文件輸入源 []7、基于Receiver的輸入源 []8、輸出操作 Spark MLlib與機(jī)器學(xué)習(xí) []1、機(jī)器學(xué)習(xí)分類級(jí)算法 []2、Spark MLlib庫 []3、MLlib數(shù)據(jù)類型 []4、MLlib的算法庫與實(shí)例 []5、ML庫主要概念 []6、算法庫與實(shí)例 GraphX與SparkR []1、Spark GraphX架構(gòu) []2、GraphX編程與常用圖算法 []3、GraphX應(yīng)用場景 []4、SparkR的工作原理 []5、R語言與其他語言的通信 []6、SparkR的運(yùn)行與應(yīng)用 []7、R的DataFrame操作方法 []8、SparkR的DataFrame Scala編程開發(fā) []1、Scala語法基礎(chǔ) []2、idea工具安裝 []3、maven工具配置 []4、條件結(jié)構(gòu)、循環(huán)、高級(jí)for循環(huán) []5、數(shù)組、映射、元組 []6、類、樣例類、對(duì)象、伴生對(duì)象 []7、高階函數(shù)與函數(shù)式編程 Scala進(jìn)階 []1、 柯里化、閉包 []2、模式匹配、偏函數(shù) []3、類型參數(shù) []4、協(xié)變與逆變 []5、隱式轉(zhuǎn)換、隱式參數(shù)、隱式值 []6、Actor機(jī)制 []7、高級(jí)項(xiàng)目案例 Python編程 []1、Python編程介紹 []2、Python的基本語法 []3、Python開發(fā)環(huán)境搭建 []4、Pyhton開發(fā)Spark應(yīng)用程序 第八階段：Storm生態(tài)系統(tǒng) storm簡介與基本知識(shí) []1、storm的誕生誕生與成長 []2、storm的優(yōu)勢與應(yīng)用 []3、storm基本知識(shí)概念和配置 []4、序列化與容錯(cuò)機(jī)制 []5、可靠性機(jī)制—保證消息處理 []6、storm開發(fā)環(huán)境與生產(chǎn)環(huán)境 []7、storm拓?fù)涞牟⑿卸?[]8、storm命令行客戶端 Storm拓?fù)渑c組件詳解 []1、流分組和拓?fù)溥\(yùn)行 []2、拓?fù)涞某Ｒ娔Ｊ?[]3、本地模式與stormsub的對(duì)比 []4、 使用非jvm語言操作storm []5、hook、組件基本接口 []6、基本抽象類 []7、事務(wù)接口 []8、組件之間的相互關(guān)系 spout詳解 與bolt詳解 []1、spout獲取數(shù)據(jù)的方式 []2、常用的spout []3、學(xué)習(xí)編寫spout類 []4、bolt概述 []5、可靠的與不可靠的bolt []6、復(fù)合流與復(fù)合anchoring []7、 使用其他語言定義bolt []8、學(xué)習(xí)編寫bolt類 storm安裝與集群搭建 []1、storm集群安裝步驟與準(zhǔn)備 []2、本地模式storm配置命令 []3、配置hosts文件、安裝jdk []4、zookeeper集群的搭建 []5、部署節(jié)點(diǎn) []6、storm集群的搭建 []7、zookeeper應(yīng)用案例 []8、Hadoop高可用集群搭建 Kafka []1、Kafka介紹和安裝 []2、整合Flume []3、Kafka API []4、Kafka底層實(shí)現(xiàn)原理 []5、Kafka的消息處理機(jī)制 []6、數(shù)據(jù)傳輸?shù)氖聞?wù)定義 []7、Kafka的存儲(chǔ)策略 Flume []1、Flume介紹和安裝 []2、Flume Source講解 []3、Flume Channel講解 []4、Flume Sink講解 []5、flume部署種類、流配置 []6、單一代理、多代理說明 []7、flume selector相關(guān)配置 Redis []1、Redis介紹和安裝、配置 []2、Redis數(shù)據(jù)類型 []3、Redis鍵、字符串、哈希 []4、Redis列表與集合 []5、Redis事務(wù)和腳本 []6、Redis數(shù)據(jù)備份與恢復(fù) []7、Redis的SHELL操作

轉(zhuǎn)載于:https://www.cnblogs.com/cn-superjun/p/9205772.html

總結(jié)

以上是生活随笔為你收集整理的大数据之旅的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。