眾所周知，Apache Flink（以下簡稱 Flink）最早誕生于歐洲，2014 年由其創始團隊捐贈給 Apache 基金會。如同其他誕生之初的項目，它新鮮，它開源，它適應了快速轉的世界中更重視的速度與靈活性。

大數據時代對人類的數據駕馭能力提出了新的挑戰，Flink 的誕生為企業用戶獲得更為快速、準確的計算能力提供了前所未有的空間與潛力。作為公認的新一代大數據計算引擎，Flink 究竟以何魅力成為阿里、騰訊、滴滴、美團、字節跳動、Netflix、Lyft 等國內外知名公司建設流計算平臺的首選？

聽聽 Flink 的核心貢獻者們怎么說！11 月 28-30 日，Flink Forward Asia 2019，Apache Flink 核心貢獻者與業界資深專家帶你全方位解鎖 Flink 的獨特技術魅力。

驚喜環節：ASK ME ANYTHING

提前劇透：大會現場將邀請 Apache Flink 核心貢獻者們設置 Ask Me Anything 驚喜環節，Flink SQL、Runtime、Hive 等任何關于 Flink 的技術問題可以現場提問！

Flink 親爹 Stephan 同學也可能參與現場互動哦，如果你好奇 Flink 的 logo 為什么是小松鼠就可以當面舉手提問啦～

核心技術專場部分精彩議題概覽

《將 Apache Flink 用作一體化的數據處理平臺》

崔星燦，Apache Flink Committer，York University 博士后

作為新一代的流處理引擎，Apache Flink 已經廣泛應用于很多實時作業場景中。我們發現它在經過近幾個版本的迭代后，已經具備一些成為一體化數據處理平臺的潛力，可同時用來處理動態和靜態的數據，進行分布式和集中式計算，以及支持作業式和交互式任務等。

本次演講，我們旨在向大家展示一些探索性質的嘗試——將 Apache Flink 用作某一通用數據處理流程的一體化后端平臺。具體而言，我們會首先介紹這一通用的數據處理流程，并簡要描述它每個階段的特點。隨后，我們會詳細解釋如何在不觸及 Flink 核心的前提下對其進行“塑造”，以滿足多樣化的數據處理需求。在此期間還會涉及部分對 Flink 運行機制的講解。最后，基于將 Flink 打造成為一個真正的一體化數據處理平臺這一目標，我們將對未來工作進行一些展望。

《Bring Cross DC and Cross Data Source SQL Engine to Apache Flink》

張韶全，騰訊 Senior Engineer

漂移計算 SuperSQL 是騰訊大數據自研的跨數據中心、跨集群、跨數據源的高性能大數據 SQL 引擎，滿足對位于不同數據中心/集群的不同類型數據源的數據聯邦分析/即時查詢的需求。解決大數據中數據孤島難題，降低數據使用壁壘，提升數據使用效率，最大化數據價值。

在這個演講中，我們會介紹漂移計算 SuperSQL 項目的細節，包括：

漂移計算的背景和定位

漂移計算的主要技術挑戰

漂移計算的整體架構

漂移計算的技術細節

漂移計算的性能表現

未來規劃

《New Flink source API: Make it easy》

秦江杰，Apache Flink PMC，Apache Kafka PMC，阿里巴巴高級技術專家

Flink 已經擁有了豐富的 connector 生態，但是要為 Flink 創建一個生產可用的 connector 依然需要考慮包括多并發協同，一致性語義，線程模型和容錯等在內的一系列問題，而其中 Source 相對于 Sink 又更為復雜。為了讓用戶更容易實現高質量的 connector，Flink 社區在 FLIP-27 中引入了一個新的 Flink Source API，旨在幫用戶解決上述一系列復雜問題，讓用戶可以快速編寫一個高質量的 connector。本演講將介紹新的 Flink Source API 的設計思路以及如何利用新的 Source Connector API 快速創建一個生產可用的 Flink source connector。

《深入探索 Flink SQL 流批統一的查詢引擎與最佳實踐》

伍翀，Apache Flink Committer，阿里巴巴技術專家
李勁松，Apache Beam Committer，阿里巴巴技術專家

Flink SQL 作為 Apache Flink 的核心模塊，已經收獲了越來越多用戶的關注，并且以其易于使用的 API 和高性能的 SQL 引擎，在生產實踐中扮演者越來越重要的角色。

該演講將以最新發布的 Flink SQL 為切入點，分別從流處理和批處理的角度，重點分享 Flink SQL 中核心功能的技術細節和調優經驗，聽眾將收獲對 Flink SQL 更深入的理解，以及了解如何對 Flink SQL 作業進行調優。

Apache Flink 核心技術專場完整議程

（11 月 28 日下午）

（11 月 29 日上午）

深度培訓，實現技術與應用能力的積累提升

大會組委會還為使用 Flink、希望深度學習的開發者們精心準備了培訓課程。屆時，來自阿里巴巴和 Ververica 的 Flink 專家們將帶領開發者開展為期一天半的深度學習。

?

• Apache Flink PMC 帶隊，超豪華陣容，阿里巴巴及 Flink 創始團隊資深技術專家擔任培訓講師，為開發者培訓課程制定全面學習體系。
• 課程能夠滿足不同學習需求，無論是入門還是進階，開發者可根據自身基礎選擇課程內容，實現技術與應用能力上的積累與提升。

課程主要大綱如下：

• 中階一：Apache Flink 開發人員培訓

本課程是對想要學習構建流應用程序的 Java 和 Scala 開發人員進行的關于 Apache Flink 的實踐介紹。培訓將重點介紹分布式數據流、事件時間和狀態等核心概念。練習將使您有機會了解以上概念在 API 中是如何被體現的，并了解如何將這些概念組合用以解決實際問題。

• 介紹流計算和 Apache Flink
• DataStream API 的基礎
• 為 Flink 開發做準備(包括練習)
• 有狀態的流處理(包括練習)
• 時間、定時器和 ProcessFunction(包括練習)
• 連接多個流(包括練習)
• 測試(包括練習)

說明：不需要 Apache Flink 的相關知識。

• 中階二：Apache Flink 運維培訓

本課程是針對 Apache Flink 應用程序的部署和操作相關的實踐性介紹。目標受眾包括負責部署 Flink 應用程序和維護 Flink 集群的開發人員和運維人員。演示將重點介紹 Flink 運行中涉及的核心概念，以及用于部署、升級和監控 Flink 應用程序的主要工具。

• 介紹流計算和 Apache Flink
• 數據中心里的 Flink
• 分布式架構介紹
• 容器化部署(包括實際操作)
• 狀態后端和容錯(包括實際操作)
• 升級和狀態遷移(包括實際操作)
• 指標(包括實踐)
• 容量規劃

說明：不需要對 Apache Flink 有先驗知識。

• 中階三：SQL 開發人員培訓

Apache Flink 支持 SQL 作為流處理和批處理的統一 API。SQL 可以用于各種各樣的場景，并且相比使用 Flink 的底層 API，SQL 將更容易構建和維護。在本次培訓中，您將學習到如何充分發揮使用 SQL 來編寫 Apache Flink 作業的潛力。我們將研究流式 SQL 的不同案例，包括連接流數據、維表關聯、窗口聚合、維護物化視圖，以及使用 MATCH RECOGNIZE 子句進行模式匹配（這是 SQL 2016 新提出的標準）。

• 介紹 SQL on Flink
• 使用 SQL 查詢動態表
• 連接動態表
• 模式匹配與 match_recognition
• 生態系統&寫外部表

說明：不需要 Apache Flink 的先驗知識，但是需要基本的 SQL 知識。

• 高階：Apache Flink 調優和問題排查

在過去的幾年中，我們與許多 Flink 用戶合作溝通期間了解到許多將流計算作業從早期 PoC 階段慢慢過渡到生產過程中最常見的挑戰。在此次培訓中，我們將集中精力介紹這些挑戰，并且幫助大家一起消除它。我們將提供一個有用的故障診斷工具集，并介紹例如監控、水印、序列化、狀態后端等領域的最佳實踐和技巧。在實踐課程的間隙中,參與者將有機會使用新學習到的知識來解決一些異常 Flink 作業表現出來的問題。同時，我們也將歸納那些使作業沒有進展或吞吐量沒有達到預期，或作業延遲的常見原因。

• 時間和水印
• 狀態處理和狀態后端
• Flink 的容錯機制
• 檢查點和保存點
• DataStream API 和 ProcessFunction。

培訓系列課程為精品小班教學，數量有限，預約滿額將關閉入口，有相關培訓需求的同學可盡早預約。詳細說明：

• 參加培訓請選擇購買 VIP 套票。中階培訓購買 VIP 套票 1，高階培訓購買 VIP 套票 2。
• VIP 套票 1 可參與中階所有課程，VIP 套票 2 可參與包括高階、中階培訓在內的所有課程。

如果你也好奇 Flink 未來的主要探索方向，如何利用 Flink 將大數據、算力推到極致，Flink 有哪些新場景、新規劃以及最佳實踐等話題，來現場吧！相信這群來自一線的技術專家們，一定會刷新你對 Apache Flink 的認知。

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的Apache Flink 为什么能够成为新一代大数据计算引擎？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。