一、流式處理架構 |
1.1 流式處理背景及架構介紹
1.2 流式處理行業案例以及Flink的適用場景及應用概述 |
二、Flink概述 |
2.1 什么是Flink
2.2 Flink架構
2.3 Flink 與 Spark的比較以及為什么選擇Flink
2.4 Flink開發環境配置和搭建 |
三、Flink編程模型 |
3.1 數據集類型
3.2 Flink編程接口
3.3 Flink程序結構
3.4 Flink數據類型 |
四、DataStream API介紹與使用 |
4.1 DataStream編程模型
4.2 Flink Execution 參數
4.3 Transformation
4.4 時間概念與Watermark
4.5 Windows窗口計算
4.6 作業鏈和資源組
4.7 Asynchronous I/O異步API
4.8 Asynchronous I/O異步原理
? |
五、Flink流式計算基本概念介紹 |
5.1 時間特性:Event Time / Processing Time / Ingestion Time
5.2 WaterMark
5.3 Source/Sink/Operator
5.4 數據完整性語義
5.5 State/Checkpoint/Savepoint
5.6 Time window
? |
六、Flink Connector數據源 |
6.1 FlinkKafkaSource序列化、消費模式
6.2 FlinkKafkaSource容錯、動態分區及topic
6.3 FlinkKafkaSink序列化、配置、分區與容錯
6.4自定義Source和Sink
? |
七、DataSet API介紹與使用 |
7.1 DataSet API,Transformation
7.2 迭代計算
7.3 廣播變量與分布式緩存
7.4 語義注解
7.5 DataSetUtils工具類 |
八、Table API & SQL介紹與使用 |
8.1 基本概念
流/表對偶性
Source/Sink Table
數據回撤
8.2 Flink Table API
8.3 Flink SQL使用
Flink SQL client
Flink SQL 已支持特性
8.4 自定義函數 UDF/UDTF/UDAF
? |
九、兩個完整的Flink實現案例 |
9.1 Kafka 數據流處理,寫入HDFS
9.2多源數據關聯與聚合分析
? |
十、Flink有狀態的計算、狀態管理和容錯 |
10.1 什么是有狀態計算
10.2 有狀態計算中的數據一致性挑戰
10.3 理解state狀態
10.4 Operator State 的使用及Redistribute
10.5 Keyed State的使用與Redistribute
10.6 Broadcast State的妙用
10.7 Checkpoint核心原理剖析
10.8 Checkpoint使用條件及使用步驟
10.9 Checkpoint相關配置及重啟策略
10.10 Savepoint的觸發、Job恢復及刪除
? |
十一、實戰項目1:用Flink實現一個通用、配置化的海量數據流、批處理產品 |
11.1實現配置管理
11.2實現數據源加載
11.3實現主流程控制
11.4實現任務管理 |
十二、Flink部署與應用 |
12.1 Flink集群部署
12.2 Flink高可用配置
12.3 Flink安全管理
12.4 Flink集群升級
12.5 Flink on Yarn的原理和運行方式
12.6 Flink on Yarn 提交任務與停止任務 |
十三、Flink監控與性能優化 |
13.1 監控指標
13.2 Backpressure監控與優化
13.3 Checkpointing監控與優化
13.4 Flink內存優化 |
十四、Flink組件棧介紹與使用 |
14.1 Flink復雜事件處理
14.2 Flink Gelly圖計算應用
14.3 FlinkML機器學習應用
14.4 Flink Metrics 與監控 |
十五、Flink源碼學習 |
15.1 Flink源碼編譯
15.2 如何閱讀和學習Flink源碼
15.3 Flink源碼實現思路以及依賴管理
15.4 Flink核心模塊源碼帶讀與分析 |
十六、Flink在各大互聯網公司的典型應用剖析 |
16.1Flink在阿里的應用
16.2Flink在字節跳動的應用
16.3Flink在騰訊的應用
16.4Flink在微博的應用
16.5Flink在其他互聯網公司的應用
16.6Flink 最佳實踐 |
十七、實戰項目2:使用Flink實現電商用戶支付行為分析和審計風控 |
17.1電商支付數據模型(訂單,流水,賬戶余額,發現表)
17.2用戶行為分析需求與維度指標設計
17.3審計風控的需求與實現思路
17.4Flink代碼實現結構與業務邏輯細節拆解?? |