Spark大數據處理案例分析與實踐培訓課程

4.1 Scala語言基礎，常用語法以及庫函數
4.2 Spark程序設計方法
（1）DSpark程序基本構成,SparkContext， RDD，transformation/action
（2）Spark API介紹
（a）如何創建RDD （scala集合，HDFS文件，HBase文件等）
（b）如何基于RDD進行數據處理，介紹常見的分布式算子
（c）如何保存處理結果 （返回到driver端，寫入hdfs等）
（d）廣播變量與累加器
4.3 Spark程序設計實例
（1）分布式Pi估算程序
（2）K-means分類算法實現
（3）邏輯回歸算法實現

基于Spark的商品推薦系統，包括：項目背景、項目架構、項目實施

8.1 Spark Streaming產生動機
8.2 Spark Streaming程序設計
（1）創建DStream
（2）基于DStream進行流式處理
8.3 Spark Streaming容錯與性能優化
（1）Spark Streaming容錯機制
（2）如何對spark Streaming進行優化
8.4 Spark Streaming案例分析
基于Spark Streaming的用戶標簽系統，內 容包括項目背景，項目架構以及實施方法

9.1 Spark SQL定位
9.2 如何使用SparkSQL處理數據
（1）使用SparkSQL處理HDFS上數據
（2）使用SparkSQL處理Hive中的數據
9.3 Spark SQL與 Spark及 Spark Streaming結合