Hadoop與Spark大數據架構專題培訓課程

大數據架構概述

1.1 大數據層級架構及各層軟件設計要求，包括數據收集、存儲、計算框、應用
1.2 Hadoop生態系統概述以及版本演化，并給出版本選擇建議。
1.3 Spark生態系統概述及其特點，并與Hadoop對比

數據收集系統Flume與Sqoop

2. 使用flume和sqoop兩個系統將外部流式數據（比如網站日志，用戶行為數據等）、關系型數據庫（比如MySQL、Oracle等）中的數據導入Hadoop中進行分析和挖掘

大數據存儲系統HDFS與HBase

3.1與HDFS 1.0進行對比介紹2.0原理、特性與基本架構（快照、緩存、異構存儲）。
3.2 HBase原理，基本架構與案例分析
3.3 HBase應用場景、原理和架構，典型應用案例（互聯網、銀行）

集群資源管理與調度系統

4. 介紹 YARN應用場景、基本架構與資源調度

Zookeeper部署及典型應用

5. 介紹Zookeeper是什么，基本原理及在應用

大數據計算平臺

介紹主流的三大類大數據計算框架，分別是批處理、交互式計算和流式計算框架，并選取當下主流的開源實現進行介紹。
6.1 批處理計算框架
（1）MapReduce 2.0基本原理與架構、程序編寫（使用java、C++、php語言）。
（2）數據分析系統Hive與Pig應用與比較，如何使用其中的海量數據
（3）Spark計算框架，背景及應用案例
6.2 交互式計算框架，Impala和presto應用場景，基本架構和典型應用案例
6.3 流式/實時計算框架，storm、Spark Streaming基本架構特點，及應用案例

數據挖掘與機器學習庫

7. Mahout與MLlib兩個主流的分布式數據挖掘與機器學習庫的實現以及應用案例。