Hadoop企業級完整實戰培訓

?Hadoop企業級完整實戰培訓

：HDFS&MapReduce&HBase&Hive&Zookeeper&Pig&Project）

培訓內容

第一部分

第1個主題：Hadoop三問（徹底理解Hadoop）

1、?Hadoop為什么是云計算分布式大數據的事實開源標準軟件框架？

2、Hadoop的具體是如何工作？

3、Hadoop的生態架構和每個模塊具體的功能是什么？

第2主題：徹底掌握HDFS(具備開發自己網盤的能力)

1、HDFS體系架構剖析

2、NameNode、DataNode、SecondaryNameNode架構

3、保證NodeName高可靠性最佳實踐

4、DataNode中Block劃分的原理和具體存儲方式

5、修改Namenode、DataNode數據存儲位置

6、使用CLI操作HDFS

7、使用Java操作HDFS

第3主題：徹底掌握HDFS(具備修改HDFS具體源碼實現的能力)

1、RPC架構剖析

2、源碼剖析Hadoop構建于RPC之上

3、源碼剖析HDFS的RPC實現

4、源碼剖析客戶端與與NameNode的RPC通信

第4個主題：徹底掌握MapReduce（從代碼的角度剖析MapReduce執行的具體過程并具備開發MapReduce代碼的能力）

1、MapReduce執行的經典步驟

2、wordcount運行過程解析

3、Mapper和Reducer剖析

4、自定義Writable

5、新舊API的區別以及如何使用就API

6、把MapReduce程序打包成Jar包并在命令行運行

第二部分

第1個主題：徹底掌握MapReduce（具備掌握Hadoop如何把HDFS文件轉化為Key-Value讓供Map調用的能力）

1、?Hadoop是如何把HDFS文件轉化為鍵值對的？

2、?源碼剖析Hadoop讀取HDFS文件并轉化為鍵值對的過程實現

3、?源碼剖析轉化為鍵值對后供Map調用的過程實現

第2個主題：徹底掌握MapReduce（具備掌握MapReduce內部運行和實現細節并改造MapReduce的能力）

1、?Hadoop內置計數器及如何自定義計數器

2、?Combiner具體的作用和使用以及其使用的限制條件

3、?Partitioner的使用最佳實踐

4、?Hadoop內置的排序算法剖析

5、?自定義排序算法

6、?Hadoop內置的分組算法

7、?自定義分組算法

8、?MapReduce常見場景和算法實現

第3個主題：實戰ZooKeeper（具備理解并通過命令行和Java兩種方式操作ZooKeeper的能力）

1、ZooKeeper架構剖析及集群搭建

2、使用命令行操作ZooKeeper

3、使用Java操作ZooKeeper

第4個主題：實戰HBase（具備掌握HBase企業級開發和管理的能力）

1、?HBase架構實現

2、?HBase的數據模型和存儲模型

3、?使用CLI操作HBase

4、?使用Java操作HBase

5、?使用MapReduce代碼向HBase中導入批量數據

第三部分

第1個主題：實戰Pig（具備掌握Pig企業級開發和管理的能力）

1、?Pig架構

2、?使用Pig操作數據的內幕

3、?使用Pig實例數據

第2個主題：實戰Hive(具備掌握Hive企業級開發和管理的能力)

1、?Hive架構剖析

2、?Hive在HDFS中存儲實現

3、?使用MySQL作為Hive的Metastore

4、?內部表、分區表、外部表、桶表

5、?視圖

6、?自定義Hive的函數

第3個主題：某知名電商Hadoop項目（具備掌握Hadoop完整項目的分析、開發、部署的全過程的能力）

通過電信商搜集用戶接打電話、上網等產生的日志對用戶的電話和網絡行為進行分析和監控，初步貫穿前面講解的主要內容，使大家熟悉Hadoop一個完整項目的分析、開發、部署的全過程。