決勝大數據時代：Hadoop&Yarn&Spark企業級最佳實踐

?決勝大數據時代：Hadoop&Yarn&Spark企業級最佳實踐

培訓內容

第一部分

1、Hadoop三問（徹底理解Hadoop）

2、Hadoop集群與管理（具備構建并駕馭Hadoop集群能力）

3、徹底掌握HDFS(具備開發自己網盤的能力)

4、徹底掌握HDFS(具備修改HDFS具體源碼實現的能力)

第二部分

1、徹底掌握MapReduce（從代碼的角度剖析MapReduce執行的具體過程并具備開發MapReduce代碼的能力）

2、徹底掌握MapReduce（具備掌握Hadoop如何把HDFS文件轉化為Key-Value讓供Map調用的能力）

3、徹底掌握MapReduce（具備掌握MapReduce內部運行和實現細節并改造MapReduce的能力）

4、Hadoop集群高級實踐(具體Hadoop企業管理員的實際能力)

第三部分

1、實戰ZooKeeper（具備理解并通過命令行和Java兩種方式操作ZooKeeper的能力）

2、實戰HBase（具備掌握HBase企業級開發和管理的能力）

3、實戰Pig（具備掌握Pig企業級開發和管理的能力）

4、實戰Hive(具備掌握Hive企業級開發和管理的能力)

第四部分

1、實戰Sqoop（具備使用Sqoop自由轉換傳統關系型數據庫和HDFS中數據的能力）

2、實戰Flume（具備使用Flume收集和管理分布式日志的能力）

3、Hadoop系統管理進階（具備掌握MapReduce內部運行和實現細節并改造MapReduce的能力）

4、電信日志項目（具備掌握Hadoop完整項目的分析、開發、部署的全過程的能力）

5、某知名電商公司Hadoop實施全程揭秘（具備掌握商業級別Hadoop的分析、開發、部署的全過程的能力）

第五部分

1、YARN（具備理解和使用YARN的能力）

2、Yarn資源調度器（具備理解和使用YARN的能力）

3、ResourceManager深度剖析（具備深刻理解ResourceManager的能力）

4、NodeManager深度剖析（具備掌握NodeManager及Container的能力）

第六部分

1、Spark的架構設計(具備掌握Spark架構的能力)

2、Spark編程模型(具備掌握編程核心的能力)

3、深入Spark內核(具備掌握Spark內核的能力)

4、Spark的廣播變量與累加器(具備掌握Spark廣播和累加器的能力)

5、Spark多語言編程(具備掌握多語言編程的能力)

6、SparkContext解析和數據加載以及存儲(具備掌握Spark加載以處理數據的能力)

第七部分

7、深入實戰RDD(具備掌握Spark?RDD深入處理計算和優化計算的能力)

8、Shark的原理和使用(具備掌握Shark用于數據分析統計的能力)

9、Spark的機器學習(具備掌握Spark的機器學習的能力)

10、Spark的圖計算GraphX(具備掌握Spark圖計算的能力)

11、Spark?SQL(具備掌握Spark?SQL進行的能力)

第八部分

12、Spark實時流處理(具備掌握Spark?實時流處理技術的能力)

13、Spark程序的測試(具備掌握Spark程序測試的能力)

14、Spark的優化(具備掌握Spark優化的能力)

15、Spark?on?Yarn(具備掌握Spark?on?Yarn的能力)

16、JobServer(具備掌握Spark?as?a?cloud?service的能力)

17、Spark項目案例實戰(具備掌握Spark項目進行數據處理的能力)

?