EasyHadoop 開發培訓

?EasyHadoop 開發培訓

課程目標:此課程面向企業軟件工程師、數據庫工程師、以及對Hadoop開發感興趣的各類技術人員。通過此課程的學習，學員可以全面掌握Hadoop的架構原理和使用場景，并通過貫
穿課程的習題項目進行實戰鍛煉，從而熟練使用Hadoop進行MapReduce程序開發。課程還涵蓋了分布式計算領域的常用算法介紹，幫助學員為企業在利用大數據方面體現
自身價值。目標學員:軟件工程師、高級軟件工程師、數據庫開發人員、互聯網服務后臺開發人員、運維人員
?

培訓大綱

一、Hadoop MapReduce
流程分析?? ?
???? ·Hadoop JobTracker 詳解回顧
???? ·Hadoop TaskTracker 詳解回顧
???? ·Hadoop 任務提交流程詳解"
二、使用 Hadoop MapReduce Streaming 編程?? ?
???? ·Hadoop Streaming 和 Java MapReduce Api 差異。
???? ·學習使用 MapReduce 實現數據庫功能,比如select group by join union all )
三、MapReduce分布式程序
???? ·MapReduce流程
???? ·剖析一個MapReduce程序
???? ·基本MapReduceAPI 概念
???? ·驅動代碼
???? ·Mapper
???? ·Reducer
???? ·API 使用Eclipse進行快速開發
???? ·上機實驗
???? ·新MapReduce API
四、Hadoop 核心代碼導讀
???? ·Hadoop Mapper 類核心代碼導讀
???? ·Hadoop Reducer 類核心代碼導讀
五、HDFS分布式文件系統編程 ?? ?
???? ·Hadoop HDFS 回顧
???? ·Hadoop NameNode 回顧
???? ·Hadoop DataNode 回顧
???? ·hadoop I/O 操作
???? ·使用Hadoop HDFS API對HDFS編程
六、Hadoop Mapreduce高級編程
???? · ToolRunner介紹
???? ·使用MRUnit進行測試
???? ·利用Combiners來減少中間數據
???? ·使用Configure和Close方法來進行Map/Reduce設置和關閉
???? ·編寫Partitioner來優化負載平衡
???? ·上機實驗
???? ·直接訪問Hadoop分布式文件系統（HDFS）
???? ·使用分布式緩存（Distributed Cache）
???? ·上機實驗 "
七、MapReduce的優化
???? ·map優化
???? ·reduce優化
???? ·小文件優化"
八、MapReduce的任務調度
???? ·Queue調度的使用
???? ·公平調度的使用
???? ·能力調度的使用"
九、MapReduce編程實戰
???? ·Hadoop的join操作
???? ·Hadoop的二次排序
???? ·Hadoop的海量日志分析"
十、flume+hadoop日志的收集實戰
???? ·flume介紹
???? ·flume核心組件講解
???? ·flume自帶的組件分析
???? ·flume二次開發實戰