曙海教學優勢
本課程以項目實現為導向,面向企事業項目實際需要,秉承二十一年積累的教學品質，老師將會與您分享設計的全流程以及工具的綜合使用經驗、技巧。線上/線下/上門皆可,課程可定制,熱線:4008699035。
曙海培訓的課程培養了大批受企業歡迎的工程師。曙海培訓的課程在業內有著響亮的知名度。大批企業和曙海
建立了良好的合作關系,合作企業30萬+。
?
Hadoop這門課程從理論到實戰再到公司的項目，還有hadoop集群的搭建和性能的調優，再到HDFS性能的測試和MapReduce性能的測試再到網絡的需求等全面的詳解Hadoop的開發和維護，深刻理解MapReduce的原理，能過使用mapreduce進行高級編程，使用Hive進行數據分析，使用Hbase進行線上分析，關系型數據和HDFS、hive之間的相互遷移，理解Hadoop的使用場景，面對一個需求適不適合使用hadoop。
大數據愛好者、程序員、數據分析師，項目經理和對已經使用hadoop，想提高的用戶。
學員學習本課程應具備下列基礎知識：
1)了解Java或者python和shell語言；
2)了解Linux系統；
?
| 主題 | 內容 |
|
Hadoop的來源和動機 |
1.傳統大規模系統存在的問題n2.Hadoop概述n3.Hadoop分布式文件系統 n4.MapReduce工作原理 n5.Hadoop集群剖析n6.Hadoop生態系統對一種新的解決方案的需求n7.Hadoop的行業應用案例分析n8.Hadoop在云計算和大數據的位置和關系 |
|
Hadoop集群規劃 |
1.Hadoop 集群內存要求n? Namenode的機器配置n? Datanode的機器配置n? SNN的機器配置n2.Hadoop集群磁盤分區n3.集群和網絡拓撲要求n4.集群軟件的端口配置 |
|
Hadoop簡介和生態系統介紹 |
1.傳統大規模數據分析存在的問題n2.Hadoop概述n3.Hadoop與分布式文件系統 n4.Hadoop生態系統n5.Hadoop的行業應用案例分析n6.Hadoop在云計算和大數據的位置和關系n7.Hadoop版本介紹n8.Hadoop與Google FS的關系n9.Hadoop在國內的使用情況和未來 |
|
Hadoop安裝和主要配置文件介紹 |
1.Hadoop安裝所需軟件介紹n2.Hadoop單機安裝n3.Hadoop偽分布式安裝n4.Hadoop完全分布式安裝n5.Hadoop三個節點安裝的配置介紹n6.Hahoop多節點ssh配置n7.Hadoop格式化詳解n8.Hadoop核心配置文件介紹n9.核心配置文件core-site.xmln10.HDFS配置文件hdfs-site.xmln11.Mapreduce配置文件mapred-site.xmln12.master文件配置詳解n13.slave文件配置詳解n14.Hadoop啟動和停止方法一n—start-all.sh詳解n—stop-all.sh詳解n15.Hadoop的啟動和停止方法二n—hadoop-deamon.sh詳解n16.Hadoop安裝的常見錯誤介紹和解決方案n17.使用自帶的wordcount和pi測試集群安裝是否成功n18.使用Streaming來測試集群安裝是否成功 |
|
Hadoop組件介紹 |
1.Hadoop NameNode 介紹n2.Hadoop SecondaryNameNode 介紹n3.Hadoop DataNode 介紹n4.Hadoop JobTracker 介紹n5.Hadoop TaskTracker 介紹 |
|
Hadoop的HDFS模塊 |
1.HDFS架構介紹n2.HDFS原理介紹n3.NameNode功能詳解n4.DataNode功能詳解n5.SecondaryNameNode功能詳解n6.HSFD的fsimage和editslog詳解n7.HDFS的block詳解n8.HDFS的block的備份策略n9.Hadoop的機架感知配置n10.HDFS的shell命令介紹n11.HDFS的thrift server服務介紹n12.HDFS的API接口介紹n13.HDFS的權限詳解n14.Hadoop的客服端接入案例 |
|
MapReducer入門和高級開發實戰 |
1.Mapreduce原理n2.MapReduce流程n3.剖析一個MapReduce程序n4.Mapper和Reducer抽象類詳解n5.Mapreduce的最小驅動類n6.MapReduce自帶的類型n7.自定義Writables和WritableComparablesn8.Mapreduce的輸入InputFormatsn9.MapReduce的輸出OutputFormatsn10.自定義InputFormatn11.自定義InputSPlitsn12.自定義RecorderReadern13.Combiner詳解n14.Partitioner詳解n15.DistributeFileSystem詳解n16.Hadoop Tools工具介紹n17.Counter計數器詳解n18.自定義Counter計數器n19.基于Hadoop二次開發實戰n20.MapReduce的優化n21.Map和Reduce的個數設置n22.Hadoop小文件優化n23.任務調度n24.默認的任務調度n25.公平任務調度n26.能力任務調度n27.使用 Hadoop MapReduce Streaming 編程n28.MapReduce的單元測試 |
|
Hive的使用和實戰 |
1.Hive和Pig基礎n2.Hive、Impala和presto的比較 n3.Hive的作用和原理說明n4.Hadoop倉庫和傳統數據倉庫的協作關系n5.Hadoop/Hive倉庫數據數據流n6.Hive 部署和安裝n7.Hive Cli 的基本用法n8.Hive的server啟動n9.HQL基本語法n10.Hive的加載數據本地加載和HDFS加載n11.Hive的partition詳解n12.Hive的存儲方式詳解n13.RCFILE、TEXTFILE和SEQUEUEFILEn14.Hive的UDF和UDAFn15.Hive的transform詳解n16.Hive的JDBC連接 |
|
Hbase使用 |
1.Hbase原理n2.Hmaster詳解n3.RegionServer詳解n4.Zookeeper介紹n5. Hbase安裝n6.Hbase邏輯視圖介紹n7.Hbase物理視圖介紹n8.Hbase的二級索引介紹n9.Hbase 的DDL和DMLn10.Hbase表的設計案例n11.Hbase的import功能介紹n12.MapReduce操作Hbasen13.Hbase的 thrift Server介紹n14.Hbase 的API介紹n15.Hbase案例分析 |
|
Hadoop安全和性能優化 |
1.Hadoop的可伸縮性應用n2.Hadoop的線性伸縮性n3. Hadoop的最佳實戰n4.Map/Reduce性能測試n5.HDFS的性能測試n6.Hadoop企業級架構n7.Hadoop的安全實戰n8.Hadoop的運維知識總結 |
|
Hadoop集群配置介紹和維護 |
1.Hadoop集群的部署要點n2.NameNode和SecondaryNameNode和JobTracker機器的配置要求n3.dataNode與tasktracker機器的配置要求n4.Hadoop集群管理的工具介紹n5.Ganglia和nigos監控Hadoop集群介紹n6.Ambri介紹n7.添加和刪除節點演示n8.Namenode的單點解決方案n9.NameNode的NFS備份介紹n10.集群所有dataNode掛掉的故障介紹n11.集群NameNode的fsimage丟掉恢復方法n12.Hadoop集群維護的注意點 |
|
Sqoop介紹 |
1.Sqoop是什么n2.Sqoop安裝n3.Sqoop把mysql數據導入HDFSn4.Sqoop把HDFS數據導入Mysqln5.Sqoop吧Mysql數據導入Hiven6.Sqoop吧Mysql數據導入Hive分區 |
