?
大數據（Hadoop、Spark、NOSQL）案例分析與實踐培訓課程
培訓對象
各類 IT/軟件企業和研發機構的軟件架構師、軟件設計師、程序員。對于懷有設計疑問和問題，需要梳理解答的團隊和個人，效果最佳。
學員基礎
了解Linux系統及相關語言環境
課程大綱
?
| 主題 |
內容 |
|
Hadoop簡介和生態系統介紹
|
傳統大規模數據分析存在的問題?
Hadoop概述?
Hadoop與分布式文件系統?
Hadoop生態系統
Hadoop的行業應用案例分析
Hadoop在云計算和大數據的位置和關系
Hadoop版本介紹
Hadoop與Google FS的關系
Hadoop在國內的使用情況和未來
|
|
Hadoop安裝和主要配置文件介紹
|
Hadoop安裝所需軟件介紹
Hadoop單機安裝
Hadoop偽分布式安裝
Hadoop完全分布式安裝
Hadoop三個節點安裝的配置介紹
Hahoop多節點ssh配置
Hadoop格式化詳解
Hadoop核心配置文件介紹
核心配置文件core-site.xml
HDFS配置文件hdfs-site.xml
Mapreduce配置文件mapred-site.xml
master文件配置詳解
slave文件配置詳解
Hadoop啟動和停止方法一
—start-all.sh詳解
—stop-all.sh詳解
Hadoop的啟動和停止方法二
—hadoop-deamon.sh詳解
Hadoop安裝的常見錯誤介紹和解決方案
使用自帶的wordcount和pi測試集群安裝是否成功
使用Streaming來測試集群安裝是否成功
|
|
Hadoop組件介紹
|
Hadoop NameNode 介紹
Hadoop SecondaryNameNode 介紹?
Hadoop DataNode 介紹
Hadoop JobTracker 介紹?
Hadoop TaskTracker 介紹
|
|
Hadoop的HDFS模塊
|
HDFS架構介紹
HDFS原理介紹
NameNode功能詳解
DataNode功能詳解
SecondaryNameNode功能詳解
HSFD的fsimage和editslog詳解
HDFS的block詳解
HDFS的block的備份策略
Hadoop的機架感知配置
HDFS的shell命令介紹
HDFS的thrift server服務介紹
HDFS的API接口介紹
HDFS的權限詳解
Hadoop的客服端接入案例
|
|
MapReducer入門
|
Mapreduce原理
MapReduce流程
剖析一個MapReduce程序
Mapper和Reducer抽象類詳解
Mapreduce的最小驅動類
MapReduce自帶的類型
自定義Writables和WritableComparables
Mapreduce的輸入InputFormats
MapReduce的輸出OutputFormats
Combiner詳解
Partitioner詳解
DistributeFileSystem詳解
Hadoop Tools工具介紹
Counter計數器詳解
自定義Counter計數器
基于Hadoop二次開發實戰
MapReduce的優化
Map和Reduce的個數設置
Hadoop小文件優化
任務調度
默認的任務調度
公平任務調度
能力任務調度
使用 Hadoop MapReduce Streaming 編程?
MapReduce的單元測試
|
|
Hive
|
Hive和Pig基礎
Hive、Impala和presto的比較?
Hive的作用和原理說明
Hadoop倉庫和傳統數據倉庫的協作關系
Hadoop/Hive倉庫數據數據流
Hive部署和安裝
HiveCli的基本用法
Hive的server啟動
HQL基本語法
Hive的加載數據本地加載和HDFS加載
Hive的partition詳解
Hive的存儲方式詳解
RCFILE、TEXTFILE和SEQUEUEFILE
Hive的UDF和UDAF
Hive的transform詳解
Hive的JDBC連接
|
|
Sqoop介紹
|
Sqoop是什么
Sqoop安裝
Sqoop把mysql數據導入HDFS
Sqoop把HDFS數據導入Mysql
Sqoop吧Mysql數據導入Hive
Sqoop吧Mysql數據導入Hive分區
|
|
Hadoop集群配置和維護
|
Hadoop集群的部署要點
NameNode和SecondaryNameNode和JobTracker機器的配置要求
dataNode與tasktracker機器的配置要求
Hadoop集群管理的工具介紹
Ganglia和nigos監控Hadoop集群介紹
Ambri介紹
添加和刪除節點演示
Namenode的單點解決方案
NameNode的NFS備份介紹
集群所有dataNode掛掉的故障介紹
集群NameNode的fsimage丟掉恢復方法
Hadoop集群維護的注意點
|
|
Hbase使用
|
Hbase原理
Hmaster詳解
RegionServer詳解
Zookeeper介紹
Hbase安裝
Hbase邏輯視圖介紹
Hbase物理視圖介紹
Hbase的二級索引介紹
Hbase的DDL和DML
Hbase表的設計案例
Hbase的import功能介紹
MapReduce操作Hbase
Hbase的thriftServer介紹
Hbase的API介紹
Hbase使用場景介紹
Hbase案例分析
|
|
大數據在國內的運用
|
大數據在國內的使用介紹
離線計算框架介紹
流式計算框架介紹
內存計算框架介紹
內存流式計算介紹
大數據實時請求框架介紹
大數據在移動的案例介紹
大數據在銀行的案例介紹
大數據在阿里的案例介紹
|
|
Spark生態介紹
|
Spark產生背景
Spark（內存計算框架）
SparkSteaming（流式計算框架）
SparkSQL（ad-hoc）
Mllib（MachineLearning）
GraphX（bagel將被代）
|
|
spark安裝部署
|
Spark安裝簡介
Spark的源碼編譯
SparkStandalone安裝
SparkStandaloneHA安裝
Spark應用程序部署工具spark-submit
|
|
Spark運行架構和解析
|
Spark的運行架構
基本術語
運行架構
SparkonStandalone運行過程
SparkonYARN運行過程
Spark運行實例解析
SparkonStandalone實例解析
SparkonYARN實例解析
|
|
SparkSQL原理和實踐
|
SparkSQL原理
SparkSQL的Catalyst優化器
SparkSQL內核
SparkSQL和Hive
SparkSQL的實例和編程
SparkSQL的實例操作demo
SparkSQL的編程
|
