大數據的基礎介紹
|
- 什么是大數據
- 大數據時代的背景
- 學術上怎么定義大數據
- 大數據的構成
- 大數據的演進過程
- 大數據的關鍵技術
- 大數據分布式系統的構成
- 計算模式
- 大數據產業
- 大數據與云計算的關系
- 大數據和物聯網的關系
|
| 開源Hadoop生態圈的介紹 |
1、Hadoop生態圈
2、組件功能概要
3、介紹Cloudera公司
4、CDH5.0的技術優勢
5、ClouderaManager的介紹
6、CM集群監控
7、HDFS監控
8、Hbase監控
9、Hive監控
10、服務維護頁面 |
| HDFS分布式文件系統詳解 |
什么是分布式文件系統HDFS
2、HDFS基本架構
3、基本概念
4、主要涉及理念
5、hdfs常用命令
6、hdfs的上傳文件
7、hdfs的下載文件
8、hdfs的查看數據
9、hdfs優點和缺點
10、案例：實現HDFS文件上傳和下載 |
| ZooKeeper分布式協作服務 |
1.ZooKeeper概述
2.ZooKeeper結構與原理
3.安裝和運行ZooKeeper
4.Zookeeper的API接口
5.ZK實操(創建節點等)
6.Zookeeper的4個應用場景詳解 |
| Yarn資源管理系統 |
1、什么是Yarn
2、Yarn特點
3、Yarn原理
4、Yarn核心架構
5、優勢和不足
6、ResourceManager(RM)介紹
7、ApplicationMaster(AM)介紹
8、NodeManager(NM)介紹
9、Container介紹 |
| Sqoop大數據同步工具詳解 |
1、Sqoop基本介紹
2、基本原理
3、應用場景
4、Sqoop和mysql的連接
5、mysql數據到HDFS
6、HDFS數據到mysql
7、關系型數據庫到hive
8、hive到關系型數據庫
9、Sqoop優點和缺點
10、案例：oracle到hdfs的大數據量轉換 |
MapReduce分布式計算框架詳解
|
1、MapReduce基本介紹
2、為什么要用MR
3、MR是什么
4、工作原理
5、Map的原理
5、Reduce的原理
6、MR例子-單詞計數
7、MR的優點和不足
8、適用場景
9、案例：統計多個數據文件每個單詞出現次數并倒序排列
?
|
| Hive 數據倉庫及案例 |
1、Hive 基本介紹
- Hive 是什么
- Hive 不是什么
- Hive 結構圖
- Hive 元數據
- Hive 和普通關系數據的異同
- Hive 和 SQL 比較 2、Hive 命令
- 建表
- 顯示表
- 修改表
- load 數據 3、Hive 優化
- 分區概念
- 分區適用場景
- 分區例子
- 優化例子
- 優化建議方案 4、Hive 的用戶自定義函數
- UDF 函數
- UDAF 函數
- UDTF 函數 5、案例講解：Hive分區表的優化設計
|
| Impala準實時分析 |
1、Impala基本介紹
2、技術架構
3、Impala與HIVE的關系
4、基本原理
5、優點和缺點
6、建表
7、加載數據
8、批量處理
9、常用腳本
10、和hive的性能比較
11、和oracle的對比2億數據性能
12、和oracle的對比12億數據性能
13、案例：Impala調用外部文件
? |
| Hbase列數據庫及應用案例 |
1、Hbase感性認識
- Hbase簡介
- Hbase特點
- HBase與RDBMS對比
- HBase體系結構
- Hbase常見概念 2、Hbase主要組成
- HBase基本命令介紹
- Zookeeper、Hmaster
- HRegionServer、Region
- HStore存儲、Hfile
- Hbase內部掃描RowKey的原理
- Hbase內部讀寫原理
- HBase設計原理、架構分析
- Hadoop+HBase伸縮性（自動擴容、熱部署）
- HBase相關表結構設計（列族、列詳細分析）
- HBase主HMaster與備用HMaster間的切換原理 3、Hbase性能測試
- 測試數據
- 測試過程
- 測試結論
- 和Oracle Rac等進行對比 4、Hbase設計原則和優化
- Hbase的RowKey設計原則
- 性能參數的設置
- 性能參數的調整
- 模型和性能優化 5、項目案例：HBase在小米業務的應用
6、項目案例：運營商全國用戶上網記錄案例介紹
|
| 大數據平臺部署及案例 |
hadoop有哪幾個版本
2、Hadoop版本介紹
3、CDH和Apache版本主要區別
4、集群硬件應該如何選配
- 網絡拓撲
- 內存
- 硬盤
- CPU
- 價格 5、集群硬件應該如何選配
6、英特爾Hadoop發行版的介紹
7、英特爾功能增強
8、項目案例：某省級通信運營商清帳單查詢系統
9、項目案例：新清賬單中心的部署方案
|
