大數據存儲概覽
|
- 大數據的產生、引用、存儲與應用
- 大數據存儲的特點
- 大數據庫的基本元素
- 海量數據庫的開發特性
- 數據庫的數據分析與挖掘應用
- 數據倉庫與數據集市
|
| 大數數據平臺Hadoop概覽 |
- 文件存儲-HDFS
- HDFS-工作原理
- 數據計算MapReduce
- MapReduce工作原理
- SQL分析-Hive
- 海量實時讀寫-HBase
- 分布式協調系統—Zookeeper
- 數據抽取工具Sqoop使用
- Hadoop分布式文件系統
- MapReduce工作原理
- Hadoop集群剖析
- Hadoop生態系統對一種新的解決方案的需求
- Hadoop的行業應用案例分析
- Hadoop在云計算和大數據的位置和關系
|
| Hadoop集群規劃 |
- Hadoop 集群內存要求
- Namenode的機器配置
- Datanode的機器配置
- SNN的機器配置
- Hadoop集群磁盤分區
- 集群和網絡拓撲要求
- 集群軟件的端口配置
|
| Hadoop簡介和生態系統介紹 |
- 傳統大規模數據分析存在的問題
- Hadoop概述
- Hadoop與分布式文件系統
- Hadoop生態系統
- Hadoop的行業應用案例分析
- Hadoop在云計算和大數據的位置和關系
- Hadoop版本介紹
- Hadoop與Google FS的關系
- Hadoop在國內的使用情況和未來
|
| Hadoop安裝和主要配置文件介紹 |
- Hadoop安裝所需軟件介紹
- Hadoop單機安裝
- Hadoop偽分布式安裝
- Hadoop完全分布式安裝
- Hadoop三個節點安裝的配置介紹
- Hahoop多節點ssh配置
- Hadoop格式化詳解
- Hadoop核心配置文件介紹
- 核心配置文件core-site.xml
- HDFS配置文件hdfs-site.xml
- Mapreduce配置文件mapred-site.xml
- master文件配置詳解
- slave文件配置詳解
- Hadoop啟動和停止方法一
- —start-all.sh詳解
- —stop-all.sh詳解
- Hadoop安裝的常見錯誤介紹和解決方案
- 使用自帶的wordcount和pi測試集群安裝是否成功
- 使用Streaming來測試集群安裝是否成功
|
| Hadoop組件介紹 |
- Hadoop NameNode 介紹
- Hadoop SecondaryNameNode 介紹
- Hadoop DataNode 介紹
- Hadoop JobTracker 介紹
- Hadoop TaskTracker 介紹
|
| Hadoop的HDFS模塊 |
- HDFS架構介紹
- HDFS原理介紹
- NameNode功能詳解
- DataNode功能詳解
- SecondaryNameNode功能詳解
- HSFD的fsimage和editslog詳解
- HDFS的block詳解
- HDFS的block的備份策略
- Hadoop的機架感知配置
- HDFS的shell命令介紹
- HDFS的thrift server服務介紹
- HDFS的API接口介紹
- HDFS的權限詳解
- Hadoop的客服端接入案例
|
| MapReducer入門和高級開發實戰 |
- Mapreduce原理
- MapReduce流程
- 剖析一個MapReduce程序
- Mapper和Reducer抽象類詳解
- Mapreduce的最小驅動類
- MapReduce自帶的類型
- 自定義Writables和WritableComparables
- Mapreduce的輸入InputFormats
- MapReduce的輸出OutputFormats
- 自定義InputFormat
- 自定義InputSPlits
- 自定義RecorderReader
- Combiner詳解
- Partitioner詳解
- DistributeFileSystem詳解
- Hadoop Tools工具介紹
- Counter計數器詳解
- 自定義Counter計數器
- 基于Hadoop二次開發實戰
- MapReduce的優化
- Map和Reduce的個數設置
- Hadoop小文件優化
- 任務調度
- 默認的任務調度
- 公平任務調度
- 能力任務調度
- 使用 Hadoop MapReduce Streaming 編程
- MapReduce的單元測試
|
| Hive的使用和實戰 |
- Hive和Pig基礎
- Hive、Impala和presto的比較
- Hive的作用和原理說明
- Hadoop倉庫和傳統數據倉庫的協作關系
- Hadoop/Hive倉庫數據數據流
- Hive 部署和安裝
- Hive Cli 的基本用法
- Hive的server啟動
- HQL基本語法
- Hive的加載數據本地加載和HDFS加載
- Hive的partition詳解
- Hive的存儲方式詳解
- RCFILE、TEXTFILE和SEQUEUEFILE
- Hive的UDF和UDAF
- Hive的transform詳解
- Hive的JDBC連接
|
| Hbase使用 |
- Hbase原理
- Hmaster詳解
- RegionServer詳解
- Zookeeper介紹
- Hbase安裝
- Hbase邏輯視圖介紹
- Hbase物理視圖介紹
- Hbase的二級索引介紹
- Hbase 的DDL和DML
- Hbase表的設計案例
- Hbase的import功能介紹
- MapReduce操作Hbase
- Hbase的 thrift Server介紹
- Hbase 的API介紹
- Hbase案例分析
|
| Hadoop集群配置介紹和維護 |
- Hadoop集群的部署要點
- NameNode和SecondaryNameNode和JobTracker機器的配置要求
- dataNode與tasktracker機器的配置要求
- Hadoop集群管理的工具介紹
- Ganglia和nigos監控Hadoop集群介紹
- Ambri介紹
- 添加和刪除節點演示
- Namenode的單點解決方案
- NameNode的NFS備份介紹
- 集群所有dataNode掛掉的故障介紹
- 集群NameNode的fsimage丟掉恢復方法
- Hadoop集群維護的注意點
|
| 數據抽取工具Sqoop使用 |
- Sqoop是什么
- Sqoop安裝
- Sqoop把mysql數據導入HDFS
- Sqoop把HDFS數據導入Mysql
- Sqoop吧Mysql數據導入Hive
- Sqoop吧Mysql數據導入Hive分區
- 執行腳本的解析
- 數據導入過程中的典型問題和解決辦法?
|
