大數據平臺數據管控培訓課程

數據治理范圍

? 數據治理面臨的挑戰
? 數據的多元化
? 數據的復雜性
? 數據的完整性
? 數據生命周期管理
? 統一元數據管理
? 數據集成方法
? 數據安全
? 數據湖架構
? 基于大數據平臺的數據建模
? RMDBS數據的增量實時同步采集

大數據在國內的運用

? 大數據在國內的使用介紹
? 離線計算框架介紹
? 流式計算框架介紹
? 內存計算框架介紹
? 內存流式計算介紹
? 大數據實時請求框架介紹
? 大數據在證券的案例介紹
? 大數據在銀行的案例介紹

大數據生態系統介紹

? 分布式存儲—HDFS
? 分布式并行計算—MapReduce
? 基于Hadoop的數據倉庫—Hive
? 統一元數據管理—Hcatlog
? 集群管理工具—ambari
? 工作流工具—Oozie
? 數據的并行采集—Flume
? MapReduce腳本工具—Pig
? 與關系型數據庫之間的數據遷移—Sqoop
? 資源管理平臺—Yarn
? 數據生命周期管理—Falcon
? 數據挖掘算法—Mahout
? 分布式統一服務—Zookeeper
? Hadoop安全工具—Knox
? 流式計算框架—Storm
? 內存計算框架—Spark
? 數據挖掘框架—Mahout、Mllib和Graphx

統一元數據管理

? 元數據概念
? Hadoop平臺元數據處理面臨的問題
? Hcatalog介紹?
? Hcatlog原理和架構解析
? Hive與Hcatlog關系
? Hcatlog解決那些問題
? Hcatlog實戰
? 元數據注冊機制
? 基于Hadoop平臺元數據處理方案

數據生命周期管理

? 數據質量
? 數據標準
? 數據生命周期管理的重要性
? 數據生命周期的概念
? 開源Falcon解決那些問題
? Falcon架構和原理
? Falcon實戰
? Falcon+HDFS、Hive實戰
? Falcon+Oozie實戰?

大數據平臺安全

? Hadoop平臺安全介紹
? HDFS2.0的ACLS介紹
? Hive安全介紹
? Hbase基于namespace的安全介紹
? Hadoop訪問安全控制Knox
? Knox的架構和原理
? Knox與Kerberos介紹
? Ranger安全工具介紹
? Knox+Ranger整合控制Hadoop平臺的安全
? 基于Hadoop平臺的數據加密

數據湖

? 數據湖概念
? 數據湖解決那些問題
? 數據湖架構
? 數據的整合
? 數據的landing zone功能
? 離線數據管理
? 流式數據管理
? RDBMS全量和增量數據實時采集
? Databus框架介紹
? Databus功能介紹
? Databus解決那些問題

Think big基于Hadoop平臺實戰

? 怎么快速迭代在Hadoop平臺開發
? Hadoop平臺設施的方法論
? 2個月快速基于Hadoop平臺開發步驟
? Hadoop平臺開發的難點
? Hadoop平臺開的注意點
? Hadoop平臺設施的流程

互聯網大數案例分享

? 淘寶大數據平臺深度解析
? 基于大數據平臺的實時營銷架構
? 淘寶大數據推薦架構介紹
? 大數據實時分析架構