一、 大數據處理平臺架構基礎 |
1. 大數據的產生背景、發展歷程
2. 大數據和云計算的關系
3. 大數據應用需求以及潛在價值分析
4. 業界最新的大數據技術發展態勢與應用趨勢
5. 大數據項目的技術選型與大數據處理系統架構設計
6. “互聯網+”時代下的電子商務、制造業、零售批發業、電信運營商、互聯網金融業、網上銀行、電子政務、移動互聯網、教育信息化等行業應用實踐與應用案例剖析 |
二、 業界主流的大數據技術產品與項目解決方案 |
7. 國內外主流的大數據解決方案介紹
8. 當前大數據解決方案與傳統數據庫方案的剖析比較
9. Apache大數據平臺方案剖析
10. CDH大數據平臺方案剖析
11. HDP大數據平臺方案剖析
12. 開源的大數據生態系統平臺剖析 |
三、 Hadoop大數據平臺核心技術剖析 |
13. Hadoop的發展歷程以及產業界的實際應用介紹
14. Hadoop大數據平臺架構
15. 基于Hadoop平臺的PB級大數據存儲管理與分析處理的工作原理與機制
16. Hadoop的核心組件剖析 |
四、 大數據分布式存儲系統原理及其應用實踐 |
17. 分布式文件系統HDFS的簡介
18. HDFS系統的主從式平臺架構和工作原理
19. HDFS核心組件技術講解
20. 基于HDFS的大型存儲系統應用開發實戰
21. HDFS集群的安裝、部署、配置與性能優化實踐
22. HDFS與Linux NFS3交互技術以及本地化掛載部署應用實踐
23. 分布式鍵值存儲系統的平臺架構、核心技術以及應用開發
24. PB及大數據存儲系統的項目案例分析 |
五、 大數據并行處理框架MapReduce與Yarn技術實踐 |
25. MapReduce并行計算模型
26. MapReduce作業執行與調度技術
27. 第二代大數據處理框架Yarn的工作原理及DAG并行執行機制
28. MapReduce應用開發環境的部署,以及大數據并行處理應用程序開發
29. MapReduce高級編程技巧與性能優化實踐
30. MapReduce與Yarn大數據分析處理案例分析 |
六、 Hadoop大數據處理高性能應用開發實踐操作訓練 |
31. 部署與配置HDFS,熟練操作HDFS SHELL,HDFS與NFS操作,以及HDFS API開發實踐
32. 部署與配置MapReduce與Yarn及其開發實踐
33. Hadoop的Linux二次開發環境部署與配置 |
七、 HBase分布式數據庫管理系統 |
34. NoSQL數據庫與NewSQL數據庫技術介紹,及其在半結構化和非結構化大數據方面的應用實踐
35. HBase分布式數據庫簡介、數據模型以及工作原理
36. HBase分布式數據庫集群的平臺架構和關鍵技術剖析
37. HBase應用項目開發技巧,以及客戶端開發實戰
38. HBase表設計與數據操作以及數據庫管理API調用
39. HBase集群的安裝部署與配置優化
40. ZooKeeper分布式協調服務系統的工作原理、平臺架構、集群部署與配置應用實戰
41. HBase集群的運維與監控管理
?
|
八、 HBase應用實踐操作訓練 |
42. 部署與配置HBase集群以及HBase的性能優化
43. 部署與配置ZooKeeper分布式集群
44. 構建HBase開發環境
45. HBase數據庫二次開發項目實踐 |
九、 大型數據倉庫Hive集群平臺 |
46. 基于Hadoop的大型分布式數據倉庫基礎知識,HIVE在行業中的數據倉庫應用案例
47. Hive大數據倉庫簡介以及應用介紹
48. Hive數據倉庫集群的平臺體系結構、核心技術剖析
49. Hive Server的工作原理、機制與應用
50. Hive數據倉庫集群的安裝部署與配置優化
51. Hive應用開發技巧
52. Hive SQL剖析與應用實踐
53. Hive數據倉庫表與表分區、表操作、數據導入導出、客戶端操作技巧
54. Hive數據倉庫報表設計
55. Hive JDBC與ODBC的工作原理與實現機制
56. Hive HWI、CLI客戶端操作以及UDF應用實踐
? |
十、 Hive應用實踐操作訓練 |
57. 部署與配置HIVE集群,以及HIVE性能調優
58. 構建HIVE開發環境
59. HIVE數據倉庫操作項目實踐 |
十一、 Spark大數據實時處理平臺剖析 |
60. Spark的發展歷程以及業界的實際應用介紹
61. Spark實時大數據處理平臺架構
62. Spark RDD內存彈性分布式數據集的工作原理與機制
63. Spark的核心組件剖析
64. 基于Spark的實時數據倉庫與實時分析挖掘處理在行業中的應用實踐案例 |
十二、 Spark應用實踐操作訓練 |
65. 部署與配置Spark集群,以及Spark性能調優
66. 構建Spark開發環境
67. Spark程序運行以及操作 |
十三、 基于Spark的實時數據倉庫和實時數據分析挖掘處理平臺的實現機制, Spark SQL,Spark Streaming,MLib,GraphX,SparkR的應用實踐 |
68. 內存計算模型和實時處理技術介紹
69. Spark中各個分布式組件的處理框架及工作原理
70. Spark SQL實時數據倉庫的實現原理機制及應用實踐
71. Spark Streaming流式數據實時處理機制及應用實踐
72. Spark MLib實時機器學習算法應用實踐與案例應用
73. Spark GraphX實時圖數據處理應用實踐與社交網絡分析應用案例
74. SparkR的實現原理與應用實踐
75. Spark組件的應用編程開發實戰
76. Spark與Hadoop的集成解決方案實踐 |
十四、 Spark核心組件功能運用的實踐操作訓練 |
77. Spark SQL應用操作實訓
78. Spark Streaming應用操作實訓
79. Spark MLib應用操作實訓
80. Spark GraphX應用操作實訓
81. SparkR應用操作實訓
82. Spark與HBase集成數據分析實驗實訓 |
十五、 Mahout大數據分析挖掘平臺 |
83. 大數據分析挖掘技術介紹,以及行業大數據挖掘應用案例
84 . Mahout大數據挖掘平臺的體系架構和核心技術
85 . 基于Mahout的數據分析挖掘算法應用,包括分類算法、聚類算法、關聯規則挖掘算法、推薦與協同過濾分析算法、預測分析等算法的應用及其案例剖析
86 . 基于Mahout的數據分析挖掘應用程序開發實戰
87 . 利用Mahout與Hadoop集成大數據挖掘平臺應用實戰 |
十六、 Mahout大數據分析挖掘項目的實踐操作訓練 |
88. Mahout集群的安裝部署與配置優化
89. Mahout實現客戶分析,廣告分析,日志分析,規律預測,關聯分析,定向推薦等應用程序的開發與應用實戰
90. Mahout性能優化與分析挖掘算法參數的優化,并結合Mahout實現交互式數據查詢與分析挖掘的項目實踐 |
十七、 Flink分布式數據流處理與計算 |
91.大數據處理引擎Flink基礎概念
92.Flink體系架構
93.Flink的部署和HA的實現。
94.如何在Flink中實現流式處理和批處理的Demo。 |
十八、 Storm流式數據處理平臺架構及其應用實踐 |
95. Storm流式處理系統的平臺架構和工作原理
96. Storm關鍵技術剖析
97. Storm集群安裝部署與配置優化
98. Storm日志流數據分析項目應用實戰
99. Storm和Hadoop,Spark的應用集成項目實踐 |
十九、 大數據智能化ETL操作工具以及Hadoop集群運維監控工具平臺應用 |
100. Hadoop與DBMS之間數據交互工具Sqoop導入導出數據的工作原理,以及Sqoop集群安裝部署與配置
101. Kettle集群的平臺架構、核心技術工作原理以及應用案例
102. Kettle大數據ETL工具的部署與配置,以及應用實戰
103. 利用Sqoop實現MySQL與Hadoop集群之間的數據導入導出交互程序
104. Hadoop大數據運維監控管理系統HUE平臺的安裝部署與應用配置
105. Hadoop運維管理監控系統Ambari平臺的安裝部署與應用配置
106. Hadoop集群運維系統Ganglia, Nagios的安裝部署與應用配置 |
二十、 大數據的信息安全技術及其應用 |
107. “互聯網+APP”背景下的信息安全遇到的挑戰,以及可行的信息安全策略和案例分析
108. 大數據隱私保護技術及其應用
109. 大數據加密技術及其應用
110. 大數據平臺的安全認證技術及其應用
111. 大數據平臺的實時保護和監控、細粒度的數據訪問審計、自動化的告警、數據級別的訪問控制、數據漏洞管理,以及敏感數據的自動發現
? |
二十一、 大數據平臺項目應用完整實踐與咨詢討論 |
112. 根據講師布置的實際應用案例,開展大數據完整項目部署設計和應用開發實踐、大數據項目的需求分析、應用實施以及解決方案分享咨詢與交流討論 |