從零搭建大數據平臺培訓課程

第一單元：數據平臺

1. 引言：大數據的基本概念、歷史和發展
從傳統數據倉庫概念，如何演進到大數據的概念，以及大數據的4V等特性；傳統數據倉庫技術體系和大數據之間有什么區別？現在大數據帶來了哪些改變，以及今后大數據會如何發展，如何改變我們的生活？
2. 大數據平臺整體組成
要想玩轉大數據，平臺至關重要。如何從零開始一步一步搭建一個大數據平臺？它由哪些部分組成？每個部分的功能定義是什么、為什么這么設計？
3. 大數據平臺的核心“三大件”原理和架構
大數據平臺最核心的三個組件當屬數據計算和存儲系統、數據任務調度系統、數據交換和傳輸系統了。這三個系統的工作原理和詳細架構是怎樣？在實踐中會遇到哪些問題？如何提高他們的性能？
4. 大數據平臺組件的延伸以及拓展
要想真正發揮大數據平臺的威力，除了大數據平臺核心“三大件”以外，其他組件也必不可少，比如元數據管理系統、集成開發平臺、報表組件、數據質量管理系統、權限系統、數據安全管理、統一監控和告警系統等等。這些系統該按照什么樣的順序搭建？如何決定這些系統的技術路線？如何打通這么多子系統，讓大數據平臺成為一個整體？
5. 大數據實時處理系統的案例實踐
隨著數據業務的發展，傳統T+1延遲的離線數據倉庫已經不能滿足業務的需求，數據系統的實時性問題越來越被人們所關注。不過，提高數據的實時性勢必帶來很多新的挑戰，比如如何簡化實時系統的復雜度、如何保證其可靠性、如何降低實時數據開發難度、如何平衡成本和性能等等。本小節將以一個實際的案例為基礎，講授如何打造一個高效、可靠的大數據實時處理系統。
1. 引言：大數據分析方法論以及幾個案例
本章將通過幾個數據分析的實際案例/故事，來講述數據分析過程中可能會遇到的困難、怎樣去解決這些困難、并由此總結出幾種實用的數據分析解決方案。
2. 如何讓數據價值在企業落地
很多企業都有大數據落地難的問題。明明投入了這么多，但很少發現有價值的產出。是什么原因造成了這樣的困境？如何擺脫這樣的困境，行之有效的實現數據價值的最大化？
3. 數據價值的不同場景和不同維度，以及案例分析
數據價值在不同場景下有不同的表現，同時也有不同的維度去度量它。本小節將帶來數個案例，分別講述在不同場景、不同維度下如何讓數據產生價值。讓聽課者能夠場景化的體會數據價值的落地過程。
4. 大數據建模
如何從一個實際的業務問題出發，完成從領域模型到數據模型的轉換：需要收集哪些數據，定義哪些關鍵指標，以及如何組織和存儲這些數據。
5. 如何打造數據團隊
數據團隊在發展過程中，不同時期的人員構成比例是怎樣的；和一般的團隊相比，數據團隊有哪些特點；如何樹立團隊的影響力、以及和其他團隊/部門的溝通技巧等。
6. 數據思維
數據思維是什么？如何讓大家都會用數據、懂數據？如何去培養全員的數據思維？有了數據思維有什么好處？

第二單元：數據分析與數據價值

1. 引言：大數據分析方法論以及幾個案例
本章將通過幾個數據分析的實際案例/故事，來講述數據分析過程中可能會遇到的困難、怎樣去解決這些困難、并由此總結出幾種實用的數據分析解決方案。
2. 如何讓數據價值在企業落地
很多企業都有大數據落地難的問題。明明投入了這么多，但很少發現有價值的產出。是什么原因造成了這樣的困境？如何擺脫這樣的困境，行之有效的實現數據價值的最大化？
3. 數據價值的不同場景和不同維度，以及案例分析
數據價值在不同場景下有不同的表現，同時也有不同的維度去度量它。本小節將帶來數個案例，分別講述在不同場景、不同維度下如何讓數據產生價值。讓聽課者能夠場景化的體會數據價值的落地過程。
4. 大數據建模
如何從一個實際的業務問題出發，完成從領域模型到數據模型的轉換：需要收集哪些數據，定義哪些關鍵指標，以及如何組織和存儲這些數據。
5. 如何打造數據團隊
數據團隊在發展過程中，不同時期的人員構成比例是怎樣的；和一般的團隊相比，數據團隊有哪些特點；如何樹立團隊的影響力、以及和其他團隊/部門的溝通技巧等。
6. 數據思維
數據思維是什么？如何讓大家都會用數據、懂數據？如何去培養全員的數據思維？有了數據思維有什么好處？