海量數據處理和優化培訓

時間

授課內容

第一部分?數據架構

一、數據拆分

1.?數據現狀

2.?連接數問題

3.?數據垂直拆分

4.?垂直拆分的問題和解決方案

5.?異構的讀寫分離

6.?數據水平拆分

7.?水平拆分的問題和解決方案

8.?一些案例分析

9.?拆分難題

二、多種存儲方案

1.?引入NOSQL數據庫

2.?圖片服務器分離

3.?開源的分布式文件系統介紹和使用

4.?圖片處理和緩存

5.?HDFS介紹

6.?CDN介紹和詳解

第二部分?數據同步方案

一、并發的日志解析方案

1.?情景分析

2.?整體結構設計

3.?線程池處理

4.?代碼實現

二、實時數據傳輸平臺

1.?主要邏輯（發布數據，訂閱數據）

2.?實時數據傳輸平臺架構

3.?實時數據傳輸平臺結構分析

4.?代碼分享

三、Dbsync同步工具的使用

1、?Dbsync介紹

2、?架構解析

3、?使用詳解

四、?異構的數據庫/文件系統之間的高速交換工具

1、?開源工具介紹

2、?特點和結構模式

3、?使用和插件開發

第三部分?分布式緩存系統

一、Memcached

1.?Memcached簡介

2.?Memcached簡單用途

3.?Memcached特點

4.?Memcached優點和限制

5.?Memcached?Java客戶端

6.?Memcached?Java?客戶端優化

第四部分?Mysql性能優化、Oracle性能優化(可以根據實際情況選擇不同數據庫講解)

一、Mysql性能優化

1.?Mysql性能優化引言

2.?數據庫設計和查詢優化

3.?Schema?Design

4.?標準化

5.?數據類型

6.?正確使用索引

7.?查詢緩存

8.?服務器端優化

9.?存儲引擎優化

10.?臨時表

11.?線程池

12.?引入非關系數據庫

13.?新技術

二、Oracle性能優化

1、常用SQL技巧

2、表的連接方式

3、有效的使用索引

4、Oracle的優化器與執行器

5、Oracle?11g中的執行計劃管理

6、Oracle?11g中的數據庫重演和SQL重演

7、Oracle的性能顧問

第五部分??數據層開發

一、數據服務平臺設計

1.?數據架構分析

2.?問題

3.?解決方案

4.?數據服務平臺特性

二、數據服務平臺實現

1.?模型數據映射實現

2.?統一查詢更新API

3.?性能優化策略

4.?熱點緩存平臺

5.?異步并行化機制

6.?并發控制，自我保護