Python+大數據培訓

主要內容

可掌握的核心能力

1. 掌握MySQL數據庫的使用；
2. 掌握SQL語法；
3. 掌握Kettle數據遷移工具的使用；
4. 熟練使用BI可視化工具；
5. 對數據開發有一定認知，掌握BI工程師所具備的基本技能；
6 掌握ETL的相關概念；
7. 掌握基于Python語言完成ETL任務開發實戰；
8. 基于ETL實戰鍛煉Python編程能力，包括（元數據管理、數據模型、項目配置、單元測試、工具方法抽取等）；
9. 掌握BI數據分析實戰。

主要內容

可掌握的核心能力

1.掌握Linux常用命令，為數據開發后續學習打下的良好基礎；
2.掌握大數據的核心框架Hadoop以及其生態體系，完成HDFS、MapReduce及Yarn機制基本理解與使用；能顧搭建Hadoop高可用HA集群；
3.掌握Hive的使用和調優；
4.具備Hadoop開發能力、離線數據倉庫開發能力；
5.掌握零售行業離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程；
6.掌握教育行業離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程；
7.真實業務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業中的核心競爭力；
8.新增數據和更新數據的抽取和分析；
9.Hive函數的具體應用；
10.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能。

主要內容

可掌握的核心能力

1.掌握Spark的RDD、DAG、CheckPoint等設計思想；
2.掌握SparkSQL結構化數據處理，Spark On Hive；
3.掌握Structured Streaming整合多數據源完成實時數據處理；
4.具備Spark全棧開發能力，滿足大數據行業多場景統一技術棧的數據開發，提供就業核心競爭力；
5.快速搭建保險行業大數據平臺；
6.基于Hive+Spark SQL搭建離線數據倉庫；
7.基于SparkSQL應對輕松應對復雜的迭代計算；
8.完成基于國內頭部保險公司大數據項目開發；
9.掌握基于Spark分析12億報單表和8千萬客戶等數據；
10.對保單匯總計算（業務發展類指標，成本費用類指標等），并向業務人員做數據展示。

主要內容

可掌握的核心能力

1.掌握Redis原理及架構、命令操作、及數據結構；
2.掌握HBase原理及架構，HBase命令操作、MapReduce編程；
3.掌握Phoneix二級索引優化查詢；
4.掌握ELK開發掌握Kafka原理及架構；
5.掌握Flume原理及架構，掌握HBase原理及架構；
6.掌握HBase命令操作、MapReduce編程；
7.掌握Phoneix二級索引優化查詢；
8.掌握ELK開發掌握Kafka原理及架構；
9. SparkSQL整合ES自定義數據源；
10. DS任務界面化調度；
11. 用戶畫像標簽構建規則，用戶畫像規則類標簽構建，用戶畫像統計類標簽構建。

主要內容

可掌握的核心能力

1.湖倉一體化解決方案基于Flink+Hudi湖倉一體技術架構；
2.基于FlinkCDC完成MySQL等數據源的數據采集；
3.FlinkSQL流批一體架構實現實時數據計算；
4.使用Apache Doris進行海量多維分析；
5.掌握數據報表分析；
6.掌握業務數據實時大屏場景實現。