-
以用戶畫像解決方案為例：
常見用戶畫像解決方案的問題
1缺乏完整的標簽體系
2無法應對大數據量情況下標簽計算
3無法在企業數倉和畫像解耦
4沒有統一標簽管理界面問題
5無法在標簽管理整合標簽調度任務
6代碼缺乏重構，重復代碼冗余復雜
7代碼東拼西湊、臃腫不堪
黑馬用戶畫像解決方案的優點
1多行業多場景用戶畫像標簽體系構建
2Spark框架處理PB級數據量標簽計算解決方案
3機器學習場景下的挖掘類標簽構建方案
4海量標簽存儲和調度方案
5獨立畫像數據接入平臺方案
6大規模數據集下標簽任務提交相關資源分配方案
7統一完整的標簽管理平臺方案
8重構項目代碼，專注于核心業務開發
-
以ETL解決方案為例：
常見ETL方案的問題
1單一工具ETL數據抽取
2缺乏元數據管理，溯源體系
3缺乏ETL過程監控
4缺乏數據模型映射
5狀態耦合，無法并行運行
6解決方案零碎且不完善
黑馬ETL解決方案的優點
1獨立研發Python ETL工具
2具備完整的元數據管理體系
3海量數據ETL全流程監控管理
4完備的代碼構建數據模型映射
5無狀態多進程并行執行，提高執行效率
6完整企業級大規模數據ETL解決方案
-
以數據倉庫解決方案為例：
常見數據倉庫方案的問題
1缺乏完整的流程涵蓋
2無法支撐海量數據
3建模不清晰邏輯混亂
4歷史快照的存儲過大或查詢復雜性能低
5對于增量過程缺少針對性優化方案
6異構數據源間無法關聯分析、即席查詢
7缺乏重構，表/字段/代碼重復冗余復雜
黑馬數據倉庫解決方案的優點
1包含了需求分析、設計轉換、研發優化、腳本調度到部署維護整套方案
2針對海量數據的問題有一系列的優化方案
3數倉分層和數倉建模規則清晰統一
4歷史快照存儲小查詢快性能高
5對增量過程有針對性的優化措施
6解決了異構數據源間的關聯分析、即席查詢問題
7重構項目代碼，專注于核心業務開發
-
以推薦系統解決方案為例：
常見推薦系統方案的問題
1普通單機版推薦系統，無法應對大規模用戶推薦場景
2缺乏多商品召回
3缺乏推薦系統精排階段
4無法應對實時推薦
5缺乏人工規則過濾場景
6沒有實現用戶畫像平臺和推薦系統平臺對接
黑馬推薦系統解決方案的優點
1PB級數據量場景下推薦系統解決方案
2擁有多路召回源，形成多樣化的商品列表
3機器學習+深度學習的精排方案，準確為用戶推薦商品
4大型分布式應用海量用戶的實時推薦
5完備的人工過濾規則，更好的達到推薦效果
6用戶畫像平臺作為推薦系統平臺數據接入，實現更加個性化推薦
Python+大數據
Python+大數據開發 0基礎登錄IT「薪」賽道
為什么學大數據？
搶占大數據紅利
從Python入局0基礎起點
學習+就業全規劃
從入門到就業 打造實力派數據工程師
課程與時俱進，不斷融入熱門技術
-
大數據開發入門1
Linux 基本命令用戶管理VI權限管理網絡管理SSH
MySQL DDLDMLDQL多表查詢分組查詢約束
Kettle 數據轉換腳本組件Job開發
BI工具 基本操作常用圖表儀表板
階段案例實戰
* 傳統數據倉庫實戰
-
大數據核心基礎2
Zookeeper 架構原理存儲模型ZK集群搭建選舉機制
Hadoop HDFS HDFS架構Block塊存儲讀寫流程NameNodeDataNode高可用集群
Hadoop MapReduce 核心原理執行流程Shuffle機制
Hadoop YARN YARN組件架構原理執行流程調度器
Hive HQL數據類型分區分桶拉鏈表元數據數據壓縮存儲格式原理架構性能優化
階段案例實戰
* 社交APP案例實戰 -
千億級數倉技術3
CDH CM架構組件構建CM實操
基于阿里數倉分層架構 ODSDIMDWSDWDDMADS
Hive + Presto 架構原理SQL調優集群構建
Hive 性能調優 數據傾斜JOIN調優HIVE索引
調度 DSAzkabanOozie
階段項目實戰
* 在線教育大數據數倉 * 新零售大數據數倉
-
PB級內存計算4
Python編程 基本語法數據結構函數面向對象異常處理模塊與包網絡編程多進程多線程閉包裝飾器迭代器
Spark 架構原理Spark RDDSpark DFSpark DAGSpark SQL內存迭代性能調優任務調度Pandas on SparkSpark on HiveSpark ShuffleSpark 3.x 新特性
階段項目實戰
* 工業項目實戰 * 保險大數據實戰
-
亞秒級實時計算5
Flink Core 架構原理批流一體Window操作State操作DataStreamCheckpointFlink SQL任務調度負載均衡狀態管理Runtime執行計劃Flink性能監控與調優Flink + ElasticsearchFlink + KafkaFlink + PulsarFlink + ClickHouseFlink + Doris
階段項目實戰
* 車聯網項目實戰 * 金融證券項目實戰
-
大廠面試6
數據結構 棧樹圖數組鏈表哈希表
高頻算法 排序查找數組字符串鏈表棧隊列二叉樹回溯動態規劃貪心復雜度
面試真題 編程語言SQLHadoop生態HiveSparkFlink
大廠架構 美團點評數倉架構小米大數據架構平安大數據架構
不同起點學生 學后各有收獲
- 0基礎急速提升
- 應屆生入行、長線發展
- 轉崗快速上手
- 初級工程師跳槽 / 升職
漸進式課程內容 助你從小白蛻變為數字精英
Python+大數據開發課程大綱
Python編程基礎
Python編程進階
SQL基礎
ETL實戰
Hadoop技術棧
千億級離線數倉項目
千億級離線數倉項目實戰
Spark技術棧
用戶畫像解決方案
PB級內存計算項目實戰
就業指導&就業加強
Flink技術棧
亞秒級實時計算項目
查看詳細課程大綱>Python編程基礎課時：8天
主要內容
· Python基礎語法· Python數據處理· 函數· 文件讀寫· 異常處理· 模塊和包
可解決的現實問題
熟練掌握Python語言，建立編程思維，使學員能夠熟練使用Python技術完成程序編寫。
可掌握的核心能力
1.掌握Python開發環境基本配置；
2.掌握運算符、表達式、流程控制語句、數組等的使用；
3.掌握字符串的基本操作；
4.初步建立面向對象的編程思維；
5.熟悉異常捕獲的基本流程及使用方式；
6.掌握類和對象的基本使用方式。
查看詳細課程大綱>Python編程進階課時：8天
主要內容
· 面向對象· 網絡編程· 多任務編程· 高級語法· Python編程綜合項目
可解決的現實問題
熟練使用Python面向對象程序設計思想，掌握數據開發必備Python高級語法，解決常見Python開發問題。
可掌握的核心能力
1.掌握網絡編程技術，能夠實現網絡通訊；
2.知道通訊協議原理；
3.掌握開發中的多任務編程實現方式；
4. 知道多進程多線程的原理。
查看詳細課程大綱>SQL基礎課時：4天
主要內容
· MySQL與SQL· Kettle與BI工具· Pymysql
可解決的現實問題
熟練掌握MySQL\SQL、Kettle以及BI工具使用，能夠解決傳統數倉業務開發任務。
可掌握的核心能力
1. 掌握MySQL數據庫的使用；
2. 掌握SQL語法；
3. 掌握Kettle數據遷移工具的使用；
4. 熟練使用BI可視化工具；
5. 對數據開發有一定認知，掌握BI工程師所具備的基本技能。
查看詳細課程大綱>ETL實戰課時：6天
主要內容
· ETL概念與工具· Python ETL實戰· BI
可解決的現實問題
掌握Python完成數據ETL實戰，能夠解決中小型數據量數據處理相關任務。
可掌握的核心能力
1. 掌握ETL的相關概念；
2. 掌握基于Python語言完成ETL任務開發實戰；
3. 基于ETL實戰鍛煉Python編程能力，包括（元數據管理、數據模型、項目配置、單元測試、工具方法抽取等）；
4. 掌握BI數據分析實戰。
查看詳細課程大綱>Hadoop技術棧課時：11天
主要內容
· Linux· 大數據基礎和硬件介紹· Zookeeper· HDFS· MapReduce· YARN· Hive基礎· Hive高階
可解決的現實問題
熟悉Linux操作系統，以及各種Linux命令，能夠解決企業級大數據集群搭建問題，為進階大數據開發奠定基礎。
可掌握的核心能力
1.掌握Linux常用命令，為數據開發后續學習打下的良好基礎；
2.掌握大數據的核心框架Hadoop以及其生態體系，完成HDFS、MapReduce及Yarn機制基本理解與使用；能顧搭建Hadoop高可用HA集群；
3.掌握Hive的使用和調優；
4.具備Hadoop開發能力、離線數據倉庫開發能力；
5.能夠完成基本構建企業級數倉。
查看詳細課程大綱>千億級離線數倉項目課時：11天
主要內容
· 大數據部署運維：Cloudera Manager· 分析決策需求：數據倉庫· 數據采集：sqoop· 數據分析：Hive· 歷史數據快照：拉鏈表· 數據更新后的統計分析：拉鏈表· 數據調度：oozie+shell· OLAP系統存儲：MySQL· FineBI數據展示
可解決的現實問題
能夠解決企業級常見數據倉庫搭建，從項目的需求、技術架構、業務架構、部署平臺、ETL設計、作業調度等整套pipeline，完成大數據體系下的企業級數據倉庫構建。
可掌握的核心能力
1.掌握零售行業離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程；
2.行業內首個深度使用Presto的項目；
3.包括海量數據場景下如何優化配置；
4.拉鏈表的具體應用；
5.新增數據和更新數據的抽取和分析；
6.提供新零售大型商超集團的數據存儲分析以及服務監控方案。
查看詳細課程大綱>千億級離線數倉項目實戰課時：5天
主要內容
· 大數據部署運維：Cloudera Manager· 分析決策需求：數據倉庫· 數據采集：sqoop· 數據分析：Hive+presto· 歷史數據快照：拉鏈表· 數據更新后的統計分析：拉鏈表· 數據調度：ds· OLAP系統存儲：MySQL· FineBI數據展示
可解決的現實問題
按照企業級大數據開發流程，獨立完成項目開發，掌握企業級多場景大數據離線數倉開發能力，從數倉分層，數倉建模，指標統計，指標展示完成完整的大數據項目。
可掌握的核心能力
1.掌握教育行業離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程；
2.真實業務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業中的核心競爭力；
3.包括海量數據場景下如何優化配置；
4.拉鏈表的具體應用；
5.新增數據和更新數據的抽取和分析；
6.Hive函數的具體應用；
7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能。
查看詳細課程大綱>Spark技術棧課時：10天
主要內容
· Pandas基礎· Pandas數據處理實戰· Spark基礎· Spark Core· Spark SQL· SparkSQL案例· Kafka· Elasticsearch
可解決的現實問題
掌握全球熱門的Spark技術棧，通過SparkCore和SparkSQL解決數據處理與統計分析工作，進階高級大數據開發工程師。
可掌握的核心能力
1.掌握Spark的RDD、DAG、CheckPoint等設計思想；
2.掌握SparkSQL結構化數據處理，Spark On Hive；
3.掌握Structured Streaming整合多數據源完成實時數據處理；
4.具備Spark全棧開發能力，滿足大數據行業多場景統一技術棧的數據開發，提供就業核心競爭力。
查看詳細課程大綱>用戶畫像解決方案課時：8天
主要內容
· 1SparkSQL整合ES自定義數據源· DS任務界面化調度· 用戶畫像標簽構建規則· 用戶畫像規則類標簽構建· 用戶畫像統計類標簽構建
可解決的現實問題
項目提供了全行業用戶畫像解決方案, 使用SparkSQL+ES+DS構建企業級用戶畫像，通過SparkSQL+MySQL構建通用行業用戶畫像標簽體系。
可掌握的核心能力
1. SparkSQL整合ES自定義數據源；
2. DS任務界面化調度；
3. 用戶畫像標簽構建規則；
4. 用戶畫像規則類標簽構建；
5. 用戶畫像統計類標簽構建。
查看詳細課程大綱>PB級內存計算項目實戰課時：5天
主要內容
項目核心架構和業務流程、Hive數倉建模 、Sqoop數據同步開發 DolphinScheduler任務調度、使用lag，sum等窗口函數 、使用UDAF函數計算有效保單數字段、計算現金價值、計算和準備金、分區表的使用 、指標匯總計算 、Shuffle優化。
可解決的現實問題
基于Spark全棧技術構建企業級大數據開發平臺，學生分組獨立完成項目實戰，能夠勝任常見大數據平臺開發工作，助力企業實現數字化轉型
可掌握的核心能力
1.快速搭建保險行業大數據平臺；
2.基于Hive+Spark SQL搭建離線數據倉庫；
3.基于SparkSQL應對輕松應對復雜的迭代計算；
4.完成基于國內頭部保險公司大數據項目開發；
5.掌握基于Spark分析12億報單表和8千萬客戶等數據；
6.對保單匯總計算（業務發展類指標，成本費用類指標等），并向業務人員做數據展示。
查看詳細課程大綱>就業指導&就業加強課時：5天
主要內容
· SQL實戰· Hive數據分析與面試題加強· Spark數據分析與面試題加強· NoSQL數據分析與面試題加強· 大數據多行業架構剖析
可解決的現實問題
對學習的內容進行整體回顧，并分析經典面試題，指導簡歷，面試和溝通技巧助力高薪offer。
可掌握的核心能力
1.強化面試就業核心面試題；
2.梳理大數據架構及解決方案；
3.剖析多行業大數據架構。
查看詳細課程大綱>Flink技術棧課時：6天
主要內容
· Flink Core· Flink DataStream· Flink SQL· Flink Runtime· Flink高級· Flink電商案例實戰
可解決的現實問題
掌握當下熱門的流批一體化分布式計算框架Flink及其生態，解決實時計算經典場景問題，適應市場對Flink越發增長的需求。
可掌握的核心能力
1.掌握基于Flink進行實時和離線數據處理、分析；
2.掌握基于Flink的多流并行處理技術；
3.掌握千萬級高速實時采集技術。
查看詳細課程大綱>亞秒級實時計算項目課時：8天
主要內容
· Flink· FlinkSQL· FlinkCDC· Doris· Hudi· Hudi on Hive FIneBI
可解決的現實問題
采集超過千萬條在線視頻的數據，實時高性能海量數據分析與存儲業務數據實時大屏場景實現。
可掌握的核心能力
1.湖倉一體化解決方案基于Flink+Hudi湖倉一體技術架構；
2.基于FlinkCDC完成MySQL等數據源的數據采集；
3.FlinkSQL流批一體架構實現實時數據計算；
4.使用Apache Doris進行海量多維分析；
5.掌握數據報表分析；
6.掌握業務數據實時大屏場景實現。
Python編程基礎
Python編程進階
SQL基礎
ETL實戰
Hadoop技術棧
千億級離線數倉項目
千億級離線數倉項目實戰
Spark技術棧
用戶畫像解決方案
PB級內存計算項目實戰
就業指導&就業加強
Flink技術棧
亞秒級實時計算項目
查看詳細課程大綱>Python編程基礎課時：8天
主要內容
· Python基礎語法· Python數據處理· 函數· 文件讀寫· 異常處理· 模塊和包
可解決的現實問題
熟練掌握Python語言，建立編程思維，使學員能夠熟練使用Python技術完成程序編寫。
可掌握的核心能力
1.掌握Python開發環境基本配置；
2.掌握運算符、表達式、流程控制語句、數組等的使用；
3.掌握字符串的基本操作；
4.初步建立面向對象的編程思維；
5.熟悉異常捕獲的基本流程及使用方式；
6.掌握類和對象的基本使用方式。
查看詳細課程大綱>Python編程進階課時：8天
主要內容
· 面向對象· 網絡編程· 多任務編程· 高級語法· Python編程綜合項目
可解決的現實問題
熟練使用Python面向對象程序設計思想，掌握數據開發必備Python高級語法，解決常見Python開發問題。
可掌握的核心能力
1.掌握網絡編程技術，能夠實現網絡通訊；
2.知道通訊協議原理；
3.掌握開發中的多任務編程實現方式；
4. 知道多進程多線程的原理。
查看詳細課程大綱>SQL基礎課時：4天
主要內容
· MySQL與SQL· Kettle與BI工具· Pymysql
可解決的現實問題
熟練掌握MySQL\SQL、Kettle以及BI工具使用，能夠解決傳統數倉業務開發任務。
可掌握的核心能力
1. 掌握MySQL數據庫的使用；
2. 掌握SQL語法；
3. 掌握Kettle數據遷移工具的使用；
4. 熟練使用BI可視化工具；
5. 對數據開發有一定認知，掌握BI工程師所具備的基本技能。
查看詳細課程大綱>ETL實戰課時：6天
主要內容
· ETL概念與工具· Python ETL實戰· BI
可解決的現實問題
掌握Python完成數據ETL實戰，能夠解決中小型數據量數據處理相關任務。
可掌握的核心能力
1. 掌握ETL的相關概念；
2. 掌握基于Python語言完成ETL任務開發實戰；
3. 基于ETL實戰鍛煉Python編程能力，包括（元數據管理、數據模型、項目配置、單元測試、工具方法抽取等）；
4. 掌握BI數據分析實戰。
查看詳細課程大綱>Hadoop技術棧課時：11天
主要內容
· Linux· 大數據基礎和硬件介紹· Zookeeper· HDFS· MapReduce· YARN· Hive基礎· Hive高階
可解決的現實問題
熟悉Linux操作系統，以及各種Linux命令，能夠解決企業級大數據集群搭建問題，為進階大數據開發奠定基礎。
可掌握的核心能力
1.掌握Linux常用命令，為數據開發后續學習打下的良好基礎；
2.掌握大數據的核心框架Hadoop以及其生態體系，完成HDFS、MapReduce及Yarn機制基本理解與使用；能顧搭建Hadoop高可用HA集群；
3.掌握Hive的使用和調優；
4.具備Hadoop開發能力、離線數據倉庫開發能力；
5.能夠完成基本構建企業級數倉。
查看詳細課程大綱>千億級離線數倉項目課時：11天
主要內容
· 大數據部署運維：Cloudera Manager· 分析決策需求：數據倉庫· 數據采集：sqoop· 數據分析：Hive· 歷史數據快照：拉鏈表· 數據更新后的統計分析：拉鏈表· 數據調度：oozie+shell· OLAP系統存儲：MySQL· FineBI數據展示
可解決的現實問題
能夠解決企業級常見數據倉庫搭建，從項目的需求、技術架構、業務架構、部署平臺、ETL設計、作業調度等整套pipeline，完成大數據體系下的企業級數據倉庫構建。
可掌握的核心能力
1.掌握零售行業離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程；
2.行業內首個深度使用Presto的項目；
3.包括海量數據場景下如何優化配置；
4.拉鏈表的具體應用；
5.新增數據和更新數據的抽取和分析；
6.提供新零售大型商超集團的數據存儲分析以及服務監控方案。
查看詳細課程大綱>千億級離線數倉項目實戰課時：5天
主要內容
· 大數據部署運維：Cloudera Manager· 分析決策需求：數據倉庫· 數據采集：sqoop· 數據分析：Hive+presto· 歷史數據快照：拉鏈表· 數據更新后的統計分析：拉鏈表· 數據調度：ds· OLAP系統存儲：MySQL· FineBI數據展示
可解決的現實問題
按照企業級大數據開發流程，獨立完成項目開發，掌握企業級多場景大數據離線數倉開發能力，從數倉分層，數倉建模，指標統計，指標展示完成完整的大數據項目。
可掌握的核心能力
1.掌握教育行業離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程；
2.真實業務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業中的核心競爭力；
3.包括海量數據場景下如何優化配置；
4.拉鏈表的具體應用；
5.新增數據和更新數據的抽取和分析；
6.Hive函數的具體應用；
7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能。
查看詳細課程大綱>Spark技術棧課時：10天
主要內容
· Pandas基礎· Pandas數據處理實戰· Spark基礎· Spark Core· Spark SQL· SparkSQL案例· Kafka· Elasticsearch
可解決的現實問題
掌握全球熱門的Spark技術棧，通過SparkCore和SparkSQL解決數據處理與統計分析工作，進階高級大數據開發工程師。
可掌握的核心能力
1.掌握Spark的RDD、DAG、CheckPoint等設計思想；
2.掌握SparkSQL結構化數據處理，Spark On Hive；
3.掌握Structured Streaming整合多數據源完成實時數據處理；
4.具備Spark全棧開發能力，滿足大數據行業多場景統一技術棧的數據開發，提供就業核心競爭力。
查看詳細課程大綱>用戶畫像解決方案課時：8天
主要內容
· 1SparkSQL整合ES自定義數據源· DS任務界面化調度· 用戶畫像標簽構建規則· 用戶畫像規則類標簽構建· 用戶畫像統計類標簽構建
可解決的現實問題
項目提供了全行業用戶畫像解決方案, 使用SparkSQL+ES+DS構建企業級用戶畫像，通過SparkSQL+MySQL構建通用行業用戶畫像標簽體系。
可掌握的核心能力
1. SparkSQL整合ES自定義數據源；
2. DS任務界面化調度；
3. 用戶畫像標簽構建規則；
4. 用戶畫像規則類標簽構建；
5. 用戶畫像統計類標簽構建。
查看詳細課程大綱>PB級內存計算項目實戰課時：5天
主要內容
項目核心架構和業務流程、Hive數倉建模 、Sqoop數據同步開發 DolphinScheduler任務調度、使用lag，sum等窗口函數 、使用UDAF函數計算有效保單數字段、計算現金價值、計算和準備金、分區表的使用 、指標匯總計算 、Shuffle優化。
可解決的現實問題
基于Spark全棧技術構建企業級大數據開發平臺，學生分組獨立完成項目實戰，能夠勝任常見大數據平臺開發工作，助力企業實現數字化轉型
可掌握的核心能力
1.快速搭建保險行業大數據平臺；
2.基于Hive+Spark SQL搭建離線數據倉庫；
3.基于SparkSQL應對輕松應對復雜的迭代計算；
4.完成基于國內頭部保險公司大數據項目開發；
5.掌握基于Spark分析12億報單表和8千萬客戶等數據；
6.對保單匯總計算（業務發展類指標，成本費用類指標等），并向業務人員做數據展示。
查看詳細課程大綱>就業指導&就業加強課時：5天
主要內容
· SQL實戰· Hive數據分析與面試題加強· Spark數據分析與面試題加強· NoSQL數據分析與面試題加強· 大數據多行業架構剖析
可解決的現實問題
對學習的內容進行整體回顧，并分析經典面試題，指導簡歷，面試和溝通技巧助力高薪offer。
可掌握的核心能力
1.強化面試就業核心面試題；
2.梳理大數據架構及解決方案；
3.剖析多行業大數據架構。
查看詳細課程大綱>Flink技術棧課時：6天
主要內容
· Flink Core· Flink DataStream· Flink SQL· Flink Runtime· Flink高級· Flink電商案例實戰
可解決的現實問題
掌握當下熱門的流批一體化分布式計算框架Flink及其生態，解決實時計算經典場景問題，適應市場對Flink越發增長的需求。
可掌握的核心能力
1.掌握基于Flink進行實時和離線數據處理、分析；
2.掌握基于Flink的多流并行處理技術；
3.掌握千萬級高速實時采集技術。
查看詳細課程大綱>亞秒級實時計算項目課時：8天
主要內容
· Flink· FlinkSQL· FlinkCDC· Doris· Hudi· Hudi on Hive FIneBI
可解決的現實問題
采集超過千萬條在線視頻的數據，實時高性能海量數據分析與存儲業務數據實時大屏場景實現。
可掌握的核心能力
1.湖倉一體化解決方案基于Flink+Hudi湖倉一體技術架構；
2.基于FlinkCDC完成MySQL等數據源的數據采集；
3.FlinkSQL流批一體架構實現實時數據計算；
4.使用Apache Doris進行海量多維分析；
5.掌握數據報表分析；
6.掌握業務數據實時大屏場景實現。
項目驅動式教學 還原真實職場氛圍
鍛煉學生實戰能力，入職即能快速上手
依托于大型項目庫14大行業、16個“大廠級”項目、
400+業務指標 220+技術點、真實業務數據
高標準企業級開發流程
全流程項目實戰項目啟動＞團隊需求分析＞實戰方案設計
＞ 小組PK＞項目匯報答辯＞復盤
- 新零售離線數倉
- 電商用戶畫像
- 在線教育湖倉一體
- 車聯網實時數倉
- 金融保險離線數倉
-
項目介紹：該項目基于國內大型新零售巨頭開發的大數據平臺，基于高性能解決方案構建離線數倉，包括銷售、會員、商品等主題，每個主題涵蓋大量真實的業務場景。項目采用Hive+Presto架構構建高性能的離線處理方案，包括CM自動部署與配置、數據倉庫建模、數倉架構分層、Hive的使用和調優、Presto使用與調優、拉鏈表歷史快照、更新數據的增量計算、Python-ETL自研系統、主流ETL開源系統、Shell腳本、Python腳本、Dolphinscheduler調度、全量增量完整流程實現等。
核心解決方案：數據倉庫分層設計方案、數據倉庫建模方案、異構數據源間的關聯分析、即席查詢解決方案、歷史快照的存儲、更新和查詢方案、增量數據的優化方案
進入項目體驗300+指標數量1000萬數據量20個解決方案10天課程天數
-
項目介紹：該項目基于垂直電商平臺構建的用戶全方位畫像，完整抽取出一個用戶的信息全貌業務圍繞商品、訂單、用戶基礎信息及行為信息等數據，實現用戶和商品基礎標簽、組合標簽、微觀畫像、標簽查詢等業務場景,提供了企業級多方位業務決策分析。標簽體系中包涵了基礎類標簽，規則類標簽，挖掘類標簽及組合類標簽，為企業數據決策及推薦系統提供支持。項目擁有完備的標簽管理平臺，數據接入平臺，標簽計算平臺和調度平臺等。
核心解決方案：用戶分群畫像解決方案、Lambda架構流批方案、Spark+ES+Hadoop生態圈技術棧
進入項目體驗200個指標數量3000萬數據量10個解決方案9天課程天數
-
項目介紹：湖倉一體化項目基于在線教育行業實時數據處理和分析。項目采用流處理計算引擎Flink，實時處理千萬數據量的視頻流數據，基于FlinkCDC完成MySQL等數據源的數據采集，通過Hudi On Hive構建湖倉一體架構，結合數據湖和數據倉庫優勢，建立湖倉一體化，進而解決了數據湖的局限性。直接在用于數據湖的低成本存儲上實現與數據倉庫中類似的數據結構和數據管理功能。項目采用Hive實現離線數據計算，采用FlinkSQL實現實時數據計算，使用流行OLAP的Doris進行海量多維分析，最終實現在在線教育行業實時分析指標體系構建。
核心解決方案：數據倉庫運維方案、數據倉庫建模方案、歷史快照的存儲、更新和查詢方案、增量數據的優化方案
進入項目體驗110個指標數量1500萬數據量15個解決方案8天課程天數
-
項目介紹：車聯網項目涵蓋完整車聯網業務場景，包含駕駛行程、電子圍欄、遠程診斷等真實業務，通過 QBOX 車輛終端數據收集，并解析為 QSP 數據、QCS 數據、充電數據、HU 數據，提供實時計算服務與離線計算服務，并通過 API 接口以報表和大屏展示分析結果數據。
核心解決方案：車輛網行業解決方案、Flink+Kafka實時數倉(ODS/DWD/DWS/ADS)、CK（Clickhouse）即席查詢
進入項目體驗161個指標數量1800萬/15分鐘數據量15個解決方案8天課程天數
-
項目介紹：保險精算項目需要計算海量明細保單數據，以便生成財務報表。項目使用SparkSQL來計算，時效變快，增強保險公司的商業信譽。項目將多部門的業務數據庫同步到hive數據集市，使用SparkSQL加載源數據表（保單表12億保單，客戶表8千萬客戶等），計算保單的保費、現金價值、準備金等明細，提供給財務部門收費或支出，對保單匯總計算（業務發展類指標，成本費用類指標等），并向業務人員做數據展示。
核心解決方案：保險項目核心解決方案、SparkSQL一站式解決迭代計算、基于SparkSQL的離線數倉分層(ODS/DW/APP)
進入項目體驗120個指標數量10億數據量10個解決方案8天課程天數
開發不必從零開始 解決方案拿來即用
大廠教研師資團隊 全程陪伴帶你乘風破浪
引進京東、百度、小米、搜狐、360、途牛、平安、德邦、上交所等大廠背景師資，更有多位Apache社區源碼貢獻者隨堂授課
-
張老師Apache Flink源碼貢獻者
擅長實時計算領域 -
趙老師985計算機碩士
擅長大數據/人工智能技術方向 -
李老師985計算機碩士
Apache Doris社區貢獻者 -
曹老師Apache Flink源碼貢獻者
擅長大數據云平臺技術領域 -
趙老師Apache Pulsar社區貢獻者
擅長數倉領域 -
康老師985碩士
擅長數據庫與數據挖掘技術領域 -
原老師北京大學計算機碩士
擅長大數據/人工智能領域技術 -
孔老師Apache DolphinScheduler社區貢獻者
擅長離線數倉領域 -
朱老師985計算機碩士
擅長大數據/人工智能方向
百萬級課程環境配置 大規模真數據體驗
學習大數據，你見過真的海量數據嗎？你操作過真的【大規模集群】嗎？你接觸過真的【云服務】嗎？這一切，在黑馬程序員都將實現真接觸！
黑馬程序員與知名云平臺廠商—UCloud達成深度合作。為學生提供大規模服務器
集群進行實戰，硬件規模達到：
真正讓每個學生都能接觸【真·大規模集群】和【真·大規模數據】
Python+大數據開發 免費教程資源分享
Python+大數據課程體系V3.0
聚集多位Apache?社區貢獻者及大廠技術講師，聯合推出行業重磅Python大數據V3.0課程，通過5-6個月學習進階數據開發工程師，獲取3-4年開發經驗，對標高級數據開發工程師
Python+大數據V3.0學習路線概覽
第一階段第二階段第三階段第四階段第五階段
Python編程基礎 Python編程進階 SQL基礎 項目一 ETL實戰 Hadoop技術棧
第六階段第七階段第八階段第九階段
項目二 千億級離線數倉項目 項目三 千億級離線數倉項目實戰 Spark技術棧 項目四 用戶畫像解決方案
第十階段第十一階段第十二階段第十三階段第十四階段
升級V3.0課程亮點：
- 六項目制，40+天項目占比對標企業實際招聘需求，采用六個不同行業大數據項目，覆蓋從離線到實時計算場景，更好的匹配學員能力
- 大廠級技術解決方案，Apache貢獻者領銜授課課程覆蓋了數字化轉型企業主流的技術和業務解決方案。
6個技術解決方案：包括ETL、離線數倉、用戶畫像、Lambda架構、Kappa架構、湖倉一體等；
多個業務解決方案：包括國內大型商超新零售、金融保險、金融證券、物流倉儲、航空、電商、出行、教育、物聯網等領域
敢以班級為單位公開就業信息的機構，只有傳智教育！通過數千班級實施和就業結果顯示，傳智教育Python+大數據開發的課程，有效大幅提升就業薪資水平！
課程大綱
-
基礎班
1. Python編程基礎
-
高手班
1. Python編程進階 2. SQL基礎 3. ETL實戰 4. Hadoop技術棧 5. 千億級離線數倉項目 6. 千億級離線數倉項目實戰 7. Spark技術棧 8. 用戶畫像解決方案 9. PB級內存計算項目實戰 10. 就業指導&就業加強 11. Flink技術棧 12. 亞秒級實時計算項目
-
進階班
1. 亞秒級實時進階課
Python+大數據課程升級版本3.0
-
Python編程基礎基礎班 1
課時:8天技術點:48項測驗:1次學習方式:線下面授
學習目標
1.掌握Python開發環境基本配置| 2.掌握運算符、表達式、流程控制語句、數組等的使用| 3.掌握字符串的基本操作| 4.初步建立面向對象的編程思維| 5.熟悉異常捕獲的基本流程及使用方式| 6.掌握類和對象的基本使用方式
主講內容
1. Python基礎語法零基礎學習Python的開始，包含了以下技術點：
01_變量| 02_標識符和關鍵字| 03_輸入和輸出| 04_數據類型轉換| 05_PEP8編碼規范| 06_比較/關系運算符| 07_if判斷語句語法格式| 08_三目運算符| 09_while語句語法格式| 10_while 循環嵌套| 11_break 和 continue| 12_while 循環案例| 13_for循環
2. Python數據處理掌握Python的數據類型，并對其進行操作處理，包含了以下技術點：
01_字符串定義語法格式| 02_字符串遍歷| 03_下標和切片| 04_字符串常見操作| 05_列表語法格式| 06_列表的遍歷| 07_列表常見操作| 08_列表嵌套| 09_列表推導式| 10_元組語法格式| 11_元組操作| 12_字典語法格式| 13_字典常見操作| 14_字典的遍歷
3. 函數能夠實現Python函數的編寫，包含了以下技術點：
01_函數概念和作用、函數定義、調用| 02_函數的參數| 03_函數的返回值| 04_函數的注釋| 05_函數的嵌套調用| 06_可變和不可變類型| 07_局部變量| 08_全局變量| 09_組包和拆包、引用
4. 文件讀寫能夠使用Python對文件進行操作，包含了以下技術點：
01_文件的打開與關閉、文件的讀寫| 02_文件、目錄操作及案例| 03_os模塊文件與目錄相關操作
5. 異常處理主要介紹了在Python編程中如何處理異常，包含了以下技術點：
01_異常概念| 02_異常捕獲| 03_異常的傳遞
6. 模塊和包主要介紹了Python中的模塊和包的體系，以及如何使用模塊和包，包含了以下技術點：
01_模塊介紹| 02_模塊的導入| 03_包的概念| 04_包的導入| 05_模塊中的__all__| 06_模塊中__name__
-
Python編程進階高手班 1
課時:8天技術點:108項測驗:1次學習方式:線下面授
學習目標
1.掌握網絡編程技術，能夠實現網絡通訊| 2.知道通訊協議原理 | 3.掌握開發中的多任務編程實現方式| 4. 知道多進程多線程的原理A
主講內容
1. 面向對象從逐步建立起面向對象編程思想，再到會使用對象，到創建對象，再到真正理解為什么封裝對象，包含了以下技術點：
01_面向對象介紹| 02_類的定義和對象的創建| 03_添加和獲取對象屬性| 04_self 參數| 05_init方法| 06_繼承| 07_子類方法重寫| 08_類屬性和實例屬性| 09_類方法、實例方法、靜態方法
2. 網絡編程主要學習通訊協議，以及Python實現TCP、HTTP通訊，包含了以下技術點：
01_IP地址的介紹| 02_端口和端口號的介紹| 03_TCP的介紹| 04_Socket的介紹| 05_TCP網絡應用的開發流程| 06_基于TCP通信程序開發|
3. 多任務編程主要學習Python中多線程、多進程，包含了以下技術點：
01_多任務介紹| 02_多進程的使用| 03_多線程的使用| 04_線程同步
4. 高級語法主要學習Python的高級語法，包含以下技術點：
01_閉包| 02_裝飾器| 03_迭代器| 04_深淺拷貝| 05_正則
5. Python編程綜合項目通過前邊所學知識，完成綜合案例，鍛煉編程能力、培養編程思維
01_Python編程綜合項目
-
SQL基礎高手班 2
課時:4天技術點:70項測驗:1次學習方式:線下面授
學習目標
1. 掌握MySQL數據庫的使用| 2. 掌握SQL語法| 3. 掌握Kettle數據遷移工具的使用| 4. 熟練使用BI可視化工具| 5. 對數據開發有一定認知，掌握BI工程師所具備的基本技能
主講內容
1. MySQL與SQL零基礎小白通過MySQL數據庫，掌握核心必備SQL，包含了以下技術點：
01_數據庫概念和作用| 02_MySQL數據類型| 03_數據完整性和約束| 04_數據庫、表基本操作命令| 05_表數據操作命令| 06_where子句| 07_分組聚合| 08_連接查詢| 09_外鍵的使用
2. Kettle與BI工具使用Kettle做數據遷移，通過BI工具展示excel、MySQL中的數據，包含了以下技術點：
01_Kettle基本操作| 02_Kettle數據轉換| 03_Kettle使用SQL腳本組件| 04_kettle Job開發| 05_FineBI基本操作| 06_FineBI常用圖表| 07_FineBI儀表板| 08_綜合案例
3. PymysqlPython與數據庫交互，主要學習PyMySQL包
01. 環境搭建| 02. Python操作數據庫
-
ETL實戰高手班 3
課時:6天技術點:48項測驗:0次學習方式:線下面授
學習目標
1. 掌握ETL的相關概念| 2. 掌握基于Python語言完成ETL任務開發實戰| 3. 基于ETL實戰鍛煉Python編程能力，包括（元數據管理、數據模型、項目配置、單元測試、工具方法抽取等）| 4. 掌握BI數據分析實戰
ETL項目基于國內某大型零售企業旗下出品各類收銀機為基礎，在全國十多個省份有上50萬家店鋪使用，機器通過聯網每次將售賣商品數據上傳到公司后臺.利用ETL平臺完成數據抽取轉化加載工作，助力學生達到初中級ETL工程師目標。
主講解決方案
完整PythonETL解決方案，Kettle數據采集解決方案。DS調度解決方案，基于FineBi的BI解決方案。
主講知識點
1.ETL概念與工具| 2.Python ETL實戰| 3.基于FineBI完成數據分析實戰| 4.將收銀機上傳到后臺的<訂單>數據采集到數倉中| 5.將后臺中的商品庫數據采集到數倉中| 6。將后臺的程序日志采集到數倉中
-
Hadoop技術棧高手班 4
課時:11天技術點:120項測驗:1次學習方式:線下面授
學習目標
1.掌握Linux常用命令，為數據開發后續學習打下的良好基礎| 2.掌握大數據的核心框架Hadoop以及其生態體系，完成HDFS、MapReduce及Yarn機制基本理解與使用；能顧搭建Hadoop高可用HA集群| 3.掌握Hive的使用和調優| 4.具備Hadoop開發能力、離線數據倉庫開發能力| 5.能夠完成基本構建企業級數倉
主講內容
1. Linux掌握Linux操作系統常用命令和權限管理，包含了以下技術點：
01_Linux命令使用| 02_Linux命令選項的使用| 03_遠程登錄和遠程拷貝| 04_Linux權限管理| 05_vi編輯器使用| 06_集群搭建準備
2. 大數據基礎和硬件介紹進一步闡述大數據特點與分布式思想，知識點由淺入深，包含了以下技術點：
01_大數據的特點| 02_分布式存儲概念| 03_分布式計算的概念| 04_服務器種類介紹、機架、交換機| 05_網絡拓撲、Raid、IDC數據中心
3. Zookeeper分布式軟件管家，實現了集群管理與leader選舉，包含了以下技術點：
01_Zookeeper的應用場景| 02_架構和原理| 03_存儲模型| 04_選舉機制| 05_客戶端操作| 06_ZK集群搭建
4. HDFS分布式文件系統，解決了海量數據存儲與容錯，包含了以下技術點：
01_HDFS設計的特點| 02_Master-Slave架構| 03_Block塊存儲、RF拷貝因子、機架感知| 04_Block拷貝策略、讀寫流程| 05_HDFS Federation、HDFS Snapshots、NameNode HA架構和原理| 06_HDFS管理員常用操作、HDFS權限控制| 07_HDFS普通集群以及HA集群搭建
5. MapReduce分布式計算系統，解決海量數據的計算，包含了以下技術點：
01_MapReduce架構和原理| 02_Split機制| 03_MapReduce并行度| 04_Combiner機制| 05_Partition機制、自定義Partition| 06_MapReduce序列化、自定義排序、數據壓縮
6. YARN分布式資源調度管理器，管理服務器軟件資源，包含了以下技術點：
01_Yarn原理和架構| 02_Yarn高可用| 03_Container資源的封裝（CPU、內存和IO）| 04_資源調度策略（FIFO、Fair和Capacity）| 05_YARN高可用模式搭建
7. Hive基礎數據倉庫Hive，實現企業級數倉必備工具，包含以下知識點：
01_HQL操作| 02_數據類型| 03_分區、分桶、臨時表| 04_explain執行計劃詳解
8. Hive高階數據倉庫Hive高階原理和架構深入，實現企業級數倉優化，包含以下知識點：
01_Hive原理和架構| 02_Meta Store服務| 03_HiveServer內置函數| 04_自定義UDF和UDAF| 05_數據壓縮、存儲格式、自動化腳本、常見性能優化
-
千億級離線數倉項目高手班 5
課時:11天技術點:105項測驗:0次學習方式:線下面授
學習目標
1.掌握零售行業離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程| 2.行業內深度使用Presto的項目| 3.包括海量數據場景下如何優化配置| 4.拉鏈表的具體應用| 5.新增數據和更新數據的抽取和分析| 6.提供新零售大型商超集團的數據存儲分析以及服務監控方案
本項目基于一家大型連鎖超市研發的大數據分析平臺。黑馬深度使用Presto的項目，為后續Presto相關課程的研發打下了堅實的基礎，也為學員的就業拓寬了道路；真實的數據結構，復雜的SQL實現過程，學生學習以后可以達到離線數倉的高級開發水平。
進入項目體驗主講解決方案
掌握離線數倉的分層與建模、大數據量場景下如何優化配置，拉鏈表的具體應用，新增數據的抽取和分析，更新數據的抽取和分析，以及Hive函數的具體應用等。ClouderaManager可視化、自動部署和配置、Git的CodeReview功能保證項目高質量 離線數倉的分層與建模 項目涉及20多個主題，100多個指標場景 帆軟BI企業級報表展示
主講知識點
1.大數據部署運維：Cloudera Manager 2.分析決策需求：數據倉庫 3.數據采集：sqoop 4.數據分析：Hive 5.歷史數據快照：拉鏈表 6.數據更新后的統計分析：拉鏈表 7.數據調度：oozie+shell 8.OLAP系統存儲：MySQL 9.FineBI數據展示
-
千億級離線數倉項目實戰高手班 6
課時:5天技術點:40項測驗:0次學習方式:線下面授
學習目標
1.掌握教育行業離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程| 2.真實業務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業中的核心競爭力| 3.包括海量數據場景下如何優化配置| 4.拉鏈表的具體應用| 5.新增數據和更新數據的抽取和分析| 6.Hive函數的具體應用| 7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能
1、建立集團數據倉庫，統一集團數據中心，把分散的業務數據集中存儲和處理 2、項目從需求調研、設計、版本控制、研發、測試到落地上線，涵蓋了項目的完整工序 3、挖掘分析海量用戶行為數據，定制多維數據集合，形成數據集市，供各個場景主題使用。
進入項目體驗主講解決方案
項目介紹與環境準備、數據倉庫的建模和分層、OLTP、ODS、DWD實現、Presto、DWB實現、DWS實現、DM、RPT、導出實現、Oozie架構與部署及使用。使用Hive、Presto、Oozie、數倉技術棧，提供新零售大型商超集團的數據存儲分析以及服務監控方案
主講知識點
1.大數據部署運維：Cloudera Manager 2.分析決策需求：數據倉庫 3.數據采集：sqoop 4.數據分析：Hive+presto 5.歷史數據快照：拉鏈表 6.數據更新后的統計分析：拉鏈表 7.數據調度：ds 8.OLAP系統存儲：MySQL 9.FineBI數據展示
-
Spark技術棧高手班 7
課時:10天技術點:108項測驗:1次學習方式:線下面授
學習目標
1.掌握Spark的RDD、DAG、CheckPoint等設計思想| 2.掌握SparkSQL結構化數據處理，Spark On Hive| 3.掌握Structured Streaming整合多數據源完成實時數據處理| 4.具備Spark全棧開發能力，滿足大數據行業多場景統一技術棧的數據開發，提供就業核心競爭力
主講內容
1. Pandas基礎Pandas數據處理及可視化技術，包含以下技術點：
01_ Pandas數據結構| 02_ 索引操作| 03_列名操作| 04_Dataframe數據的增刪改查操作| 05_Pandas常用計算函數
2. Pandas數據處理實戰利用所學的Python Pandas，以及可視化技術，完成數據處理項目實戰：
01_缺失值處理| 02_Pandas數據類型| 03_分組與分箱操作| 04_DF合并與變形操作| 05_DF的讀取與保存
3. Spark基礎本階段學習Spark環境搭建及以下知識點：
01_Spark基礎環境搭建| 02_Spark的Standalone環境搭建| 03_Spark的StandaloneHA搭建| 04_SparkOnYarn環境搭建
4. Spark Core整個spark框架核心部分，掌握框架內部設計思想，數據流轉步驟，是學習spark的基礎模塊，包含了以下技術點：
01_Spark架構和原理（運行機制、Driver和Executor、spark任務提交流程）| 02_RDD開發和原理（Partition、Task、RDD的依賴關系、RDD的容錯機制、RDD的存儲級別、RDD的緩存機制）廣播變量 | 03_DAG原理（DAG思想、DAG的生成、DAG的處理過程）
5. Spark SQL學習spark框架的SQL操作，spark與Hive等外部數據源的整合操作，包含了以下技術點：
01_Spark SQL架構和原理| 02_DataFrame、DataSet DSL和SQL開發| 03_Spark多數據源整合（txt、CSV、Json、parquet、JDBC、Hive）| 04_Spark SQL執行計劃原理| 05_Spark SQL性能調優
6. SparkSQL案例踐行場景式教學，運用了Spark階段知識點，使用lambda加解決數據分析的應用，包含了以下技術點：
01_Spark多場景案例實戰
-
用戶畫像解決方案高手班 8
課時:8天技術點:80項測驗:0次學習方式:線下面授
學習目標
1.SparkSQL整合ES自定義數據源| 2.DS任務界面化調度| 3.用戶畫像標簽構建規則| 4.用戶畫像規則類標簽構建| 5.用戶畫像統計類標簽構建
通過用戶畫像解決方案,完成數據存儲和分析、用戶標簽。
進入項目體驗主講解決方案
用戶畫像解決方案,主要針對于保險行業完成用戶標簽設計,提供了全行業解決方案,課程采用由淺入深,層層遞進的講解方式, 讓你輕松掌握企業級用戶畫像的使用, 使用SparkSQL+ES+DS構建企業級用戶畫像。
主講知識點
1. SparkSQL整合ES自定義數據源 2. DS任務界面化調度 3. 用戶畫像標簽構建規則 4. 用戶畫像規則類標簽構建 5. 用戶畫像統計類標簽構建
-
PB級內存計算項目實戰高手班 9
課時:5天技術點:88項測驗:0次學習方式:線下面授
學習目標
1.快速搭建保險行業大數據平臺| 2.基于Hive+Spark SQL搭建離線數據倉庫| 3.基于SparkSQL應對輕松應對復雜的迭代計算| 4.完成基于國內頭部保險公司大數據項目開發| 5.掌握基于Spark分析12億報單表和8千萬客戶等數據| 6.對保單匯總計算（業務發展類指標，成本費用類指標等），并向業務人員做數據展示| 7.離線數倉項目實戰| 8.用戶畫像項目實戰
保險精算項目需要計算海量明細保單數據，以便生成財務報表。項目使用SparkSQL來計算，時效大大提高，增強保險公司的商業信譽。項目將多部門的業務數據庫同步到Hive數據集市，使用SparkSQL加載源數據表（保單表12億保單，客戶表8千萬客戶等），計算保單的保費、現金價值、準備金等明細，提供給財務部門收費或支出，然后對保單匯總計算（業務發展類指標，成本費用類指標等），并向業務人員做數據展示。
進入項目體驗主講解決方案
項目核心架構和業務流程、Hive數倉建模 、Sqoop數據同步開發 DolphinScheduler任務調度、使用lag，sum等窗口函數 、使用UDAF函數計算有效保單數字段、計算現金價值、計算和準備金、分區表的使用 、指標匯總計算 、Shuffle優化、用戶畫像解決方案。
主講知識點
基于Spark輕松應對保險復雜的迭代計算、基于SparkSQL完成用戶畫像實戰、基于ES完成標簽存儲與檢索。
-
就業指導&就業加強高手班 10
課時:5天技術點:40項測驗:0次學習方式:線下面授
學習目標
1.強化面試就業核心面試題 2.梳理大數據架構及解決方案| 3.剖析多行業大數據架構
主講內容
1. SQL實戰解決Python大數據常見的SQL面試題，包含了以下技術點：
01_面試題必備SQL實戰| 02_SQL優化加強。
2. Hive數據分析與面試題加強解決Hive數據分析開發必備面試題，包含了以下技術點：
01_Hive基礎| 02_Hive拉鏈表| 03_Hive數據倉庫構建示例| 04_Hive面試題
3. Spark數據分析與面試題加強解決Spark開發必備面試題，包含了以下技術點：
01_Spark基礎| 02_Spark離線分析| 04_Spark面試題
4. NoSQL數據分析與面試題加強解決NoSQL常見的面試題，從消息隊列到HBase掌握關鍵原理，包含了以下技術點：
01_Kafka基礎| 02_HBase基礎| 03_HBase面試題
5. 大數據多行業架構剖析解決多行業多場景大數據架構設計，具備舉一反三設計大數據架構體系能來，包含了以下技術點：
01_數據分析流程| 02_大數據架構剖析| 03_多行業大數據架構設計| 04_大數據存儲，調度等解決方案
-
Flink技術棧高手班 11
課時:6天技術點:88項測驗:1次學習方式:線下面授
學習目標
1.掌握基于Flink進行實時和離線數據處理、分析| 2.掌握基于Flink的多流并行處理技術| 3.掌握千萬級高速實時采集技術
主講內容
1. Flink Core新一代批流統一數據處理引擎，在計算效率和性能都有很大提升，包含了以下技術點：
01_Flink基礎
2. Flink DataStream構成了Flink解決實時數據處理部分，是掌握實時數據處理必備技能，包含了以下技術點：
01_Flink DataStream的使用| 02_Kafka + Flink
3. Flink SQL解決Flink中的SQL化開發，Flink-SQL開發必備技能，包含了以下技術點：
01_Flink SQL開發| 02_Hive + Flink SQL
4. Flink Runtime是對Flink任務進行調優，必須掌握的內容，包含了以下技術點：
01_Watermark| 02_Checkpoint| 03_任務調度與負載均衡| 04_狀態管理
5. Flink高級解決Flink性能監控等高階知識，具備實時數據分析必備技能，包含以下技術點：
01_Flink性能監控| 02_Flink調優| 03_Flink SQL執行計劃
6. Flink電商案例實戰踐行場景式教學，運用了Flink階段知識點，解決實時數據分析的應用，包含了以下技術點：
01_Flume+Kafka+Flink+HBase+Sqoop+Canal+MySQL實戰
-
亞秒級實時計算項目高手班 12
課時:8天技術點:80項測驗:0次學習方式:線下面授
學習目標
1.湖倉一體化解決方案基于Flink+Hudi湖倉一體技術架構| 2.基于FlinkCDC完成MySQL等數據源的數據采集| 3.FlinkSQL流批一體架構實現實時數據計算| 4.使用Apache Doris進行海量多維分析| 5.掌握數據報表分析| 6.掌握業務數據實時大屏場景實現
基于Flink+Hudi湖倉一體技術架構，實現了在線視頻行業實時數據處理和分析。項目采用流處理計算引擎Flink，實時處理千萬數據量的視頻流數據，基于FlinkCDC完成MySQL等數據源的數據采集，通過Hudi On Hive構建湖倉一體架構，結合數據湖和數據倉庫優勢，建立湖倉一體化。
主講解決方案
Flink，FlinkSQL，FlinkCDC，Doris，Hudi，Hudi，on Hive，FIneBI。
主講知識點
采集超過千萬條在線視頻的數據，實時高性能海量數據分析與存儲業務數據實時大屏場景實現。
-
亞秒級實時進階課進階班 1
課時:106天技術點:1000項測驗:0次學習方式:線上學習
學習目標
1.線上3個月進階大數據實時開發，多行業大數據項目助力企業數字人才精英| 2.皆在成就實時開發工程師，大數據架構師等，幫助學員成為站在金字塔頂端的實時工程師
主講內容
1. 大數據Java語言大數據生態多語言開發，為進階實時數據開發奠定基礎
1_編程基礎| 2_面向對象| 3_常用類| 4_集合操作| 5_IO操作| 6_Java基礎增強| 7_JDBC| 8_Maven| 9_爬蟲案例
2. 數據采集掌握實時計算中組件，數據開發工程師重要技能
1_Flume| 2_DataX| 3_實時采集
3. NoSQL&消息中心分布式存儲和消息隊列專項課，從原理到源碼，助力多場景存儲技術架構選型，升值加薪必備技能。
1_分布式緩存Redis| 2_消息隊列Kafka| 3_Hbase| 4_ELK技術棧| 5_消息隊列Pulsar
4. 實時OLAP框架掌握實時OLAP框架，數據開發工程師重要技能。
1_實時OLAP框架ClickHouse| 2_實時OLAP框架Doris
5. 數據湖開發數據湖技術專題課程，完成湖倉一體架構進階。
1_Hudi 基礎入門篇| 2_Hudi 應用進階篇| 3_Hudi 實戰案例篇
6. Flink技術棧Apache Flink作為當下流行的實時技術，深度剖析底層原理，實現高級實時開發工程師進階。
1_Flink基礎| 2_Flink DataStream的使用| 3_Kafka + Flink| 4_Flink SQL開發| 5_Hive + Flink SQL| 6_Flink CDC| 7_Flink CEP /Flink CEP SQL| 8_Watermark| 9_Checkpoint| 10_任務調度與負載均衡| 11_狀態管理| 12_Flink性能監控
7. FlinkSQL原理到精通全網流批一體架構FlinkSQL，進階技術+業務專家。
1_Flink SQL開發| 2_Hive + Flink SQL| 3_Flink性能監控| 4_Flink調優| 5_Flink SQL執行計劃| 6_FlinkSQL案例實戰
8. 星途車聯網實時項目掌握車聯網大數據實時業務場景開發，助力物聯網行業高薪挑戰。
1_Hive| 2_HBase| 3_HDFS數據存儲| 4_Kafka數據傳輸| 5_Flink全棧數據處理| 6_Nginx做反向代理| 7_LSV和Keepalived負載均衡和高可用
9. 今日指數證券實時項目掌握金融業務數據實時場景實，助力金融行業高薪挑戰。
1_創建原始數據hbase的二級索引| 2_Flink業務分析駕駛行程劃分| 3_flink駕駛行程業務分析| 4_將實時車輛中在圍欄中的車輛信息與mysql中已存在圍欄中的車輛信息合并| 5_TimeWindow流連接廣播狀態流結果流連接省、市廣播狀態流
10. 基于DataWorks全鏈路數據開發掌握智慧出行實時項目業務數據實時場景，覆蓋全網所有DataWorks平臺大數據。
1_智慧出行實時項目業務數據實時場景異構數據源采集| 2_基于DataWorks的大數據平臺設計| 3_出行行業可視化完整架構，涵蓋全生命周期項目
11. 湖倉一體化解決方案掌握基于湖倉一體的在線視頻實時分析項目，助力大數據新技術企業應用。
1_湖倉一體完整解決方案| 2_基于Flink的在線視頻數據處理與分析| 3_基于Hidi的在線視頻數據數據湖構建
12. Flink源碼剖析全網Flink源碼課程大全，從原理到源碼，深挖技術底層，助力Flink性能調優，大數據架構師必備技能。
1_Apache Flink設計理念與基本架構| 2_Flink DataStream的設計與實現源碼分析| 3_Flink 運行時的核心原理與實現| 4_Flink 任務提交與執行| 5_狀態管理與容錯| 6_網絡通信| 7_內存管理
13. Flink二次開發掌握Flink二次開發流程，個性化解決企業大數據平臺技術選型，助力在職的你持續高薪，大數據架構師必備技能。
1_基于PyFlink的PR提交| 2_Flink的源碼二次開發流程| 3_Flink的源碼二次開發需求分析| 4_Flink的源碼二次開發實現過程| 5_PyFlink相關功能二次開發
-
Python+大數據開發 V版本課程說明
課程名稱：主要針對：主要使用開發工具：
課程介紹
9970元/月平均薪資
15900元/月最高薪資
100%就業率
58人月薪過萬
- 姓名
- 性別
- 就業時間
- 就職城市
- 就職企業
- 薪資
- 福利待遇
- 姓名
- 培訓前崗位
- 培訓前薪資
- 培訓后薪資
- 入職時間
- 入職公司
- 就職城市
*學員就業信息統計數據為數據庫中實時調取的真實相關數據，非廣告宣傳
蘇公網安備 32132202001156號