重塑大數據課程新范式

尚硅谷與騰訊云、Apache等技術企業深度合作
打造AI時代的新型大數據課程

“尚硅谷一直以高質量的教學內容在技術圈廣為傳播, 并且積極擁抱當前火熱的技術, 對開源保持密切關注和支持,深受廣大開發者喜愛! 騰訊云彈性MapReduce(EMR)是云上開源、開放的、云原生的大數據基礎分析產品,旨在助力企業客戶在云上方便、快捷以低成本的方式構建云上大數據分析基礎平臺、EMR在開源的基礎上解決了安全、組件穩定、兼容問題的同時提供了開源軟件駕駛艙的能力,以便企業客戶更好地在云上使用開源大數據組件并協助開源社區健康發展?!?

——騰訊云大數據EMR研發負責人 陳龍

“作為全球數據庫和大數據領域最為活躍的開源項目之一,Apache Doris 已受到了越來越多用戶和開發者的關注。尚硅谷出品的 Doris 系列課程對于想深度了解 Apache Doris 的大數據工程師而言無疑是個福音,由淺入深,詳盡剖析了系統原理,并且理論結合實踐、從實際項目的角度幫助大家可以更好掌握 Apache Doris 使用技巧。期待未來有更多工程師在尚硅谷課程的幫助下,幫助國人打造的優秀開源項目在全球舞臺繼續發光發熱!”

——Apache Doris PMC 張家鋒

“尚硅谷的教學視頻讓許多學習者能夠快速地了解和掌握開源項目的整體框架。你們的努力為開源社區的發展和壯大奠定了基礎,讓更多的人能夠在開源世界中成長和進步?!?

——Apache Seatunnel PMC 、Apache DolphinScheduler PMC、白鯨開源COO 聶勵峰

“尚硅谷一直以高質量的教學內容在技術圈廣為傳播, 并且積極擁抱當前火熱的技術, 對開源保持密切關注和支持,深受廣大開發者喜愛!Apache StreamPark 是一個流計算開發管理平臺, 旨在讓流處理更簡單, 社區發展日漸壯大,有著廣泛的用戶群體, 非常期待和尚硅谷再次合作, 共同打造高質量的課程, 讓企業和開發者們受益?!?

——Founder of Apache StreamPark 王華杰

“尚硅谷的課程不僅幫助各行業的開發人員快速學習并掌握核心技術,也同時為各開源項目提供手把手教學視頻,使用戶可以快速上手并在生產環境應用,推動了開源社區的發展,并讓天下再無難學的技術?!?

——Dinky PMC 亓文凱

課程優勢

  • 引入AI

    本課程全面引入AI輔助開發技巧詳解,貫穿項目實戰到技術學習各階段。探索教育黑科技,永遠追求行業更高標準。大數據乘上AI的翅膀,飛往更遼闊的遠方!

  • 雄厚師資

    專職講師全程面授,多家企業領域技術大牛不定期分享自己的實操經驗,讓你成為一個技術基礎扎實,且與市場需求實時匹配的實力派。

  • 全程實戰

    行業模板拿來即用,涉及醫療衛生、公共服務、金融等十數個產業,70+技術解決方案,100+關鍵技術指標,助你成為能解決企業實際問題的硬核人才。

  • 就業服務

    求職期手把手簡歷指導,傳授面試答題技巧,總結項目開發經驗;入職后隨時技術支援,做好傳、幫、帶,為學員發展持續提供源動力。

項目實戰

學企業真實項目真流程
掌握讓AI落地的真本領

租房 醫藥 銀行 服務 健康 智慧
交通
物流 廣告 直播 電商 保險 政務 供應鏈 音視頻 區塊鏈 在線
教育
地產 能源 餐飲 軍工 游戲 人工
智能
車聯網 金融

18個硅谷實戰項目,大數據企業項目直接為學員所用

  • 電商離線數倉
  • 電商Flink實時數倉
  • 在線教育
  • 在線聽書
  • 新能源汽車
  • 廣告營銷
  • 金融審批
  • 醫療問診
  • 騰訊云EMR物流
  • 阿里云MaxCompute
  • 湖倉一體
  • 技術中臺
  • 用戶畫像
  • 推薦系統
  • Spark實時
  • 彩票項目
  • 保險項目
  • 統一數倉項目
項目特色

依托國內電商巨頭的實際業務場景,引入海量的真實點擊數據和業務數據,緊跟大數據主流技術需求,配備AI輔助開發技巧詳解,擁有豐富的數據倉庫功能模塊。

學習目標
  • 全面了解數據倉庫建模理論
  • 充分熟悉電商行業數據分析指標體系
  • 快速掌握多種大數據技術框架
  • 了解認識多種數據倉庫技術模塊、掌握AI輔助開發技巧
主要技術棧
Hadoop Flume DataX Maxwell Kafka Spark DolphinScheduler SpringBoot Echart SuperSet Kylin Presto Ranger
項目特色

參考眾多大廠的實時數倉項目的經典架構研發推出,采用當前主流的實時數據流處理框架Flink作為主要計算引擎,涉及多種實時計算關鍵技術,新增AI輔助開發技巧的講解,全面滿足企業對實時開發的要求。

學習目標
  • 了解實時數據倉庫的建模理論
  • 靈活應用Flink的流式計算技術,多種技術框架協調配合
  • 靈活應用AI,提升開發效率
  • 優化項目代碼,融匯貫通整個大數據開發的關鍵技術
主要技術棧
Flume Maxwell Kafka Flink HBase Phoenix Redis ClickHouse SpringBoot SugarBI
項目特色

基于在線教育行業的實際業務場景,引入海量的真實點擊數據和業務數據,緊跟大數據的主流技術需求,穿插AI輔助開發技巧講解,搭建了一整套完整的離線數據倉庫和實時數據倉庫。

學習目標
  • 充分了解在線教育行業的業務數據體系,熟悉在線教育行業的離線指標體系
  • 熟悉在線教育行業的實時指標體系,充分掌握多種大數據技術框架的協調應用,充分掌握AI輔助開發技巧
主要技術棧
Hadoop Flume DataX Maxwell Kafka Spark DolphinScheduler SpringBoot Echarts SuperSet Kylin Presto Ranger Flink HBase Phoenix Redis Doris SugarBI
項目特色

涵蓋了大數據的數倉建模理論、數據處理技術手段和大數據平臺搭建方法,依托真實在線聽書行業的實際業務場景,展示全面的離線與實時的指標體系,配備AI輔助開發技巧詳解。

學習目標
  • 充分了解在線聽書行業的業務數據體系,熟悉在線聽書行業的離線指標體系
  • 熟悉在線聽書行業的實時指標體系,充分掌握多種大數據技術框架的協調應用,充分掌握AI輔助開發技巧
主要技術棧
Hadoop Flume Kafka Maxwell DataX Hive Spark Flink SugarBI ClickHouse Redis HBase Phoenix DolphinScheduler
項目特色

站在汽車物聯網數據倉庫的技術前列,依托真實汽車傳感器數據,展示完整的離線指標體系,搭建功能完善的離線數據倉庫,熟練應用大數據技術框架。

學習目標
  • 充分了解汽車物聯網行業的業務數據體系
  • 熟悉汽車物聯網行業的離線指標體系
  • 充分掌握多種大數據技術框架的協調應用
  • 掌握AI輔助開發技巧
主要技術棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler
項目特色

依托真實廣告行業的實際業務場景,透徹講解互聯網廣告發展歷程和廣告完整運營流程,展示全面的廣告指標體系,學習數據分析工具,配備AI輔助開發技巧詳解。

學習目標
  • 全面了解數據倉庫建模理論
  • 充分熟悉廣告行業運營流程、專業術語和數據分析指標體系
  • 徹底掌握多種大數據技術框架
  • 掌握AI輔助開發技巧
主要技術棧
Hadoop Flume DataX Kafka Hive Spark DolphinScheduler ClickHouse FineBI
項目特色

依托真實的金融審批行業的海量業務數據,構建離線數據倉庫,依據數倉建模理論完成數據的存儲、分析與調取,分析實現整套金融審批指標體系,構建指標分析儀表盤。

學習目標
  • 充分了解金融審批行業的業務數據體系
  • 熟悉金融審批行業的離線指標體系
  • 充分掌握多種大數據技術框架的協調應用
  • 掌握AI輔助開發技巧
主要技術棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項目特色

依托真實的醫療問診行業的海量業務數據,構建離線數據倉庫,依據數倉建模理論完成數據的存儲、分析與調取,分析實現整套醫療問診指標體系,構建指標分析儀表盤。

學習目標
  • 充分了解醫療問診行業的業務數據體系
  • 熟悉醫療問診行業的離線指標體系
  • 充分掌握多種大數據技術框架的協調應用
  • 掌握AI輔助開發技巧
主要技術棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項目特色

依托物流行業的真實業務場景,基于目前各大互聯網企業對于騰訊云EMR架構體系的需求,將整個電商的數據倉庫體系搭建在騰訊云架構上。課程中穿插對AI輔助開發技巧詳細講解,令AI真正賦能大數據開發。

學習目標
  • 掌握騰訊云常用大數據技術框架的使用、選型和購買
  • 掌握基于騰訊云EMR進行離線數據倉庫和利用EMR進行實時數據倉庫的搭建
  • 充分掌握AI輔助開發技巧
主要技術棧
騰訊云EMR中的Hive Spark Hadoop Flink Flume Kafka
項目特色

依托國內電商巨頭的真實業務場景,基于目前各大互聯網企業對于阿里云架構體系的需求,將整個電商的數據倉庫體系搭建在阿里云架構上,做到全項目全流程上云。

學習目標
  • 掌握阿里云常用大數據技術框架
  • 掌握基于阿里云服務器進行離線數據倉庫和實時數據倉庫的搭建
主要技術棧
Flume RDS DataHub DataWorks DataV QuickBI Flink MaxCompute
項目特色

該項目是一個完整可落地的湖倉一體項目,依托真實電商行業的海量數據集,充分利用Hudi,將數據湖概念與數倉建模理論融匯貫通,將Hudi與其他主要大數據框架充分集成。

學習目標
  • 充分了解數據湖與數據倉庫的概念區別
  • 熟悉數據湖的構建開發流程
  • 充分掌握Hudi與多種大數據框架的協調應用
主要技術棧
Flink Hudi Hadoop Flume Kafka FlinkCDC Hive Superset
項目特色

一站式搞定數據治理、血緣管理、元數據管理、數據質量監控、批處理和實時處理的可視化調度、可視化即席查詢、可視化數據采集配置。

學習目標
  • 掌握技術中臺中的核心功能開發原理
  • 掌握大數據、JavaEE和前端技術的融合
主要技術棧
SpringBoot Vue ClickHouse Presto Spark Hive Flink DolphinScheduler
項目特色

著眼于用數字化的標簽描述用戶個性特征、勾畫目標用戶,實現了從標簽定義、標簽任務處理、任務調度、任務監控、用戶分區、用戶洞察的全功能平臺化管理。

學習目標
  • 充分理解用戶畫像管理平臺的搭建及使用
  • 了解用戶畫像系統的設計思路
  • 掌握標簽的設計流程及應用
  • 初步了解機器學習算法
主要技術棧
Spark MLib ClickHouse Redis Vue SpringBoot MyBatis
項目特色

依托于真實的中文亞馬遜電商數據集,以及真實的電商企業業務數據體系,構建了符合教學體系的一體化電商推薦系統,充分理解推薦系統的運作流程,拓寬技術視野。

學習目標
  • 系統性梳理整合大數據技術知識與機器學習相關知識
  • 深入了解推薦系統在電商企業中的實際應用
  • 深入學習并掌握多種推薦算法
主要技術棧
Flume Kafka MongoDB Spark Streaming ElasticSearch Git Redis
項目特色

依托企業級真實的實時數據分析環境,對目前互聯網大廠中常見的實時分析場景提出了一套基于SparkStreaming的全面實用的技術解決方案,豐富實時技術棧。

學習目標
  • 全面掌握Scala語言開發Spark的實時計算任務的開發技巧
  • 了解使用不同的CDC框架,提升實時方向的項目開發經驗
主要技術棧
Flume Canal Maxwell Kafka SparkStreaming HBase Phoenix Redis ElasticSearch Kibana SpringBoot SugarBI
項目特色

依托真實的彩票行業的海量業務數據,構建離線數據倉庫,依據數倉建模理論完成數據的存儲、分析與調取,分析實現整套彩票指標體系,構建指標分析儀表盤。

學習目標
  • 充分了解彩票行業的業務數據體系
  • 熟悉彩票行業的離線指標體系
  • 充分掌握多種大數據技術框架的協調應用
  • 掌握AI輔助開發技巧
主要技術棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項目特色

依托真實的保險行業的海量業務數據,構建離線數據倉庫,依據數倉建模理論完成數據的存儲、分析與調取,分析實現整套保險指標體系,構建指標分析儀表盤。

學習目標
  • 充分了解保險行業的業務數據體系
  • 熟悉保險行業的離線指標體系
  • 充分掌握多種大數據技術框架的協調應用
  • 掌握AI輔助開發技巧
主要技術棧
Hadoop Flume Kafka Maxwell DataX Hive Spark DolphinScheduler SuperSet
項目特色

該項目是一個完整可落地的統一數倉項目,依托真實電商行業的海量數據集,充分利用Doris,將Doris概念與數倉建模理論融匯貫通,將Doris與其他主要大數據框架充分集成。

學習目標
  • 充分了解統一數倉與數據倉庫的區別
  • 熟悉統一數倉的構建開發流程
  • 充分掌握Doris與多種大數據框架的協調應用
主要技術棧
Flink Doris SeaTunnel DolphinScheduler FineBI

課程大綱

200+ 新技術點廣泛覆蓋企業需求

強強聯合!尚硅谷已與Apache多個開源項目形成合作:

DolphinScheduler、Hudi、Iceberg、Doris、Kylin、SeaTunnel、StreamPark

  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • DataX
  • Griffin
  • Kettle
  • Zabbix
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • ElasticSearch
  • Hudi
  • StreamPark
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • suga
  • DataV
  • QuickBI
  • DataWorks
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL

6大階段塑造高效成才路線

階段一 Java基礎核心 收起
核心技能
  • 1深入理解Java面向對象思想
  • 2掌握開發中常用基礎API
  • 3熟練使用集合框架、IO流、異常
  • 4能夠基于JDK8開發
  • 5熟練使用MySQL,掌握SQL語法
課程設計特色

本階段除了JavaSE中要求大家必會的常見知識外,重點加強了數據結構思想、集合源碼分析,逐步培養大家深入學習的能力,此外為大數據框架學習打好基礎,加

強對SQL的講解,重點培養學生數據處理思想。

關鍵技術清單
  • Java基礎語法
    • 分支結構if/switch、循環結構for/while/do while
    • 方法聲明和調用、參數傳遞
    • 方法重載、數組的使用、命令行參數、可變參數
  • IDEA
    • IDEA常用設置、常用快捷鍵、自定義模板、關聯Tomcat、Web項目案例實操
  • 面向對象編程
    • 封裝、繼承、多態
    • 構造器、包
    • super、this、Object類
    • 異常處理機制
    • 抽象類、接口、內部類
    • 枚舉、注解、代理設計模式
    • 工廠設計模式、模板設計模式
    • 面向對象高級應用
    • 常用基礎API、集合List/Set/Map、泛型、線程的創建和啟動
    • 深入集合源碼分析、常見數據結構解析
    • 線程的安全、同步和通信、IO流體系、反射、類的加載機制、網絡編程
  • Java8-17新特性
    • Lambda表達式、方法引用、構造器引用、StreamAPI
    • jShell(JShell)命令、接口的私有方法、Optional加強
    • 局部變量的類型推斷、更簡化的編譯運行程序等
  • MySQL
    • DML語言、DDL語言、DCL語言
    • 分組查詢、Join查詢、子查詢、Union查詢、函數
    • 流程控制語句、事務的特點、事務的隔離級別等
    • 索引和優化、存儲引擎、鎖機制、高可用設計、集群
    • 分庫分表、主從復制、視圖
    • 存儲過程、觸發器、自定義函數等
  • JDBC
    • 使用JDBC完成數據庫增刪改查操作、批處理的操作
    • 數據庫連接池的原理及應用
    • 常見數據庫連接池C3P0、DBCP、Druid等
階段二 Hadoop生態體系架構 點擊展開
核心技能
  • 1Linux系統的安裝和操作
  • 2熟練掌握Shell腳本語法
  • 3IDEA、Maven等開發工具的使用
  • 4Hadoop組成、安裝、架構和源碼深度解析,以及API的熟練使用
  • 5Hive的安裝部署、內部架構、熟練使用其開發需求以及企業級調優
  • 6Zookeeper的內部原理、選舉機制以及大數據生態體系下的應用
  • 7Flume的架構原理、組件自定義、監控搭建,熟練使用Flume開發實戰需求
  • 8Kafka的安裝部署以及框架原理,重點掌握Kafka的分區分配策略、數據可靠性、數據一致性、數據亂序處理、零拷貝原理、高效讀寫原理、消費策略、再平衡等內容
  • 9統籌Hadoop生態下的Hadoop、Flume 、Zookeeper、Kafka、DataX、MaxWell等諸多框架,搭建數據采集系統,熟練掌握框架結構和企業級調優手段
課程設計特色

本階段以Hadoop生態系統為主,是大數據主要框架的入門階段。根據課程的前后關聯性,先后為Linux、Hadoop、Hive、Zookeeper、Flume、Kafka、電商數據采集項目。課程順序經過精心調研安排,符合學習的基本認知規律。每個框架的

講解都是從基礎的安裝部署和架構講解入手,穿插經典實操案例,配以關鍵源碼解讀。階段最后安排講解數據倉庫采集系統,對各種框架融會貫通,帶領學員回顧所學框架的同時,迅速增長實際開發經驗。

關鍵技術清單
  • Maven
    • Maven環境搭建、本地倉庫&中央倉庫、創建Web工程、自動部署&持續繼承&持續部署
  • Linux
    • VI/VIM編輯器、系統管理操作&遠程登錄、常用命令、軟件包管理&企業真題
  • Shell編程
    • 自定義變量與特殊變量、運算符、條件判斷、流程控制、系統函數&自定義函數
    • 常用工具命令、常用正則表達式、面試真題
  • Hadoop
    • Hadoop生態介紹、Hadoop運行模式、源碼編譯、HDFS文件系統底層詳解
    • DN&NN工作機制、HDFS的API操作、MapReduce框架原理
    • 數據壓縮、Yarn工作機制、MapReduce案例詳解、Hadoop參數調優
  • Zookeeper
    • Zookeeper數據結果、內部原理、選舉機制、Stat結構體、監聽器、分布式安裝部署
    • API操作、實戰案例、面試真題
  • HA+新特性
    • HDFS-HA集群配置
  • Hive
    • Hive架構原理、安裝部署、遠程連接、常見命令及基本數據類型、DML數據操作
    • 查詢語句、Join&排序、分桶&函數、壓縮&存儲、企業級調優、實戰案例、面試真題
  • Flume
    • Flume架構、Agent內部原理、事務、安裝部署、實戰案例、自定義Source
    • 自定義Sink、Ganglia監控
  • Kafka
    • 基礎架構、安裝部署、命令行操作、生產者消息發送流程、異步發送API、同步發送API
    • 生產者分區策略、生產者如何提高吞吐量、數據可靠性、數據去重、數據有序、數據亂序
    • 節點服役和退役、Leader選舉流程、文件存儲機制、高效讀寫原理、消費策略、數據積壓
    • Kafka-Eagle監控、Kafka-Kraft模式
階段三 Spark生態體系架構 點擊展開
核心技能
  • 1Spark的入門安裝部署、Spark Core部分的基本API使用熟練、RDD編程進階、累加器和廣播變量的使用和原理掌握、Spark SQL的編程掌握和如何自定義函數、Spark的內核源碼詳解(包括部署、啟動、任務劃分調度、內存管理等)、Spark的企業級調優策略
  • 2DophineScheduler的安裝部署,熟練使用進行工作流的調度執行
  • 3全面了解數據倉庫建模理論,充分熟悉電商行業數據分析指標體系,快速掌握多種大數據技術框架,了解認識多種數據倉庫技術模塊
  • 4HBase和Phoenix的部署使用、原理架構講解與企業級優化
  • 5開發工具Git&Git Hub的熟練使用
  • 6Redis的入門、基本配置講解、jedis的熟練掌握
  • 7ElasticSearch的入門安裝部署及調優
  • 8充分理解用戶畫像管理平臺的搭建及使用、用戶畫像系統的設計思路,以及標簽的設計流程及應用,初步了解機器學習算法
  • 9項目實戰。貼近大數據的實際處理場景,全方面設計實戰項目,能夠更加全面的掌握大數據需求解決方案,全流程參與項目打造,短時間提高學生的實戰水平,對各個常用框架加強認知,迅速累積實戰經驗
課程設計特色

本階段課程進入進階階段,主要講解核心大數據框架Spark和HBase,對兩大框架進行了深入講解,包括兩大框架的基本安裝部署以及深入源碼解讀。此外,本階段還包含三大項目——離線數據倉庫項目、用戶畫像項目和項目實戰。前兩大項目均采用新架構體系,穩定的框架選型、經典的理論解讀,手把手教你如何從0到1

搭建一個功能完善的大數據系統。內容涵蓋大部分大數據經典流行框架、大部分經典需求實現,并配合企業級部署調優講解,助力學員迅速增長開發經驗,適配大部分企業的大數據開發需求。項目實戰主要鍛煉學生動手實戰能力,根據前兩個項目所學,自己獨立按照企業需求完成開發任務。

關鍵技術清單
  • Spark
    • 安裝部署、RDD概述、編程模型、持久化&檢查點機制、DAG、算子詳解
    • RDD編程進階、累加器&廣播變量、SparkSQL、DataFrame 、DataSet
    • 自定義UDF&UDAF函數、SparkSQL企業級調優、數據傾斜處理、小文件處理、大表join大表
    • 大小表MapJoin、謂詞下推、CPU配置、內存配置等
  • Presto
    • Presto的安裝部署
    • 使用Presto執行數倉項目的即席查詢模塊
  • Superset
    • 使用SuperSet對數倉項目的計算結果進行可視化展示
  • DolphinScheduler
    • 任務調度工具DolphinScheduler的安裝部署
    • 實現數倉項目任務的自動化調度、配置郵件報警
  • DataX
    • DataX架構原理、DataX部署、DataX使用、DataX優化
  • Atlas2.0
    • 元數據管理工具Atlas的安裝部署
  • MaxWell
    • 使用MaxWell實時監控MySQL數據變化采集至實時項目
  • Zabbix
    • 集群監控工具Zabbix的安裝部署
  • HBase
    • HBase原理及架構、數據讀寫流程、API使用、企業級調優
  • Redis
    • 安裝配置、Redis的五大數據類型、Jedis、持久化、RDB、AOF
階段四 Flink生態體系架構 點擊展開
核心技能
  • 1熟練掌握Flink的基本架構以及流式數據處理思想,熟練使用Flink多種Soure、Sink處理數據,熟練使用基本API、Window API 、狀態函數、Flink SQL、Flink CEP復雜事件處理等
  • 2使用Flink搭建實時數倉項目,熟練使用Flink框架分析計算各種指標
  • 3ClickHouse安裝、使用及調優
  • 4項目實戰。貼近大數據的實際處理場景,多維度設計實戰項目,能夠更廣泛的掌握大數據需求解決方案,全流程參與項目打造,短時間提高學生的實戰水平,對各個常用框架加強認知,迅速累積實戰經驗
  • 5可選掌握推薦和機器學習項目,熟悉并使用系統過濾算法以及基于內容的推薦算法等
  • 6采用阿里云平臺全套大數據產品重構電商項目,熟悉離線數倉、實時指標的阿里云解決方案
課程設計特色

本階段課程以大數據處理框架Flink為中心,從架構講起,詳細講解了各種層面API的使用,并對Flink的高級應用場景進行了案例化講解,還配備了詳細的源碼解讀和優化技巧。 本階段還圍繞Flink講解了大數據領域另一個十分重要的項目——Flink實時數據倉庫項目。本項目與離線數倉項目可以無縫對接,兩大項目共同組成一個完整的企業級大數據架構。課程中包含深入全面的數倉理論講解、實用高效的實時問題解決方案。通過學習本項目,可以迅速掌握實時開發的重點難點,掌握多種實時難點問題解決方案,對實時領域框架的搭配應用融會貫通,提升開發和調

優經驗。本階段還配備項目實戰階段,主要鍛煉學生動手實戰能力,根據已學內容,在講師指導下獨立完成開發任務。 此外,本階段課程還將講解時下流行的熱點問題項目,數據湖 or K8S or 技術中臺,成熟的技術課程可以使學員更全面了解大數據的發展趨勢,掌握更多更熱門的大數據技術,例如Hudi、K8S、數據治理等。 本階段包含企業級的項目調優課程,通過搭建一個企業級的大數據集群,對項目中可能發生的高頻熱點問題、面試常見問題給出多角度解答,問題多、范圍廣、覆蓋全,有助學員提升開發經驗,熟悉開發環境。

關鍵技術清單
  • Flink
    • 運行時架構、數據源Source、Window API、Water Mark、狀態編程、Flink SQL
    • Table API、CEP復雜事件處理、Flink源碼、Flink優化
  • ClickHouse
    • ClickHouse安裝、使用及調優
  • SugarBI
    • 結合Springboot對接百度SugarBI實現數據可視化大屏展示
  • Doris
    • Doris編譯域安裝、集群擴容和縮容、數據劃分、數據模型
    • 動態分區、Rollup、物化視圖、表的創建修改和刪除、數據導入導出
    • 查詢設置、Join查詢、集成Spark、集成Flink、企業級優化、數據備份和恢復
  • Hudi
    • Hudi快速構建、集成Spark、集成Flink、生產調優
  • Iceberg
    • Iceberg構建、集成Spark、集成Flink、生產調優
  • K8S
    • 集群搭建、YAML文件詳解、命令行工具Kubectl、Pod、Label
    • Controller、Volume、PVC和PV、Secret、configMap、Namespace
    • Service、探針、調度器、集群安全機制RBAC、性能監控平臺、Helm
  • Git&GitHub
    • 安裝配置、本地庫搭建、基本操作、工作流、集中式
  • Springboot
    • 利用Springboot開發可視化接口程序
階段五 AI輔助編程階段 點擊展開
核心技能
  • 1了解AI智能問答系統的基本使用
  • 2掌握AI輔助代碼編寫的提問技巧
  • 3掌握AI輔助解決bug的基本技能
  • 4充分利用AI輔助提升開發效率
課程設計特色

本階段的課程主要對AI智能問答系統進行重點講解,從AI的使用常識開始,逐步了解AI的使用技巧和提問藝術,幫助學員熟練掌握當前先進的人工智能輔助開發技術。針對不同的框架技術,例如Hadoop、Hive、Spark、Flink等大數據熱門框

架技術,對如何利用AI輔助編寫代碼都有針對性講解。在實戰項目方面,對于不同的大數據項目,也細致講解如何利用AI輔助項目開發、性能調優等。通過本階段的學習,可以讓學員充分掌握AI的使用,大大提高開發效率、提升經驗、減少錯誤。

關鍵技術清單
  • Shell編程
    • A輔助編寫Shell腳本
  • Hadoop
    • AI輔助編寫MapReduce程序、解決Bug
  • Hive
    • AI輔助編寫Hive SQL,輔助進行SQL性能調優
  • Flume
    • AI輔助組件選擇和工作流腳本編寫
  • Kafka
    • AI輔助解決Bug和性能調優
  • Spark
    • AI輔助編寫Spark開發代碼、編寫Spark SQL、解決Bug、性能調優
  • DataX
    • AI輔助編寫工作流腳本
  • Flink
    • AI輔助編寫需求代碼、解決代碼Bug
  • ClickHouse
    • AI輔助性能調優
  • 數據倉庫采集系統實戰
    • AI輔助項目集群搭建、分析數據結構、Flume組件選型、Kafka配置調優等
  • 離線數據倉庫項目實戰
    • AI輔助數據倉庫建模、Hive SQL調優、調度腳本編寫、指標體系構建、可視化接口編寫
  • 實時數據倉庫項目實戰
    • AI輔助編寫需求代碼、輔助解決Bug、性能調優、需求解決方案優化等
階段六 就業指導 點擊展開
核心技能
  • 1從技術和項目兩個角度按照企業面試要求帶領同學們復習
  • 2熟悉CDH在生產環境中的使用
  • 3手把手簡歷指導,讓同學們順利通過簡歷篩選
課程設計特色

本階段課程主要圍繞學員的就業需求,在真正就業前,幫助學員多維度復習鞏固所學知識和項目,串講經典高頻面試題,傳授面試答題技巧,總結項目開發經驗,手

把手簡歷指導,解決學員在就業過程中遇到的各種難題。通過AI輔助,重構優化簡歷,優化面試技巧,以及利用AI輔助學員自助面試,全面提升學員的綜合能力。

關鍵技術清單
  • 面試題+考試
    • 串講所學的所有技術點,如Hadoop、Hive、Kafka、Spark、Flink等技術框架高頻面試題
    • 串講所有學過的項目
    • 對所有串講的過的面試題和項目進行考試
  • CDH
    • 在阿里云服務器上,基于CDH安裝部署全部離線數據倉庫項目
  • 就業指導
    • 簡歷指導、職業規劃、AI輔助優化簡歷
    • 簡歷書寫(Word、網上)
    • 模擬面試、AI輔助模擬面試、AI輔助筆試

職業選擇口徑寬

大數據測試
工程師
實時數倉
工程師
資深架構師 高級架構師 數據開發
工程師
Hadoop
工程師
平臺開發
工程師
AI提示
工程師
數據架構師 CTO 建模工程師 用戶畫像
工程師
ETL工程師 Spark
工程師
Flink
工程師
大數據運維
工程師
數據治理
工程師
離線數倉
工程師
數據分析
工程師

全程護航,你們只管乘風破浪

從入學到就業后,尚硅谷始終在你身邊,助力學員整個職業生涯持續提升一站式服務模式,用更高的效率,
更科學化的方法,提供長期就業輔導、推薦和技術支持

  • 大數據培訓

    不同于目前培訓機構普遍采用的測試方式,我們對基礎沒有硬性要求,我們不會用提高技術門檻的方法來降低自己培訓壓力與風險,只要你是有志青年、 有學習潛力、熱愛編程,尚硅谷就愿意為你提供學習平臺,助你成才。

  • 根據每個學員具體情況制定預習方案,幫你提前進入狀態。

  • 大數據培訓課程

    技術老師、輔導老師、班主任全程貫穿
    技術學習+項目實戰+學習效果測評+輔導答疑+生活幫助

  • 就業老師1v1面試指導
    職業素養課+簡歷指導+模擬面試+面試

  • 大數據培訓班

    畢業后仍可按需學習,免費充電,持續提升

  • 扶上馬,再送一程,幫助學員解決工作中的問題。

全國中心

北京基地
北京大數據培訓
上?;?/h5>

上海大數據培訓
深圳基地
深圳大數據培訓
武漢基地
武漢java培訓

西安基地
西安java培訓
成都基地
成都java培訓
成人国内精品视频在线观看,国产精品天干天干在线观看,亚洲综合 欧美 小说 另类 图,香港经典三级A∨在线播放