大數據開發培訓校區大數據

關于大數據

站在云端操控萬千數據

為什么要學習大數據?

  • 大數據主導未來

  • 各行業應用廣泛

  • 市場需求熱度高

  • 大數據應用市場規模

    隨著大數據在各行各業融合應用的不斷深化,預計2020年中國大數據市場市值將突破10000億元。

    大數據賦能產業,改變人與場景的交互方式

  • 大數據應用范圍

    未來發展,大數據應用范圍越加廣泛

  • 大數據職位需求

高級軟件工程師課程

首推9個月高級軟件工程師課程,知識量和技術深度增加50%,以業務為核心驅動項目,打造業務+技術并重的復合型人才
課程階段時間圖1 課程階段時間圖2

大數據課程大綱

  • 基礎班階段一

  • 就業班階段一

  • 就業班階段二

  • 就業班階段三

  • 就業班階段四

  • 就業班階段五

  • 就業班階段六

  • 就業班階段七

  • 就業班階段八

  • 就業班階段九

查看詳細課程大綱>零基礎數據倉庫課程新課時:8天VS舊課時:15天

升級說明

基礎課程優化,使學員可以由淺入深的了解大數據業務開發的真實場景,業內首家推出大數據0基礎體驗課

主要內容

?操作系統基礎?關系型數據庫?可視化ETL平臺?BI可視化開發?電商數據倉庫實戰

可解決的現實問題

?具備傳統數據倉庫開發能力

可掌握的核心能力

?掌握企業級ETL平臺的kettle ?掌握BI的可視化平臺Superset ?掌握Kettle ETL處理設計思想 ?掌握大數據企業開發中最常見的linux的操作 ?掌握一款主流數據庫客戶端工具DataGrip ?掌握企業MySQL的調優方案 ?掌握大數據分析中數據全量及增量同步解決方案 ?掌握生產環境中數據分析程序的部署解決方案

查看詳細課程大綱>Java語言編程新課時:18天VS舊課時:40天

升級說明

Java語言編程優化,增加熱門技術,提升大數據課程內容的占比

主要內容

?面向對象 ?常用類 ?集合操作 ?IO操作 ?Java基礎增強 ?JDBCMaven ?爬蟲案例

可解決的現實問題

?基礎語法是學習任何編程語言的第一課,學好基礎語法,才能更好的學習后面的課程知識點

可掌握的核心能力

?掌握Java程序基礎數據類型 ?掌握開發中常用類如集合、IO流、常用類等操作 ?掌握Java異常處理機制 ?掌握反射、網絡編程、多線程開發 ?掌握Jsoup的網絡爬蟲開發 ?掌握JDBC操作 ?掌握ETL數據處理和BI報表開發

查看詳細課程大綱>Hadoop技術棧新課時:10天VS舊課時:10天

升級說明

簡化大數據組件安裝,優化Hadoop生態圈組件,采用全新的CentOs7平臺完成大數據環境搭建,滿足企業需求

主要內容

?Linux操作系統高級 ?大數據基礎和硬件介紹 ?Zookeeper

可解決的現實問題

?具備Hadoop開發能力、離線數據倉庫開發能力

可掌握的核心能力

?掌握shell編程 ?掌握ZooKeeper原理并應用 ?掌握HDFS的使用和MapReduce編程 ?理解MapReduce原理和調優 ?掌握Yarn的原理和調優 ?掌握Hive的使用和調優

查看詳細課程大綱>項目一(在線教育)新課時:8天VS舊課時:無

升級說明

新增教育項目,對教育行業大數據數倉構建場景還原,建立企業數據倉庫,分析項目多達40個模塊150個技術點,緊密貼合企業級大數據實戰

主要內容

?HDFS ?MapReduce ?YARN ?Hive

可解決的現實問題

?具備企業級離線數據倉庫開發能力,深入教育行業需求,提升行業的核心競爭力

可掌握的核心能力

?掌握從需求、設計、研發、測試到落地上線的完整項目流程 ?掌握大量教育行業的真實業務邏輯,涉及20多個主題,100多個指標 ?掌握海量數據如何調優、使用拉鏈表、增量數據處理,以及Hive函數的具體應用等 ?掌握基于CM的大數據環境部署和管理 ?掌握數據倉庫的核心概念和應用 ?掌握常用離線大數據技術:Oozie、Sqoop、Hive等 ?掌握FineReport可視化

查看詳細課程大綱>數據微服務接口開發新課時:5天VS舊課時:無

升級說明

新增SparkBoot+SpringCloud企業級微服務開發技術棧

主要內容

?建立企業數據倉庫,統一企業數據中心,把分散的業務數據集中存儲和處理

可解決的現實問題

?具備后端數據微服務接口開發,可勝任通過Spring技術架構完成微服務搭建 ?可完成企業級數據微服務接口開發

可掌握的核心能力

?掌握SpringBoot整合SpringMVC開發 ?掌握SpringBoot整合MyBatis開發 ?掌握Eureka搭建 ?掌握Feign的使用

查看詳細課程大綱>實時生態圈新課時:17天VS舊課時:6天

升級說明

優化實時組件技術,采用企業級案例數據講解,Flink采用原生Java并使用最新的1。10版本,新增FlinkCep等多種實時計算技術

主要內容

?項目從需求調研、設計、版本控制、研發、測試到落地上線,涵蓋了項目的完整工序

可解決的現實問題

?具備使用Hbase和Redis開發調優能力、ELK海量數據處理能力、具備Kafka消息隊列開發和調優能力、Flink流式和批量數據開發能力

可掌握的核心能力

?掌握Redis原理及架構 ?掌握Redis命令操作、及數據結構 ?掌握Hbase原理及架構 ?掌握HBase命令操作、MapReduce編程 ?掌握Phoneix二級索引優化查詢 ?掌握ELK開發掌握Kafka原理及架構 掌握KafkaStreams開發 掌握基于Flink進行實時和離線數據處理、分析 掌握基于Flink的多流并行處理技術 掌握千萬級高速實時采集技術

查看詳細課程大綱>項目二(證券、物聯網任選其一)新課時:10天VS舊課時:無

升級說明

新增金融項目,項目還原金融證券大數據業務場景,實時監控證券市場的每日業務交易,實現對證券市場交易數據的統計分析,搭建監察預警體系,包括:預警規則管理,實時預警,歷史預警,監察歷史數據分析

主要內容

?挖掘分析海量用戶行為數據,定制多維數據集合,形成數據集市,供各個場景主題使用

可解決的現實問題

?具備TB級規模下毫秒級Flink實時計算程序開發、架設能力,并具備不同應用場景下多種存儲引擎的技術引擎優化能力。以及項目上線部署、運維監控能力

可掌握的核心能力

?掌握基于FTP、Flume + Kafka的實時數據采集開發 ?掌握TB級海量規模下Flink實時處理開發,保證實時計算高容錯 ?掌握三種不同時間維指標的存儲、計算方案(Druid、MySQL、HBase),例如:毫秒級\秒級\分時等時間維 ?掌握基于Kylin的即席快速OLAP開發 ?掌握基于Flink CEP的實時預警監控開發 ?掌握基于Spring Boot的數據服務接口開發

查看詳細課程大綱>Spark技術棧新課時:10天VS舊課時:8天

升級說明

升級Spark版本為2.4.5,新增DMP場景Spark案例,優化了StructuredStreaming結構化流的應用分析

主要內容

?Scala語言 ?Spark core ?Spark sql ?Spark Streaming ?Structured Streaming

可解決的現實問題

?具備Spark全棧開發能力,滿足大數據行業多場景統一技術棧的數據開發,提供就業核心競爭力

可掌握的核心能力

?掌握Scala語言基礎、數據結構 ?掌握Scala語言高階語法特性 ?掌握Spark的RDD、DAG、CheckPoint等設計思想 ?掌握SparkSQL結構化數據處理,Spark On Hive整合 ?掌握Spark Streaming整合Kafka完成實時數據處理 ?掌握Spark Streaming偏移量管理及Checkpoint ?掌握Structured Streaming整合多數據源完成實時數據處理

查看詳細課程大綱>項目三(物流、電信任選其一)新課時:10天VS舊課時:無

升級說明

新增物流項目,還原大型物流公司研發的智慧物流大數據平臺,針對日訂單上千萬業務場景,圍繞訂單、運輸、倉儲、搬運裝卸等全物流環節中涉及的數據信息進行處理,并針對提高運輸以及配送效問題,提出解決方案

主要內容

?基于一家大型物流公司研發的智慧物流大數據平臺,日訂單上千萬

可解決的現實問題

?具備基于Docker搭建不同數據源、實時采集開發能力,并具備構建高性能數據存儲處理大數據平臺開發能力

可掌握的核心能力

?掌握Docker環境部署、管理操作 ?掌握基于Oracle + MySQL異構數據源數據處理技術 ?掌握基于Oracle Golden Gate以及Canal的實時采集技術 ?掌握Kudu + Spark的快速離線數據處理、分析技術 ?掌握Kudu + Impala即席數據分析技術 ?掌握基于ClickHouse高性能存儲、計算引擎技術 ?掌握基于ELK的全文檢索技術 ?掌握Kudu、Spark的調優能力 ?掌握基于Spring Cloud的數據微服務接口開發技術

查看詳細課程大綱>項目四(電商、票務任選其一)新課時:10天VS舊課時:無

升級說明

新增物聯網項目,還原了工業物聯網場景大數據實時分析業務,涵蓋完整車聯網業務場景,包含駕駛行程、電子圍欄、遠程診斷等真實業務,通過QBOX車輛終端數據收集,并解析為QSP數據、QCS數據、充電數據、HU數據,提供實時計算服務與離線計算服務,并通過API接口以報表和大屏展示分析結果數據

主要內容

?圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等

可解決的現實問題

?具備主流Spark + Hive離線數倉開發技術,并具備海量數據處理性能調優能力,具備實時數倉架構能力,構建毫秒級的實時計算平臺

可掌握的核心能力

?掌握Spark + Hive構建離線數倉 ?掌握Kafka + Flink + Druid構建實時數倉 ?掌握基于Kettle的數據ETL處理技術 ?掌握離線數倉和實時數倉分層架構 掌握基于Parquet + Snappy的存儲、壓縮技術 掌握Spark處理數據傾斜問題 ?掌握基于Redis + Flink實時ETL處理技術 ?掌握基于Spark引擎的Kylin Cube構建技術 ?掌握Kylin的碎片管理、Cube調優、增量構建等技術 掌握基于Flume、Canal的實時采集技術 ?掌握基于Proto Buf的高效序列化技術 掌握基于HBase + Phoenix的快速數據查詢技術 ?掌握基于Flink CEP的實時風控處理技術 ?掌握基于Superset的BI開發技術

適合人群

  • 應屆畢業生

    應屆大學畢業生

    缺乏工作經驗和技能,
    對未來沒有明確的規劃,
    期望通過學習大數據
    躋身IT行業的人員

  • 準備轉行的人

    計劃轉行人員

    目前工作待遇不理想,
    上升空間有限或已進入
    職業瓶頸期,
    想要突破轉行的人員

  • 想要提升的人

    有基礎尋求提升者

    具有一定的大數據技術理論基礎,
    需要了解大數據技術
    在實際業務中如何使用的人員

  • 愛好大數據的人

    大數據技術愛好者

    有較強的思維邏輯能力,
    應對復雜業務場景處理,
    對大數據技術感興趣的人員

大數據工程師職業發展路徑

大數據工程師職業規劃

初級開發工程師
(0-1年)

中級開發工程師
(1-2年)

高級開發工程師
(2-4年)

資深開發工程師
(4-6年)

架構師
(6-8年 )

技術總監
(8-10年 )

CTO
(10年以上)

項目經理
(4-6年)

項目總監
(6-10年 )

CIO
(10年以上)

真項目

與帆軟、北京大數據研究院等深度合作,推出多行業、多領域、企業級的大數據項目課程,制定大數據項目標準,并在業內建立免費體驗的在線“項目庫”
  1. 學IT,為什么要學項目課程?
  2. “真”項目課程,對找工作有哪些幫助?
  3. 小白如何分辨“項目課程”真偽?
  1. 高標準"億元級"研發投入
    大廠項目標準

  2. 全行業11+熱門行業
    覆蓋領跑行業

  3. 高性能PB級數據處理
    秒級數據響應

  4. 真場景數據結構真實
    業務模型完整

  5. 快更新熱門項目"月"更新
    前沿技術"周"更新

  6. 嚴保障12項評審流程
    4項驗收標準

  • 大數據培訓課程含金量標準
    真實、豐富業務場景

    業務指標>40個
    業務主題>56個

    技術方案完整落地

    項目課程天數≥8天

    大規模數據處理架構

    項目架構支撐TB級
    數據存儲、處理

    大數據項目全流程落地

    涵蓋采集、數倉、分析
    調度、部署、BI等全流程

    離線、實時架構全面覆蓋

    項目包含真實場景離線
    和實時處理

  • 傳智大數據項目行業覆蓋率
  • 傳智播客與亞馬遜AWS聯手千億級大規模數據處理
    “真正”經過海量數據驗證的真項目

    數據采集多渠道采集
    峰值100萬條/秒

    流計算引擎低延遲性
    吞吐量百萬筆/秒

    安全性高容錯性
    高可用性

    ETL加工TB級離線數據處理

    應用查詢億級數據關聯查詢
    秒級數據響應

  • 業務分析

    業務模型

    大數據培訓項目業務分析1 大數據培訓項目業務分析2
    業務目標

    大屏實時監控
    預警監控

    業務大類

    個股行情
    指數行情
    板塊行情

    業務明細

    分時行情
    秒級行情
    歷史行情

    關鍵業務

    漲跌幅行情
    成交量對比行情
    國內指數
    板塊指數
    K線行情
    分時列表行情
    個股漲跌行情

    指標性能

    采集效率快
    計算性能強
    存儲空間大
    查詢響應快
    易擴展
    容錯性高

    大數據業務模型架構圖1 大數據業務模型架構圖2 大數據業務模型架構圖3
  • 信息庫

    應用市場調研+大數據分析
    獲取前沿發展方向

    課題研究庫

    提出前沿熱門課題
    完成深入原理剖析+技術攻堅
    保障課程前瞻性

    研發人才庫

    來自華為、IBM等百人專家團
    每年耗資億元
    研發行業標桿優質課程

    解決方案庫

    基于市場主流技術
    研發解決方案
    應對職場常見技術難題

    項目庫

    基于熱門行業領域
    聯合專家顧問團
    研發“大廠級”深度項目

    傳智播客研究院研發團隊以“五庫模式”為基礎,建立了企業級項目研發體系
    從產品、開發,到測試上線,每一環都配備專業團隊,搭建成熟課研閉環,高效研發項目

  • 大數據項目12項評審流程

    大數據培訓項目評審流程

    大數據項目4項驗收標準

    項目開發驗收27項考核指標

    功能實現

    業務流程

    UI/UE實現

    代碼質量

    接口/性能

    ……

    課程質量驗收15項考核指標

    技術應用合理性

    技術前沿性

    技術深度

    課程銜接合理性

    引導式教學應用程度

    ……

    研發效率驗收3項考核指標

    進度

    成本

    變更頻率

    ……

    用戶驗收17項考核指標

    課程導入吸引度

    授課語言感染力

    課程趣味性

    教學結果

    課程吸收度

    ……

大數據項目體驗

更多>>

教研團隊

年薪80萬持續引入大廠技術大牛,建立大數據專職課研團隊及專職教學團隊,制定嚴格師資篩選培訓體系,不斷提高行業課程標準及教學質量

專職課研團隊

專職教學團隊

16級標準嚴選專職課研老師,嚴控課程研發質量

人才篩選
4項標準

  • 標準化研發人才畫像

    大廠背景,技術深度、廣度,
    大型項目經驗

  • 多維面試(五面)

    背景調查,技術360°鑒定 ,
    新課題設計 ,課程隨機演繹 ,
    職業定位、發展規劃

  • 研究院小組診斷測評

    教育情懷、價值觀,進
    取精神、培養潛力

  • 全鏈路面試流程監控

    CEO審核,信息存檔

人才考核
8大環節

課研人員素質考核視頻錄制考核

課程設計考核課堂試煉考核

大綱設計考核產品全方位審評

講義撰寫考核考核答辯

人才培訓及
發展規劃

平臺、組件
技術開源歷練

技術私享會

大牛技術沙龍

企業對對碰
技術共享

優中選優,教學老師錄取率<3%,從源頭嚴控師資及授課質量

人才篩選
4項標準

  • 標準化講師畫像

    業務技能、性格
    特色、溝通能力

  • 初試技術深度

    框架能力、底層原理、性能與
    安全、算法與數據結構

  • 復試授課質量

    課程設計、授課邏輯互動與
    交互、代碼規范

  • 終試價值觀

    抗壓能力、學習動力、
    專業程度、培養潛力

人才考核
8大環節

定制個性化考核方案教育心理考核

講師素質考核教學方法考核

排課、備課產出物考核課堂試講考核

視頻錄制考核正式授課答辯

人才培訓及
發展規劃

每日授課
學員滿意度打分

階段課程實施
評審組審核

傳智培訓院
多維培養計劃

講師專屬
晉升通道

學員作品

打造企業級開發環境,引導學員以業務場景進行開發,完成企業級項目實訓,積累業務開發落地能力
  • 大數據培訓機構學員作品

    盤析點擊流分析項目深圳大數據12期-3組

    簡介:采用的是Hadoop技術棧完成數據開發,構建基于HIve的ODS-DW-APP層數倉平臺,增加實現地域分析及人均訪問頻次、分組、流量統計分析等模塊。

  • 大數據培訓班學員作品

    千人千面用戶行為分析項目上海大數據17期-6組

    簡介:基于垂直電商平臺構建用戶畫像,完整抽取用戶的信息全貌,實現基于 Spark 進行用戶指標分析,并通過Spark MLLib建立數據挖掘模型。

  • 大數據培訓課程學生作品

    反爬項目北京大數據33期-5組

    簡介:采用Spark全棧大數據技術完成開發,實現了Lua收集的數據打入Kafka,通過在數據庫中讀取程序、計算離線數據、通過SparkStreaming完成用戶數據識別和分析。

  • 千億級數倉實時大屏項目北京大數據36期-5組

    簡介:基于用戶全面分析體系,從多維度建立用戶的運營體系,實時分析用戶訪問流量、訂單、店鋪等運營指標,采用HBase + Phoenix數據實時查詢方案。

大數據實戰標準及流程將企業實際項目帶進課堂,完成企業級項目開發

  1. 項目需求講解及技術方案分析
  2. 以業務驅動技術選型,篩選最
    優技術方案,解決場景問題
  3. 服務器與框架集成后,
    調優性能,實現最佳執行效率
  4. 模擬真實項目上線流程,
    完成項目服務器部署
  • 確立項目目標

    項目介紹

    技術選型

    邏輯架構

    數據流轉

    服務器規劃

    環境搭建

  • 業務開發

    業務背景

    業務拆分

    業務開發

    代碼測試

    可視化大屏

  • 性能調優

    性能測試

    性能優化

    原理分析

  • 上線部署

    部署上線

  • 核對大數據項目進度
  • 大數據項目留念

免費資源

適合大數據工程師自學的視頻教程免費分享,推出2020年大數據高級軟件工程師學習路線圖

    近期精品直播公開課

      原創教材

      傳智播客出版了4本大數據原創書籍,被1900余所高校選作授課教材,惠及200余萬名大學生

      /

      Tlias全方位AI教輔系統

      數據驅動教學,貫通教/學/練/測/評,為每一位學員私人定制學習計劃和就業服務
      • 學員入學
      • 課堂教學
      • 課后指導
      • 專項練習
      • 入學多維測評
        定制專屬學習計劃
      • 目標導向式學習
        精準定靶不脫節
      • 隨堂診斷糾錯
        掃清理解盲點
      • 循序漸進式練習
        從理論到應用
      • 階段效果測評
        消除知識薄弱點
      • 智能指引式建議
        分層教學,因材施教
      • 隨時有問必答
        攻克技術難點
      • 學員薄弱知識可視化
        精準查漏補缺
      • BI報表數據呈現
        精準把控教學質量
      • IT培訓目標體系

        精準定靶學習目標,讓學員對每天的學習進程了如指掌。課上一講多練的教學模式更便于學員反思評估當天學習目標的掌握程度,教師提供針對性的學習指導,保障學習效果。

      • IT培訓習題庫

        TLIAS系統為學員提供了充足的實操訓練機會,并構建了一條科學的練習路徑,多級練習提示使各類學員都能獲得充分指引,最終獨立解決問題,提升知識技能水平。

      • IT培訓質量評測

        TLIAS系統的診斷測評工具,使學員能夠對每天所學知識進行檢測,將薄弱知識可視化,精準查漏補缺,對問題知識點給予重點消化吸收,復習更高效、更聚焦,效果更明顯。

      • IT學習問答互動社區

        為充分激活學員間互動能量,將學員個人單線的學習擴展為立體互動性較強的探索式共享學習,TLIAS系統搭建了學習問答社區。熱帖瀏覽高達到2.5w人次。

      • IT培訓就業輔導

        TLIAS系統的就業中心從實際就業需求出發,為學員們準備了非常豐富的就業資源,5大課程門類,2000余節課程視頻,能夠滿足不同學員的實際需求。

      • IT就業模擬面試系統

        為提升學員的面試實戰經驗,TLIAS系統的模擬面試平臺高度還原學員目標崗位的面試環境和流程,并打造求職利器“面試寶典”,幫助學員熟悉面試流程,提高面試成功率。

      • 學員學習數據多維度采集分析

        TLIAS系統的BI數據平臺能夠全方位采集、實時監測各關鍵環節數據,形成一套成熟且執行有效的數據驅動模式,問題及時解決,風險提前預防,保障教學質量持續穩定的輸出。

      • IT學習教學質量監控

        為老師的教學打分,對校區的服務評價,TLIAS系統會做出定性和定量分析,在精準的教學質量監控下,師資質量精益求精、學習效果穩步提升,學習體驗與滿意度口碑雙提升。

      1. 學習目標體系

      2. 作業試題庫

      3. 個人專屬測評

      4. 學習問答社區

      5. 就業指導資源

      6. 模擬面試平臺

      7. 多數據采集

      8. 教學質量監控

      IT培訓獨家學習監控系統

      更多Tlias就業服務

      • IT培訓就業流程

        就業流程
        全信息化處理

      • 學員能力分析

        學員能力
        雷達圖分析

      • IT就業服務

        定制個性化
        就業服務

      • 面試題講解

        技術面試題
        講解

      • 就業培訓指導

        就業指導課
        面試項目分析

      • HR面試攻略

        HR面試攻略

      • 模擬企業面試

        模擬企業
        真實面試

      • IT求職簡歷指導

        專業簡歷指導

      • IT求職面試復盤

        面試復盤輔導

      • IT求職面試預警

        風險預警
        企業黑名單提醒

      傳智匯-打造你的IT職業生態圈

      老學員畢業后可加入傳智匯IT精英社區,持續幫助學員終身成長,一次學習,永久服務
      • IT培訓行業沙龍

        行業沙龍

        每年百場行業交流
        每年24場免費交流


      • IT行業高端人脈

        高端人脈

        行業大牛講座
        技術大牛分享
        攻克研發難關
        緊跟科技前沿

      • IT職場資源

        職場資源

        二千余家企業
        高管精準指導
        助力職場晉升
        突破發展瓶頸

      • IT培訓技術研習

        技術研習

        服務中高端IT人才
        持續跟蹤量身定做


      • 大數據零基礎體驗課基礎班 1

        課時:8天技術點:65項測驗:1次學習方式:線下面授

        學習目標

        1.掌握企業級ETL平臺的kettle|2.掌握BI的可視化平臺Superset|3.掌握kettle流式數據ETL處理設計思想|4.掌握大數據企業開發中最常見的linux操作|5.掌握一款主流數據庫管理工具DataGrip|6.掌握企業MySQL的調優方案|7.掌握大數據分析中數據全量及增量同步解決方案|8.掌握生產環境中數據分析程序的部署解決方案

        主講內容1操作系統基礎

        Linux是一個基于POSIX和Unix的多用戶、多任務、支持多線程和多CPU的操作系統

        計算機基礎知識、Linux環境搭建、遠程連接工具、文件操作命令、壓縮解壓縮命令、文件查找命令、系統管理命令、權限管理、網絡服務管理命令、VI等
        主講內容2關系型數據庫

        數據庫就是存儲數據的倉庫,其本質是一個文件系統,數據按照特定的格式將數據存儲起來,用戶可以對數據庫中的數據進行增加,修改,刪除及查詢操作

        數據庫環境搭建、SQL語言(DDL、DML、DQL)、多表查詢、索引等
        主講內容3可視化ETL平臺

        對于企業或行業應用來說,經常會遇到各種數據的處理,轉換,遷移,掌握一種etl工具的使用,必不可少,這里要學習的ETL工具是——Kettle,現在已經更名為PDI

        數據倉庫與ETL、Kettle安裝部署、數據抽取與裝載、表輸入、表輸出、插入/更新、switch/case等組件使用、Kettle作業等
        主講內容4BI可視化開發

        Superset是一款開源的現代化企業級BI。它是目前開源的數據分析和可視化工具中比較好用的,功能簡單但可以滿足我們對數據的基本需求,支持多種數據源,圖表類型多,易維護,易進行二次開發

        Superset部署、開發,涵蓋Charts開發、Dashboard開發
        主講內容5電商數據倉庫實戰

        本案例圍繞某個互聯網小型電商的訂單業務來開發

        電商業務背景、案例架構、數據倉庫增量同步、ETL開發、指標SQL開發、Kettle作業調度、Superset可視化展示等
      • Java語言編程就業班 1

        課時:18天技術點:115項測驗:1次學習方式:線下面授

        學習目標

        1.掌握Java程序基礎數據類型|2.掌握開發中集合、IO流、常用類等操作|3.掌握Java異常處理機制|4.掌握反射、網絡編程、多線程開發|5.掌握Jsoup的網絡爬蟲開發|6.掌握JDBC數據庫連接操作|7.掌握ETL數據處理和BI報表開發|8.具備JavaSE開發能力

        主講內容1編程基礎

        基礎語法是編程語言的第一課,打好基礎才能更好的學習后面課程,幫學員從小白到入門,包含了以下技術點:

        1.Java語言概述2.Java開發環境搭建3.IDEA的安裝和配置4.HelloWorld案例5.注釋.6.關鍵字7.常量8.變量9.數據類型轉換10.運算符11.Scanner12.選擇結構13.for循環14.while循環15.循環嵌套16.控制跳轉語句break和continue17.Math類-獲取隨機數18.數組的概述和創建19.數組的內存圖解20.數組的常見操作.21.方法的概述和定義22.方法重載.23.方法形參類型24.方法練習
        主講內容2面向對象

        逐步建立起面向對象編程思想,從會使用對象,到內存分析,再到真正理解為什么封裝對象,包含了以下技術點:?

        1.面向對象介紹 2.類和對象講解 3.對象的內存圖 4.成員變量和局部變量的區別 5.private關鍵字 6.封裝 7.this關鍵字 8.構造方法 9.繼承 10.super關鍵字 11.方法重寫 12.多態 13.final 14.static 15.抽象類 16.接口 17.包(package)
        主講內容3常用類API

        培養使用java語言解決實際問題,需掌握常見的java對象與工具類,包含了以下技術點:

        1.API解釋2.Object類講解3.String類講4.StringBuilder類講解5.冒泡排序6.Arrays工具類7.包裝類8.自動拆裝箱9.Date類講解10.SimpleDateFormat類講解
        主講內容4集合操作

        建立使用集合解決不同數據類型操作的思想,包含了以下技術點:

        1.Lambda表達式2.集合類3.Collection4.ArrayList5.列表迭代器6.增強for7.數據結構8.Set集合之HashSet9.Map集合之HashMap10.集合嵌套案例
        主講內容5IO操作

        解決了數據序列化和反序列化操作,包含了以下技術點:

        1.File類 2.字節流 3.序列化流 4.字符流
        主講內容6Java基礎增強

        從數據傳輸角度增強對java語言的掌握程度,包含了以下技術點:

        1.軟件結構 2.網絡協議 3.網編3要素 4.TCP通信. 5.Junit單元測試 6.反射介紹 7.Class類相關方法介紹 8.反射案例:代理設計模式 9.注解解釋. 10.常用注解介紹. 11.xml概述 12.xml的組成元素 13.xml約束
        主講內容7爬蟲案例

        以企業爬蟲為業務,實現此階段知識點的綜合場景化應用,包含了以下技術點:

        Jsoup、MySQL高級、JDBC、ETL、BI
      • Hadoop技術棧就業班 2

        課時:10天技術點:153項測驗:1次學習方式:線下面授

        學習目標

        1.掌握Shell命令|2.掌握zookeeper原理并應用|3.掌握HDFS的使用和MapReduce編程|4.理解MapReduce原理和調優|5.掌握Yarn原理和調優|6.掌握Hive的使用和調優|7.具備Hadoop開發能力、離線數據倉庫開發能力

        主講內容1Linux操作系統高級

        介紹大數據服務器基本操作,是入門大數據開發的基石,包含了幾下技術點:

        Linux shell編程、awk、sed、cut、ssh、scp、expect、yum、nestat、top 、iostat等高級命令使用
        主講內容2大數據基礎和硬件介紹

        進一步闡述大數據特點與分布式思想,知識點由淺入深,包含了以下技術點:

        大數據的特點、分布式存儲概念、分布式計算的概念、服務器種類介紹、機架、交換機、網絡拓撲、Raid、IDC數據中心
        主講內容3Zookeeper

        分布式軟件管家,實現了集群管理與leader選舉,包含了以下技術點:

        Zookeeper的應用場景、架構和原理、存儲模型、選舉機制、客戶端操作
        主講內容4HDFS

        分布式文件系統,解決了海量數據存儲與容錯,包含了以下技術點:

        HDFS設計的特點、Master-Slave架構、Block塊存儲、RF拷貝因子、機架感知、Block拷貝策略、讀寫流程、HDFS Federation、HDFS Snapshots、NameNode HA架構和原理、HDFS管理員常用操作、HDFS權限控制
        主講內容5MapReduce

        分布式計算系統,解決海量數據的計算,包含了以下技術點:

        MapReduce架構和原理、Split機制、MapReduce并行度、Combiner機制、Partition機制、自定義Partition、MapReduce序列化、自定義排序、數據壓縮
        主講內容6YARN

        分布式資源調度管理器,管理服務器軟件資源,包含了以下技術點:

        Yarn原理和架構、Yarn高可用、Container資源的封裝(CPU、內存和IO)、資源調度策略(FIFO、Fair和Capacity)
        主講內容7Hive

        分布式離線計算Nosql數據庫,數倉伴侶,包含了以下技術點:

        Hive原理和架構、HQL操作、數據類型、分區、分桶、臨時表、Meta Store服務、HiveServer內置函數、自定義UDF和UDAF、數據壓縮、存儲格式、自動化腳本、常見性能優化、explain執行計劃詳解
      • 【在線教育】知行教育就業班 3

        課時:8天技術點:120項測驗:0次學習方式: 線下面授或者線上學習(可選)

        學習目標

        1.掌握離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整項目流程|2.大量教育大數據的真實業務邏輯,共涉及20多個主題,100多個指標,提升學員在教育行業中的核心競爭力|3.包括海量數據場景下如何優化配置|4.拉鏈表的具體應用|5.新增數據和更新數據的抽取和分析|6.hive函數的具體應用|7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能

        知行教育是以建立集團數據倉庫,統一集團數據中心,把分散的業務數據集中存儲和處理項目從需求調研、設計、版本控制、研發、測試到落地上線,涵蓋了項目的完整工序挖掘分析海量用戶行為數據,定制多維數據集合,形成數據集市,供各個場景主題使用的在線教育大數據項目

        進入項目體驗
        主講解決方案
        1.大數據部署運維:Cloudera Manager 2.分析決策需求:數據倉庫 3.數據采集:sqoop 4.數據分析:hive 5.歷史數據快照:拉鏈表 6.數據更新后的統計分析:拉鏈表 7.數據調度:oozie+shell 8.OLAP系統存儲:mysql 9:數據展現:帆軟BI
        主講知識點
        1.掌握離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整項目流程|2.大量教育大數據的真實業務邏輯,共涉及20多個主題,100多個指標,提升學員在教育行業中的核心競爭力|3.包括海量數據場景下如何優化配置|4.拉鏈表的具體應用|5.新增數據和更新數據的抽取和分析|6.hive函數的具體應用|7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能
      • 后臺數據服務就業班 4

        課時:5天技術點:68項測驗:1次學習方式:線下面授

        學習目標

        1.掌握SpringBoot整合SpringMVC開發|2.掌握SpringBoot整合MyBatis開發|3.掌握Eureka搭建|4.掌握Feign的使用|5.掌握后端數據微服務接口開發|6.掌握通過Spring技術架構|7.掌握微服務搭建|8.掌握企業級數據微服務接口開發

        主講內容1Spring

        Spring是分層的服務器端應用full-stack輕量級開源框架,Java程序員必會的開源框架。包含了以下技術點:

        1.IOC控制反轉|2.AOP面向切面編程|3.對象容器化管理|4.springmvc核心編程|5.mvc編程模型
        主講內容2Spring Boot

        SpringBoot提供了一種快速使用Spring的方式,基于約定優于配置的思想。包含了以下技術點:

        1.Spring Boot整合Spring MVC|2.使用Spring Boot整合MyBatis開發
        主講內容3Spring Cloud

        Spring Cloud 是一系列框架的有序集合,Spring Cloud 并沒有重復制造輪子,目前各家公司開發服務框架組合起來。包含了以下技術點:

        1.搭建Eureka注冊中心、Feign|2.使用Spring Cloud Gateway搭建微服務網關
      • 實時生態圈就業班 5

        課時:17天技術點:170項測驗:1次學習方式:線下面授

        學習目標

        1.掌握Redis原理及架構|2.掌握Redis命令操作、及數據結構|3.掌握Hbase原理及架構|4.掌握HBase命令操作、MapReduce編程|5.掌握Phoneix二級索引優化查詢|6.掌握ELK開發掌握Kafka原理及架構|7.掌握KafkaStreams開發|8.掌握基于Flink進行實時和離線數據處理、分析|9.掌握基于Flink的多流并行處理技術|10.掌握千萬級高速實時采集技術

        主講內容1分布式緩存系統

        存儲效率高,適合作為中間緩存數據庫使用,包含以下技術點:

        Redis原理及架構、Redis Cluster原理及架構、Redis常用操作
        主講內容2萬億級NoSQL海量數據存儲

        存儲海量數據的列式數據庫,內部高效設計解決了海量數據存儲,包含了以下技術點:

        HBase原理及架構、預分區、LSM結構、Bloom Filter、co-processor、結合Phoneix進行優化查詢
        主講內容3分布式流處理平臺

        分布消息隊列存儲數據,應用于低延時實時場景,包含了以下技術點:

        Kafka原理及架構分析、分布式實時計算架構和思想
        主講內容4Elastic Stack

        涵蓋數據采集、數據存儲、數據可視化的完整的實時搜索解決方案,包含以下技術點:

        ElasticSearch開發、Logstash數據采集、Kibana數據可視化
        主講內容5Flink Stream

        構成了flink解決實時數據處理部分,是掌握實時數據處理必備技能,包含了以下技術點:

        Flink DataStream的使用、Kafka + Flink
        主講內容6Flink DataSet

        離線數據處理數據集,是掌握離線數據處理必備技能,包含了以下技術點:

        Flink 性能監控、Flink調優、Flink SQL執行計劃
        主講內容7Flink Runtime

        是對flink任務進行調優,必須掌握的內容,包含了以下技術點:

        Watermark、Checkpoint、任務調度與負載均衡、狀態管理
        主講內容8Flink SQL

        解決flink中的sql化開發,Flink-Sql開發必備技能,包含了以下技術點:

        Flink SQL開發、Hive + Flink SQL
        主講內容9Flink實戰

        踐行場景式教學,運用了flink階段知識點,解決實時數據分析的應用,包含了以下技術點:

        Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL實戰
      • 【證券】今日指數就業班 6

        課時:10天技術點:130項測驗:0次學習方式: 線下面授或者線上學習(可選)

        學習目標

        1.掌握證券相關業務|2.掌握大數據批處理、流處理以及web接口開發|3.掌握深市滬市數據采集|3.掌握Flume自定義source|4.掌握Flume攔截器的開發|5.了解模型和SQL開發規范|6.掌握Oozie定時調度|7.使用hive進行數據開發|8.掌握秒級、分時行情開發,涵蓋個股、指數、K線|9.掌握基于Flink CEP的實時股票漲跌幅、振幅、交易量監控預警|10.掌握基于Kylin的離線預警開發|11.掌握基于Spring Boot的數據服務接口開發

        實時監控證券市場的市場每日的業務交易,實現對證券市場交易數據的統計分析;搭建監察預警體系,包括:預警規則管理,實時預警,歷史預警,監察歷史數據分析等;股市行情交易數據實時采集、實時數據分析、多維分析,即席查詢,實時大屏監控展示?

        進入項目體驗
        主講解決方案
        1.離線批處理數據分析:hive 2.數據源接收平臺:ftp 3.數據采集:flume 4.消息隊列:kafka 5.實時流處理:flink 6.秒級行情數據存儲:Hbase 7.分時行情數據存儲:Apache Druid 8.K線數據存儲:Mysql 9.分時行情歷史數據存儲:HDFS(Hive) 10:實時監控預警:Flink CEP 11:離線數據預警:Kylin 12:BI報表:Superset 13:前端應用接口:微服務(SpringBoot) 14:前端UI展示:Vue
        主講知識點
        項目采用流處理計算引擎Flink,實時處理100萬筆/s的交易數據 基于企業主流的流處理技術框架:Flume、Kafka、Flink、Hbase等 基于Hive和Kylin的批數據處理,可進行海量多維分析 Hbase5日內秒級行情億級規模,MySQL5日內分時行情千萬級規模 T-5日內實時行情毫秒響應,T-5日外的歷史行情秒級響應 數據存儲以HDFS、Hive、Hbase應對PB級規模數據 項目涵蓋主流離線數倉的技術和OLAP分析引擎 OLAP分析引擎以Kylin和Druid實現離線和實時的指標分析 隊列服務以低延遲、高吞吐-百萬筆/秒的Kafka保障數據接收 緩存服務基于Redis的高速緩存,實現數據快速交換 TB級別的實時日處理數據、存儲PB級歷史數據 主備雙大數據平臺保障。
      • Spark技術棧就業班 7

        課時:10天技術點:91項測驗:1次學習方式:線下面授

        學習目標

        1.掌握Scala語言基礎、數據結構|2.掌握Scala語言高階語法特性|3.掌握Spark的RDD、DAG、CheckPoint等設計思想|4.掌握SparkSQL結構化數據處理,Spark On Hive|5.掌握SparkStreaming整合Kafka完成實時數據處理|6.掌握SparkStreaming偏移量管理及Checkpoint|7.掌握Structured Streaming整合多數據源完成實時數據處理|8.具備Spark全棧開發能力,滿足大數據行業多場景統一技術棧的數據開發,提供就業核心競爭力

        主講內容1Scala語言

        函數式編程基礎語言,通過學習scala可掌握spark、flink中使用函數式編程方式實現分析程序,包含了以下技術點:

        Scala基礎、變量聲明、數據類型、條件表達式、塊表達式、循環、方法和函數、數組、元組、集合、Iterator、構造器、伴生對象、Akka編程
        主講內容2Spark core

        整個spark框架核心部分,掌握框架內部設計思想,數據流轉步驟,是學習spark的基礎模塊,包含了以下技術點:

        Spark架構和原理(運行機制、Driver和Executor、spark任務提交流程)、RDD開發和原理(Partition、Task、RDD的依賴關系、RDD的容錯機制、RDD的存儲級別、RDD的緩存機制)、廣播變量 、DAG原理(DAG思想、DAG的生成、DAG的處理過程)
        主講內容3Spark sql

        學習spark框架的sql操作,spark與hive、hbase等外部數據源的整合操作,包含了以下技術點:

        Spark SQL架構和原理、DataFrame、DataSet DSL和SQL開發、Spark多數據源整合(txt、CSV、Json、parquet、JDBC、Hive)、Spark SQL執行計劃原理、Spark SQL性能調優
        主講內容4Spark Streaming

        流式數據分析處理模塊,以微批方式處理海量數據,基于數據處理時間,包含了以下技術點:

        Spark Streaming流式開發、DStream API、整合多數據源、偏移量管理
        主講內容5Structured Streaming

        流式數據分析處理模塊,基于事件時間處理海量數據,更符合業務場景,包含了以下技術點:

        Structured Streaming開發(input、output、window、watermark、過期數據操作、去重等)、Structured Streaming多數據源整合(socket、Kafka)、 Flume+kafka+Structured Streaming案例實戰
      • 【物流】客快物流就業班 8

        課時:10天技術點:130項測驗:0次學習方式: 線下面授或者線上學習(可選)

        學習目標

        1.掌握離線業務、實時業務解決方案|2.ClickHouse實時存儲、計算引擎|3.Kudu + Impala準實時分析系統|4.基于Docker搭建異構數據源|5.掌握企業級應用場景以企業主流的Spark生態圈為核心技術(Spark、Spark SQL、Structure Streaming)

        基于一家大型物流公司研發的智慧物流大數據平臺,日訂單上千萬;圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等;提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求,并針對數據分析結果,提出具有中觀指導意義的解決方案

        進入項目體驗
        主講解決方案
        數據源:oracle、mysql 實時增量同步軟件(數據采集):ogg、canal 虛擬化資源管理:docker 實時數據分析:spark Structure Streaming 消息隊列:kafka 離線數據存儲介質:kudu 實時OLAP分析:clickhouse 實時訂單查詢存儲介質:elastic search 即席數據分析工具:impala 大數據分析交互平臺:hue 前端應用接口:微服務(springboot) 前端ui展示:vue、echats
        主講知識點
        1.基于大型物流公司研發的智慧物流大數據平臺,日訂單上千萬|2.圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等|3.提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求|4.針對數據分析結果,提出具有中觀指導意義的解決方案|5.涵蓋離線業務、實時業務|6.ClickHouse實時存儲、計算引擎|7.Kudu + Impala準實時分析系統|8.基于Docker搭建異構數據源,還原企業真實應用場景|9.以企業主流的Spark生態圈為核心技術
      • 【物聯網】星途車聯網就業班 9

        課時:10天技術點:130項測驗:0次學習方式: 線下面授或者線上學習(可選)

        學習目標

        1.掌握基于Flink全棧進行快速OLAP分析|2.掌握基于Springboot+SwaggerUI快速構建數據服務接口|3.掌握實時高性能海量數據分析與存儲|5.掌握針對Hbase調優實現Hbase存儲調優|6.掌握數據報表分析|7.掌握業務數據實時大屏場景實現

        涵蓋完整車聯網業務場景,包含駕駛行程、電子圍欄、遠程診斷等真實業務;通過QBOX車輛終端數據收集,并解析為QSP數據、QCS數據、充電數據、HU數據;提供實時計算服務與離線計算服務,并通過API接口以報表和大屏展示分析結果數據

        進入項目體驗
        主講解決方案
        1.離線數據分析:flink batch、hive 2.實時在線分析:flink、hbase 3.消息隊列:kafka 4.駕駛行程分析:flink、hbase 5.實時在線故障分析:mongodb 6.車型指標分析:hive、shell 7.實時指標查詢:phoenix 8.后臺數據服務接口:springboot、swagger-ui、echarts 9.多數據源加載:flink jdbc 10.車輛告警規則分析:flink、zeppelin 11.離線任務調度:azkaban 12.報表:superset 13.頁面展示:echarts、javascript
        主講知識點
        海量數據處理,系統15分鐘內收集的新能源車輛的數據超過千萬條 基于Hive、HBase、HDFS數據存儲 基于Kafka數據傳輸 基于Flink全棧數據處理 基于Nginx做反向代理、LSV和Keepalived負載均衡和高可用
      • 大數據平臺化開發就業班 10

        課時:6天技術點:72項測驗:0次學習方式:線下面授或線上學習(可選)

        學習目標

        1.掌握大數據組件的常用運維方法解決實際的運維方案|2.具備大數據平臺運維能力|3.掌握基于Python基礎運維;|3.掌握基于CM+CDH集群運維方案。

        主講內容1大規模大數據集群部署、大規模集群運維監控

        大數據平臺運維與監控部署解決方案,解決大數據運行環境與任務資源占用情況監控,包含了以下技術點:

        涵蓋主流的一些大數據平臺,涵蓋CDH、HDP、Apache、云平臺等部署方案,引入各家的最佳實踐。包含基于平臺下的各個組件的運維,包括Prometheus、Zabbix、Grafana、Eagle、CM、Ambari、Ganglia等
      • 大數據數據中臺就業班 11

        課時:3天技術點:99項測驗:0次學習方式:線下面授或線上學習(可選)

        學習目標

        1.掌握數據中臺構建思路及實戰|2.具備企業數據中臺構建能力|3.掌握基于Altlas元數據管理工具進行數據血緣分析;|4.掌握大數據數據體系建設、管理等。

        主講內容1大數據數據體系建設、管理

        數據中臺的前提在于平臺設計與元數據管理,基于各個業務系統的元數據,抽象出業務共同點,分類目管理,包含了以下技術點:

        基于Altlas元數據管理工具進行數據血緣分析、構建數據地圖,構建統一存儲計算平臺,建立數據類目體系、標簽類目體系、數據資產管理,并基于數據中臺構建數據應用服務
      • 大廠解決方案實戰就業班 12

        課時:5天技術點:60項測驗:0次學習方式:線下面授或線上學習(可選)

        學習目標

        1.掌握大型門戶可視化任務提交解決方案;|2.具備大型旅游出行服務平臺統一性能監控平臺解決方案;|3.具備B2B2C電商集中實時采集消息隊列存儲方案、出行平臺實時風控性能調優方案;|4.具備大型電商雙十一千萬級實時處理調優。

        主講內容1大廠解決方案實戰

        出行、電商、視頻、社交等領域大數據解決方案

        大型門戶可視化任務提交解決方案、大型旅游出行服務平臺統一性能監控平臺解決方案、B2B2C電商集中實時采集消息隊列存儲方案、出行平臺實時風控性能調優方案、大型電商雙十一千萬級實時處理調優、視頻網站海量用戶行為數據計算調優
      • 大數據常見架構與設計就業班 13

        課時:5天技術點:46項測驗:0次學習方式:線下面授或線上學習(可選)

        學習目標

        1.掌握基于美團點評實時數倉架構;|2.掌握基于拼多多離線數倉架構;|3.掌握基于小米快速OLAP分析架構;|4.掌握抖音小視頻實時推薦架構。

        主講內容1一線大廠技術架構

        具備主流的大數據架構設計、選型能力,能夠根據不同的場景、不同的性能要求,選擇不同的技術架構,并具備獨立選型組件組織成大數據架構能力

        美團點評實時數倉架構、拼多多離線數倉架構、小米快速OLAP分析架構、抖音小視頻實時推薦架構
      • 【新零售】新零售項目實戰就業班 14

        課時:10天技術點:63項測驗:0次學習方式:線下面授或線上學習(可選)

        學習目標

        1.掌握基于高性能方案構建離線數倉、以及實時數倉構建方案;|2.具備項目采用Hive+Presto架構構建高性能的離線處理方案;|3.具備基于ClickHouse的實時數倉,實現秒級OLAP分析;|4.具備使用ClickHouse、Druid進行實時AD Hock,以大數據為驅動,打通線上線下體驗與物流融合的新零售項目。

        本項目基于國內大型新零售巨頭開發的大數據平臺,基于高性能方案構建離線數倉、以及實時數倉。該項目涵蓋完整的業務,包括銷售、屢單、會員、促銷、商品、客戶等主題,每個主題涵蓋大量真實的業務場景,項目手把手帶著學生開發基于新零售場景下的離線、實時業務。本項目采用Hive+Presto架構構建高性能的離線處理方案,并采用基于ClickHouse的實時數倉,實現秒級OLAP分析。

        主講解決方案
        1. 基于Sqoop和HDFS的批量離線數據采集解決方案 2. 基Hive+Presto的高性能離線數倉解決方案3. 基于Canal+Kafka的零副作用實時數據采集解決方案4. 基于ClickHouse的實時數倉解決方案
        主講知識點
        1. 掌握使用Kafka高吞吐消息隊列作為臨時數據存儲2. 掌握使用Sqoop進行T+1數據導入到分布式存儲3. 掌握基于Canal實時采集MySQL中的數據4. 掌握基于HDFS存儲大規模數據5. 掌握Hive+Presto搭建高性能離線數倉6. 掌握基于ClickHouse搭建大規模實時數倉
      • 【工業】工業大數據項目實戰就業班 15

        課時:10天技術點:66項測驗:0次學習方式:線下面授或線上學習(可選)

        學習目標

        1.完成基于國內大型的設備制造商大數據項目開發;|2..掌握基于spark分析原材料消耗、設備使用情況、多維度產品銷售分析,以大數據推動工業4.0;|4.具備基于HDP平臺,連接工業設備,收集數據資源,實現產業監測分析。

        本項目基于國內大型的設備制造商大數據項目開發。該企業在全球范圍內銷售設備,設備涵蓋加油站相關的所有,例如:加油機、油罐建設、加氣機、自助設備等設備生產制造、設計、銷售,并提供全球性的服務。在國內重點客戶為:中國石油、中國石化、以及各個地域的大型企業。在國內,業務覆蓋的油站約8W座,設備數量50W臺。拿加油機設備來說,一臺設備包含了眾多的配件,每個配件的維護,設備信息的上報,服務工作人員的調度、GPS跟蹤定位等,企業經過多年的經營,積累了海量的數據。集群公司為了能夠確保企業精細化運營,決定進行數字化轉型,依托于大數據技術,以客戶、生產、服務、運營為核心,打造一個全方位的數字化平臺。

        主講解決方案
        1. 基于HDP快速搭建大數據平臺2. 基于Hive+Spark SQL搭建離線數據倉庫3. 基于Structured Streaming構建高吞吐實時處理4. 基于ECharts實現可視化
        主講知識點
        使用主流的Hive+Spark構建離線數倉使用Structure Streaming構建實時異常告警系統基于完整的工業業務背景實現的離線和實時大數據業務豐富地地圖展示可視化開發學會使用Spark SQL處理復雜業務完整的離線采集 + 實時采集方案掌握如何使用調度平臺調度T+1批處理任務Spark離線任務和實時任務整合,統一由YARN做資源管理
      • 大數據數據挖掘就業班 16

        課時:20天技術點:52項測驗:0次學習方式:線下面授或線上學習(可選)

        學習目標

        1.掌握大數據數據挖掘常見的算法及應用場景|2.具備大數據數據挖掘、機器學習模型開發、調優能力|3.掌握PySpark、PyFlink等Python大數據生態技術;|4.掌握Python數據挖掘技術與案例;|5.掌握SparkMl&SparkMllib機器學習庫使用經驗。

        主講內容1企業級大數據數據挖掘解決方案

        主要包含機器學習與python機器學習內容,學習此階段能掌握企業級數據挖掘、建模、算法,實現自動化復雜場景應用。包含了以下技術點:

        機器學習基礎、SparkMl&SparkMllib基礎實戰、Python核心基礎、Python數據科學庫基礎(Numpy、Pandas、Matplotlib、Seaborn、Imblearn-Learn、Scikit-Learn)、Python數據挖掘案例、PyHdfs、PyHive、PyHbase、Kafka-Python、PySpark、PyFLink案例實戰
      • BAT直通車就業班 17

        課時:8天技術點:300項測驗:0次學習方式:線下面授或線上學習(可選)

        學習目標

        1.掌握大型互聯網公司常見面試題|2.具備一線大廠多領域場景剖析能力;|3.具備核心底層源碼剖析能力,如:HDFS、MapReduce、Hive、Flume、Sqoop等;|4.具備Spark、Spark Streaming等面試題及核心源碼、Flink面試題及核心源碼;|5.掌握底層數據結構面試題 。

        主講內容1BAT直通車

        互聯網公司常見面試題及應用場景剖析

        BAT大數據常見的面試精選題、一線大廠多領域場景剖析、HDFS、MapReduce、Hive、Flume、Sqoop等面試題精講、Spark、Spark Streaming等面試題精講、Flink面試題精講、底層數據結構面試題精講
      “周”更新日志
      課程大版本更新

      課程更新日志按周更新熱點/前沿技術

      • 新增2020-07-28

        · kylin離線指標成交數據top10統計分析 · 新增證券指標最值統計分析 · 原始數據明細數據ETL 、駕駛行程業務中間表模型圖 、電子圍欄中間表模型圖

        升級2020-07-28

        · 自定義數據源、數據輸出原理剖析

      • 更新2020-07-20

        · Swappiness優化 · 內存頁透明化 · 最大文件句柄· 最大派生進程數

      • 更新2020-07-13

        · TCP Socket端口數 · 縮減Socket閑置時間 · 提高IO性能· Hive優化器與CBO引擎

      • 升級2020-07-06

        · Review學生出勤看板 · 代碼review 文件資料整理 業務圖解 · ETL批處理作業 Oozie調度作業 · Hive建表腳本· ue前端頁面原型(分時圖)

      • 新增2020-06-29

        · Kylin工作原理 cube優化 · Kylin碎片管理 Kylin增量構建 · Kylin日換手率 · flink數據模擬數據采集

      • 更新2020-06-22

        · Spark SQL調度腳本開發 · 異構IO實時維度拉寬優化 · 實時數倉分層 · 統一使用Apache Druid實現指標計算 · Flink CEP實現秒殺風控業務

      • 更新2020-06-15

        · 點擊流數據離線處理 · Kylin剪枝調優、衍生維度調優 · 增量構建、碎片管理 · 點擊流數據傾斜解決方案實戰

      • 新增2020-06-08

        · 緩慢變化維SCD解決方案實戰 · Phoenix二級索引性能調優 · Kettle維度數據生成 · 離線數倉用戶畫像分析主題

      • 新增2020-06-1

        · 周數據匯總實時指標統計 · Canal高可用(服務器端、客戶端)實戰、原理 · Kettle可視化數據處理、調度 · PowerDesigner建模實戰

      • 新增5月25日

        · 三范式建模、與維度建模方法 · Kylin聚合維度、聯合維度、層級維度優化 · 拉鏈表實戰 · 城市維度實時指標統計

      2020-07-11 升級版本8。1

      課程名稱

      大數據

      課程推出時間

      2020-07-11

      課程版本號

      8.1

      主要針對系統

      Windows、Linux、MacOS

      主要針對版本

      Hadoop3.2.1、Hive3.1.2、Zookeeper3.6.0、Flink1.10、Spark2.4.5、ClickHouse20.1.7.38、Kylin3.0.1、ElasticSearch7.6.1、Logstash7.6.1、Kibana7.6.1 Oozie5.2,Impala3.3.0,Azkaban3.81.0,Kudu1.11.1

      主要使用開發工具

      DataGrip、IDEA

      課程介紹

      以周為單位進行課程更新升級,新增Elastic Stack、多領域大數據解決方案、一線大廠技術架構等課程。

      1

      新增Elastic Stack、 出行、電商、視頻、社交等領域大數據解決方案、 一線大廠技術架構、 新零售大數據項目實戰,離線實時全覆蓋。

      1

      更新分布式緩存系統, 萬億級NoSQL海量數據存儲, 分布式流處理平臺。

      1

      友情提示更多學習視頻+資料+源碼,請加QQ:2632311208。

      2020-06-01 升級版本8.0

      課程名稱

      大數據

      課程推出時間

      2020-06-01

      課程版本號

      8.0

      主要針對系統

      Windows、Linux、MacOS

      主要針對版本

      Hadoop3.2.1、Hive3.1.2、Zookeeper3.6.0、Flink1.10、Spark2.4.5、ClickHouse20.1.7.38、Kylin3.0.1、ElasticSearch7.6.1、Logstash7.6.1、Kibana7.6.1 Oozie5.2,Impala3.3.0,Azkaban3.81.0,Kudu1.11.1

      主要使用開發工具

      DataGrip、IDEA

      課程介紹

      根據大量的行業調研分析,本次課程更新以大數據開發為主線,在7.0基礎上再次縮減Java課程占比,弱化各類組件安裝。并針對大數據技術深度和廣度進行升級,例如新增Spark內存管理、Flink性能優化及反壓、背壓原理等同時為提高學員的就業薪資,推出多行業項目解決方案,例如證券、物流等。

      1

      新增新數據倉庫、ETL、BI開發

      1

      新增Oracle及PLSQL編程


      1

      新增數據微服務開發

      1

      新增Spark的內存管理、avro序列化數據源

      1

      新增continuous processing、偏移量管理機制

      1

      新增KafkaStreams編程


      1

      新增Kafka的exactly-once、Kafka事務

      1

      新增Kafka的metrics監控

      1

      新增Hbase的協處理器和phoneix的二級索引實現


      1

      新增Hbase布隆過濾器、LSM樹、StoreFiles結構剖析

      1

      新增FLink性能優化及反壓、背壓指標計算原理

      1

      新增FlinkSQL On Hive

      1

      新增Flink HistoryServer

      1

      新增Flink的UDF、UDAF、UDTF的實現

      1

      新增在線教育行業項目

      1

      新增物流行業項目

      1

      新增物聯網行業項目

      1

      新增證券行業項目

      1

      更新電商行業項目

      1

      刪減JavaWeb

      2019.07.22 升級版本7.0

      課程名稱

      大數據實戰班課程

      課程推出時間

      2019。07。22

      課程版本號

      7.0

      主要針對版本

      CDH5。14、Spark2。2。0、Flink1。8、Kafka0。11。0。2、ELK6。0

      主要使用開發工具

      IntelliJ IDEAA

      課程介紹

      大數據技術目前在企業里面使用的越來越廣泛,對大數據人才的需求越來越多,大數據的整個課程體系是由來自大型互聯網、外企等具有5年以上的一線大數據高級工程師、架構師和高級機器學習工程師設計出來的,內容含金量非常高。 課程體系涉及的技術以企業需求為導向,課程涉及的項目也是企業里面真實的項目,通過理論、實踐和真實的項目相結合,讓學員能夠快速、深刻的掌握大數據常用的核心技術和開發應用,同時可以滿足企業對中、高端大數據人才的需求。大數據課程體系除了包含常用的Hadoop、Hive、Hbase、ELK、Sqoop、Flume、Kafka、Spark等技術和項目,還新增了目前互聯網比較流行的Flink、Druid、Kylin等技術和項目,同時引入了機器學習和深度學習Spark Mllib和Tensorflow等技術和項目實戰。

      1

      新增Impala即席查詢組件

      1

      新增Kudu列存儲服務

      1

      新增Structured Streaming結構化數據流處理

      1

      新增spark MLlib數據挖掘

      1

      新增spark graphX圖計算

      1

      新增加強Flink的基礎課程和案例實戰

      1

      新增增加了Flink高級特性CEP

      1

      新增Kylin數據OLAP分析

      1

      新增Druid時序數據實時分析

      1

      新增Kettle數據ETL工具

      1

      新增深度學習框架Tensorflow

      1

      新增用戶畫像大企業實戰型項目

      1

      新增數據倉庫項目大型企業實戰項目

      1

      新增多行業、高質量的大數據實戰項目

      2018.09.10 升級版本6.0

      課程名稱

      大數據實戰班課程

      課程推出時間

      2018.09.10

      課程版本號

      6.0

      主要針對版本

      JDK1。8\CDH2。7。4\Storm1。1。1\Spark 2。1

      主要使用開發工具

      IntelliJ IDEA

      課程介紹

      本課程是基于V5.0的一次重大更新,匯總并收集了大數據學科一年以來15個零基礎班級的授課信息、學習信息、就業信息。重新調整了課程的分布情況,新增了大數據綜合項目,新增了第四代大數據處理框架FLink,新增了數據庫優化,新增了JVM基礎及原理,新增了Spark性能調優等內容。課程升級方面,主要對機器學習課程進行了升級,推薦系統項目后置變成7天的豐富課程,提升學員進入機器學習的競爭力,從而更好的從事人工智能領域相關的工作。
      整體而言,課程在培養中高級大數據工程師的方向上又前進了一大步。

      1

      新增Hadoop 2.7.2\Storm1.1.1\Spark 2.1

      1

      新增Java virtual machine原理分析

      1

      新增Java高并發核心知識

      1

      新增數據庫優化及調優

      1

      新增第四代大數據處理框架Apache Flink

      1

      新增互聯網反欺詐項目實戰

      1

      新增Spark原理深入剖析及生產調優

      1

      新增廣告系統業務模型及CTR預估

      1

      優化用戶畫像概述/數據/建模/算法實戰

      1

      優化推薦系統協同過濾算法實戰

      1

      優化基于內容的推薦系統實戰

      1

      優化基于關聯規則推薦系統實戰

      1

      優化混合推薦與CTR點擊預估

      1

      優化全面升級Hadoop版本為CDH

      2017.07.01 升級版本5.0

      課程名稱

      大數據實戰班課程

      課程推出時間

      2017.07.01

      課程版本號

      5.0

      主要針對版本

      JDK1.8\Hadoop 2.7.2\Storm1.1.1\Spark 2.1

      主要使用開發工具

      Eclipse、IDEA

      課程介紹

      新增Java基礎、JavaWeb核心編程、JavaWeb三大框架、網絡爬蟲、分布式電商網站開發等課程模塊。培養學生編程能力,讓零基礎學員能夠更好的學習大數據項目。 大數據方面方面,新增點擊流日志收集系統、用戶日志分析報表系統、用戶畫像系統等案例。讓學員不僅僅學習到大數據技術點,能夠使用大數據解決實際問題。 擴充機器學習課程為10天。該課程歷時一年研發,深入淺出,能夠讓學員更好的入門機器學習,成為人工智能開發的初級工程師。

      1

      更新Hadoop 2.7.2\Storm1.1.1\Spark 2.1

      1

      新增品優購電商項目

      1

      新增網絡爬蟲開發

      1

      新增三大框架開發

      1

      新增JavaWeb核心

      1

      新增Java語言基礎

      2016.03.01 升級版本4。0

      課程名稱

      大數據實戰班課程

      課程推出時間

      2016.03.01

      課程版本號

      4.0

      主要針對版本

      JDK7.x

      主要使用開發工具

      Eclipse、IDEA

      課程介紹

      IVE3.0課程對比原有課程做了重大更新
      具體更新內容如下

      簡介

      將大數據的核心技術hadoop及其生態圈技術完美的融入到了課程中,課程分階段的進行案例實戰和項目實戰,在大數據方面知識體系更加完整,課程更加深度有深度,更加貼近實戰。分階段的進行大數據生態圈的學習,將生態圈分為離線處理,實時流計算和實現最火熱的spark內存計算,完美的將生態圈進行了抽離和歸類,讓學習變得更便捷。

      1

      更新Spark1.6版本;

      1

      新增Linux操作系統和shell腳本學習;

      1

      新增JVM內存模型分析;

      1

      新增NIO、Netty、自定義RPC框架;

      1

      新增電商點擊流日志分析;

      1

      新增電商實時日志告警平臺、交易風控風控平臺、流量日志分析分析;

      1

      新增Spark游戲日志分析項目;

      1

      刪除KVM虛擬化技術;

      1

      刪除網絡基礎和OpenvSwitch技術;

      1

      刪除Ceph存儲技術;

      1

      刪除CloudStack云管理平臺;

      1

      刪除混合云管理平臺項目。

      2015.05.15 升級版本3.0

      課程名稱

      大數據實戰班課程

      課程推出時間

      2015.05.15

      課程版本號

      3.0

      主要針對版本

      JDK7.x

      主要使用開發工具

      Eclipse、IDEA

      課程介紹

      IVE2.0課程對比原有課程做了重大更新
      具體更新內容如下

      簡介

      將大數據和虛擬化這兩大熱門技術加入到課程體系中,在大數據方面知識體系更加完整,課程更加深度有深度,更加貼近實戰。在虛擬化方面,選擇了在云計算領域常用的虛擬化、網絡、存儲等技術,并通過Apache CloudStack技術整合,在此基礎上開發混合云管理平臺。

      <

      1

      更新Hadoop2.0版本、Hive優化課程

      1

      新增電信流量運營分析項目

      1

      新增Scala函數式編程

      1

      新增Spark內存計算

      1

      新增KVM虛擬化技術

      1

      新增網絡基礎和OpenvSwitch技術

      1

      新增Ceph存儲技術

      1

      新增CloudStack云管理平臺

      1

      新增混合云管理平臺項目

      2014.02.15 升級版本 2。0

      課程名稱

      大數據實戰班課程

      課程推出時間

      2014.02.15

      課程版本號

      2.0

      主要針對版本

      JDK6。x

      主要使用開發工具

      Eclipse

      課程介紹

      隨著近年來云計算大數據的大力發展,市場對相關人才需求急增,所以本版課程在原有的云計算課程進行了顛覆性的改革,把原來只有1天的課程擴展為7天,加入了Hadoop生態圈的相關技術。

      1

      更新云計算課程:把原來只有1天的云計算課程增加到7天,Hadoop集群部署、優化HDSF、MapReduce案例

      <

      1

      新增Hadoop生態圈相關技術:Zookeeper、Hive、Hbase、Sqoop、Flume

      <

      1

      新增Storm實時計算技術和案例

      1

      新增黑馬論壇日志分析項目

      2012.02.15 升級版本 1.0

      課程名稱

      大數據實戰班課程

      課程推出時間

      2012。02。15

      課程版本號

      1.0

      主要針對版本

      JDK6.0

      主要使用開發工具

      Eclipse

      課程介紹

      近期云計算概念火爆異常,傳智播客敏銳的嗅探到大數據技術的悄然興起,并預測大數據技術將會像雨后春筍一樣快速發展,所以傳智播客與時俱進在課程中引入了1天的云計算課程,讓學員可以掌握最新的技術,拓寬學員的就業方向,增強就業競爭力。

      1

      新增云計算課程:云計算和大數據相關概念

      1

      新增Hadoop 1.0偽分布式環境部署

      1

      新增HDFS、MapReduce應用案例


      • 2020年

        傳智播客聯合大數據研究院、易觀智庫、帆軟等企業推出“真大數據”課程

        7.11舉行課程發布會,首推9個月高級軟件工程師課程

        “真大數據”課程的培訓機構
      • 2019年

        推出10天的大型用戶畫像項目,涵蓋完整的畫像系統流程,引入Spark MLLib開發挖掘模型

        大數據培訓機構|大型用戶畫像項目
      • 2018年

        率先引入Flink課程,更加貼合市場需求

        大數據培訓機構|Flink項目
      • 2016年

        率先推出零基礎大數據課程

        0基礎大數據培訓課程
      • 2015年

        引入基于內存計算的Spark框架,接軌大數據的第三個階段:數據計算引擎階段

        傳智大數據培訓課程引入內存計算的Spark框架
      • 2014年

        率先推出Storm課程,對標京東,開啟實時計算

        傳智大數據培訓班推出Storm課程
      • 2012年

        傳智播客首次推出大數據培訓課程

        首家推出大數據培訓課程
       

      返回頂部

      2019免费网赚挂机 秒速赛车投注 北京赛车pk10APP网资讯 快乐时时彩 99彩票导航网 业余时间上网赚钱 2019年捞金网赚 www.xieeybaa.com 2019互联网赚钱项目 什么网赚最赚现在