1.數(shù)據(jù)分析：數(shù)據(jù)分析是大數(shù)據(jù)基礎的主要應用方向，可以為您的業(yè)務或產品的發(fā)展方向提供決策依據(jù)。
2.智慧城市：比如我們比較常見的經過車流控制紅綠燈的變化，減少道路擁堵，根據(jù)人流控制路燈的亮度，可以達到省電的效果。

掌握能力
掌握企業(yè)級基建環(huán)境部署、Hive和Spark數(shù)據(jù)開發(fā)、數(shù)據(jù)倉庫搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉換、數(shù)據(jù)加載、數(shù)據(jù)應用和京東離線ETL。
勝任職位
離線數(shù)據(jù)工程師、數(shù)據(jù)倉庫工程師、ETL工程師、數(shù)據(jù)采集工程師、數(shù)據(jù)支持工程師、BI商業(yè)分析師、數(shù)據(jù)可視化工程師、Hadoop工程師、Spark工程師
技術點
Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、數(shù)倉架構、維度建模、SuperSet、Azkaban、Airflow等。掌握企業(yè)級基建環(huán)境部署、Hive和Spark數(shù)據(jù)開發(fā)、數(shù)據(jù)倉庫搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉換、數(shù)據(jù)加載、數(shù)據(jù)應用和京東離線ETL。
項目
數(shù)據(jù)服務、大數(shù)據(jù)可視化、企業(yè)級Hadoop基建項目部署、分布式網絡爬蟲、基于Spark的大數(shù)據(jù)分析項目、ETL項目之Hive和SparkSQL、BI商業(yè)分析等。

掌握能力
掌握流數(shù)據(jù)接入、基于Flink實時數(shù)據(jù)開發(fā)、流批一體數(shù)據(jù)倉庫開發(fā)、數(shù)據(jù)湖開發(fā)、實時ETL、實時監(jiān)控系統(tǒng)和京東實時數(shù)據(jù)開發(fā)
勝任職位
實時工程師、Flink工程師、實時數(shù)據(jù)倉庫工程師、實時ETL工程師、Spark工程師
技術點
Kafka、Structured Streaming、Hudi、Canal、Flink、ClickHouse、HBase、Phoenix、Elasticsearch、Redis
項目
實時監(jiān)控系統(tǒng)、基于Flink的實時數(shù)據(jù)開發(fā)、實時數(shù)據(jù)湖、大數(shù)據(jù)搜索系統(tǒng)

掌握能力
掌握企業(yè)項目開發(fā)流程、用戶畫像開發(fā)、企業(yè)級推薦系統(tǒng)開發(fā)、數(shù)據(jù)治理、基于生產環(huán)境項目部署和京東項目性能調優(yōu)
勝任職位
數(shù)據(jù)服務工程師、離線數(shù)據(jù)倉庫開發(fā)工程師、BI商業(yè)分析師、實時數(shù)據(jù)倉庫工程師、實時監(jiān)控系統(tǒng)工程師、ETL工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)治理工程師、高級數(shù)據(jù)開發(fā)工程師、推薦工程、數(shù)據(jù)平臺工程師、數(shù)據(jù)架構師
技術點
數(shù)據(jù)采集與監(jiān)控平臺、準實時數(shù)據(jù)倉庫、用戶畫像、推薦系統(tǒng)、基于Flink的實時數(shù)據(jù)倉庫、元數(shù)據(jù)管理與數(shù)據(jù)治理。

項目介紹
隨著互聯(lián)網的發(fā)展，數(shù)據(jù)源頭越來越多且是分散的，除了業(yè)務庫，APP 埋點，web 網站 log，LOT 設備等會產生各種各樣的海量數(shù)據(jù)，這些數(shù)據(jù)在進入數(shù)據(jù)倉庫之前（或之后），需要進行統(tǒng)一（字段定義、主題歸屬、項目劃分等），數(shù)據(jù)集成在一起。離線數(shù)倉的ETL，涵蓋數(shù)據(jù)的抽取轉換與加載。
項目目標
在數(shù)據(jù)倉庫中構建模型，從數(shù)據(jù)源中抽取數(shù)據(jù)，然后對這些數(shù)據(jù)進行轉化，最終加載到目標數(shù)據(jù)庫或者數(shù)據(jù)倉庫中去，實現(xiàn)離線數(shù)倉ETL的過程。

項目介紹
企業(yè)信息化發(fā)展，數(shù)據(jù)源豐富，數(shù)據(jù)量比以往結構化的數(shù)據(jù)大了幾個量級，對 ETL 過程、存儲都提出了更高的要求?；ヂ?lián)網的在線特性也對實時性提出了要求，如用戶反欺詐、用戶審核等隨著用戶的暴漲。實時數(shù)據(jù)開發(fā)，主要是對由用戶行為、業(yè)務行為等產生的巨大量數(shù)據(jù)進行實時處理，并應用到生產中。
項目目標
基于分層的模型 ods/dwd/dws/，業(yè)務數(shù)據(jù)和日志數(shù)據(jù),事實數(shù)據(jù)存儲在 kafka 中，維度數(shù)據(jù)存儲在 Hbase/Tair 中，dm 層的數(shù)據(jù)最終導出到 mq/olap/rds/kv 中。ad-hoc 查詢基于 Flink 來做。實時數(shù)倉的存儲需考慮支持數(shù)據(jù)重放，方便支持任務重跑。選擇一個具有重放功能的、能夠保存歷史數(shù)據(jù)并支持多消費者的消息隊列，根據(jù)需求設置歷史數(shù)據(jù)保存的時長，通過實時數(shù)據(jù)開發(fā)，建成實時數(shù)倉、實時指標等，支撐企業(yè)鏈路的實時化。

項目介紹
大數(shù)據(jù)采集與指標監(jiān)控項目是基于第一階段和第二階段課程，貫穿離線數(shù)據(jù)上報、數(shù)據(jù)儲存、數(shù)據(jù)服務監(jiān)控、數(shù)據(jù)分析等全套流程。整個項目包括Flume自定義攔截器代碼、自定義Azkaban監(jiān)控代碼和SQL相關指標代碼開發(fā)。
項目目標
解決離線數(shù)據(jù)上報流程，數(shù)據(jù)采集操作，flume和azkaban的二次開發(fā)，數(shù)據(jù)服務監(jiān)控，離線數(shù)據(jù)開發(fā)流程。

項目介紹
HDFS+Flume+Sqoop+數(shù)倉思想+Spark
SQL/Hive+Azkaban+Python+Shell+Superset大數(shù)據(jù)離線數(shù)倉解決方案。
項目目標
1 采集和同步架構組件采用: Sqoop+Flume
2數(shù)倉架構組件采用:HDFS+SparkSQL/Hive
3 任務調度架構采用：Azkaban+Python/Shell
4 涉及到數(shù)倉思想: 分層+建模+維度+粒度+拉鏈+增量/全量+數(shù)據(jù)質量等
5 本項目中的BI工具： Superset

項目介紹
準實時數(shù)倉是一個集流式數(shù)據(jù)集成，數(shù)據(jù)分析、DAU預測和數(shù)據(jù)應用的數(shù)倉型項目。整個項目架構為Nginx+OpenResty+Kafka+Spark+Presto等技術構成。
項目目標
解決事件行為分析。
解決企業(yè)留存分析。
解決漏斗分析。
解決DAU預測及數(shù)據(jù)服務提供。

項目介紹
用戶畫像是基于數(shù)倉之上的項目，主要解決畫像標簽服務，比如人群圈定服務和相似用戶搜索服務等。同時標簽的處理使用Word2Vec、TF-IDF、HanLP分詞等技術。
項目目標
解決企業(yè)人群圈定。
解決相似用戶搜索。

大學畢業(yè)生
缺乏工作經驗和技能，對未來沒有明確的規(guī)劃，期望通過學習大數(shù)據(jù)躋身IT行業(yè)的人員。
技術愛好者
有較強的學習思維和邏輯能力，能應對復雜業(yè)務場景處理，對大數(shù)據(jù)技術感興趣的人員。
預轉行人員
目前的工作待遇不理想，上升空間有限或已經進入職業(yè)瓶頸期，想要突破轉行的各行各業(yè)人士。
想不斷提升
具有一定的大數(shù)據(jù)技術理論基礎，需要了解大數(shù)據(jù)技術在實際業(yè)務中如何使用的人員。