人才稀缺
未來(lái)3至5年，中國(guó)需要150萬(wàn)左右的大數(shù)據(jù)相關(guān)人才，目前大數(shù)據(jù)從業(yè)人數(shù)不足50萬(wàn)，市場(chǎng)需求遠(yuǎn)遠(yuǎn)得不到滿(mǎn)足。
高薪納賢
2018年大數(shù)據(jù)行業(yè)起薪突破20萬(wàn)每年，高出互聯(lián)網(wǎng)普通技術(shù)開(kāi)發(fā)人員134%，且招聘人數(shù)擴(kuò)大為7.8倍。
行業(yè)需求
大數(shù)據(jù)對(duì)接金融、電商、醫(yī)療、新零售、物聯(lián)網(wǎng)、工業(yè)、農(nóng)業(yè)、交通和能源等行業(yè)，人才需求量持續(xù)擴(kuò)大。
一將難求
前有萬(wàn)達(dá)集團(tuán)60萬(wàn)nx聘請(qǐng)大數(shù)據(jù)人才，后有大數(shù)據(jù)專(zhuān)業(yè)畢業(yè)生20wnx就職，大數(shù)據(jù)人才“重金難覓”。

掌握能力
掌握企業(yè)級(jí)基建環(huán)境部署、Hive和Spark數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)倉(cāng)庫(kù)搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)應(yīng)用和京東離線(xiàn)ETL。
勝任職位
離線(xiàn)數(shù)據(jù)工程師、數(shù)據(jù)倉(cāng)庫(kù)工程師、ETL工程師、數(shù)據(jù)采集工程師、數(shù)據(jù)支持工程師、BI商業(yè)分析師、數(shù)據(jù)可視化工程師、Hadoop工程師、Spark工程師
技術(shù)點(diǎn)
Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、數(shù)倉(cāng)架構(gòu)、維度建模、SuperSet、Azkaban、Airflow等。掌握企業(yè)級(jí)基建環(huán)境部署、Hive和Spark數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)倉(cāng)庫(kù)搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)應(yīng)用和京東離線(xiàn)ETL。
項(xiàng)目
數(shù)據(jù)服務(wù)、大數(shù)據(jù)可視化、企業(yè)級(jí)Hadoop基建項(xiàng)目部署、分布式網(wǎng)絡(luò)爬蟲(chóng)、基于Spark的大數(shù)據(jù)分析項(xiàng)目、ETL項(xiàng)目之Hive和SparkSQL、BI商業(yè)分析等。

掌握能力
掌握流數(shù)據(jù)接入、基于Flink實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)、流批一體數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)、數(shù)據(jù)湖開(kāi)發(fā)、實(shí)時(shí)ETL、實(shí)時(shí)監(jiān)控系統(tǒng)和京東實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)
勝任職位
實(shí)時(shí)工程師、Flink工程師、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工程師、實(shí)時(shí)ETL工程師、Spark工程師
技術(shù)點(diǎn)
Kafka、Structured Streaming、Hudi、Canal、Flink、ClickHouse、HBase、Phoenix、Elasticsearch、Redis
項(xiàng)目
實(shí)時(shí)監(jiān)控系統(tǒng)、基于Flink的實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)、實(shí)時(shí)數(shù)據(jù)湖、大數(shù)據(jù)搜索系統(tǒng)

掌握能力
掌握企業(yè)項(xiàng)目開(kāi)發(fā)流程、用戶(hù)畫(huà)像開(kāi)發(fā)、企業(yè)級(jí)推薦系統(tǒng)開(kāi)發(fā)、數(shù)據(jù)治理、基于生產(chǎn)環(huán)境項(xiàng)目部署和京東項(xiàng)目性能調(diào)優(yōu)
勝任職位
數(shù)據(jù)服務(wù)工程師、離線(xiàn)數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)工程師、BI商業(yè)分析師、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工程師、實(shí)時(shí)監(jiān)控系統(tǒng)工程師、ETL工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)治理工程師、高級(jí)數(shù)據(jù)開(kāi)發(fā)工程師、推薦工程、數(shù)據(jù)平臺(tái)工程師、數(shù)據(jù)架構(gòu)師
技術(shù)點(diǎn)
數(shù)據(jù)采集與監(jiān)控平臺(tái)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)、用戶(hù)畫(huà)像、推薦系統(tǒng)、基于Flink的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)、元數(shù)據(jù)管理與數(shù)據(jù)治理。

項(xiàng)目介紹
隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)源頭越來(lái)越多且是分散的，除了業(yè)務(wù)庫(kù)，APP 埋點(diǎn)，web 網(wǎng)站 log，LOT 設(shè)備等會(huì)產(chǎn)生各種各樣的海量數(shù)據(jù)，這些數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前（或之后），需要進(jìn)行統(tǒng)一（字段定義、主題歸屬、項(xiàng)目劃分等），數(shù)據(jù)集成在一起。離線(xiàn)數(shù)倉(cāng)的ETL，涵蓋數(shù)據(jù)的抽取轉(zhuǎn)換與加載。
項(xiàng)目目標(biāo)
在數(shù)據(jù)倉(cāng)庫(kù)中構(gòu)建模型，從數(shù)據(jù)源中抽取數(shù)據(jù)，然后對(duì)這些數(shù)據(jù)進(jìn)行轉(zhuǎn)化，最終加載到目標(biāo)數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)中去，實(shí)現(xiàn)離線(xiàn)數(shù)倉(cāng)ETL的過(guò)程。

項(xiàng)目介紹
企業(yè)信息化發(fā)展，數(shù)據(jù)源豐富，數(shù)據(jù)量比以往結(jié)構(gòu)化的數(shù)據(jù)大了幾個(gè)量級(jí)，對(duì) ETL 過(guò)程、存儲(chǔ)都提出了更高的要求?；ヂ?lián)網(wǎng)的在線(xiàn)特性也對(duì)實(shí)時(shí)性提出了要求，如用戶(hù)反欺詐、用戶(hù)審核等隨著用戶(hù)的暴漲。實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)，主要是對(duì)由用戶(hù)行為、業(yè)務(wù)行為等產(chǎn)生的巨大量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，并應(yīng)用到生產(chǎn)中。
項(xiàng)目目標(biāo)
基于分層的模型 ods/dwd/dws/，業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù),事實(shí)數(shù)據(jù)存儲(chǔ)在 kafka 中，維度數(shù)據(jù)存儲(chǔ)在 Hbase/Tair 中，dm 層的數(shù)據(jù)最終導(dǎo)出到 mq/olap/rds/kv 中。ad-hoc 查詢(xún)基于 Flink 來(lái)做。實(shí)時(shí)數(shù)倉(cāng)的存儲(chǔ)需考慮支持?jǐn)?shù)據(jù)重放，方便支持任務(wù)重跑。選擇一個(gè)具有重放功能的、能夠保存歷史數(shù)據(jù)并支持多消費(fèi)者的消息隊(duì)列，根據(jù)需求設(shè)置歷史數(shù)據(jù)保存的時(shí)長(zhǎng)，通過(guò)實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)，建成實(shí)時(shí)數(shù)倉(cāng)、實(shí)時(shí)指標(biāo)等，支撐企業(yè)鏈路的實(shí)時(shí)化。

項(xiàng)目介紹
大數(shù)據(jù)采集與指標(biāo)監(jiān)控項(xiàng)目是基于第一階段和第二階段課程，貫穿離線(xiàn)數(shù)據(jù)上報(bào)、數(shù)據(jù)儲(chǔ)存、數(shù)據(jù)服務(wù)監(jiān)控、數(shù)據(jù)分析等全套流程。整個(gè)項(xiàng)目包括Flume自定義攔截器代碼、自定義Azkaban監(jiān)控代碼和SQL相關(guān)指標(biāo)代碼開(kāi)發(fā)。
項(xiàng)目目標(biāo)
解決離線(xiàn)數(shù)據(jù)上報(bào)流程，數(shù)據(jù)采集操作，flume和azkaban的二次開(kāi)發(fā)，數(shù)據(jù)服務(wù)監(jiān)控，離線(xiàn)數(shù)據(jù)開(kāi)發(fā)流程。

項(xiàng)目介紹
HDFS+Flume+Sqoop+數(shù)倉(cāng)思想+Spark
SQL/Hive+Azkaban+Python+Shell+Superset大數(shù)據(jù)離線(xiàn)數(shù)倉(cāng)解決方案。
項(xiàng)目目標(biāo)
1 采集和同步架構(gòu)組件采用: Sqoop+Flume
2數(shù)倉(cāng)架構(gòu)組件采用:HDFS+SparkSQL/Hive
3 任務(wù)調(diào)度架構(gòu)采用：Azkaban+Python/Shell
4 涉及到數(shù)倉(cāng)思想: 分層+建模+維度+粒度+拉鏈+增量/全量+數(shù)據(jù)質(zhì)量等
5 本項(xiàng)目中的BI工具： Superset

項(xiàng)目介紹
準(zhǔn)實(shí)時(shí)數(shù)倉(cāng)是一個(gè)集流式數(shù)據(jù)集成，數(shù)據(jù)分析、DAU預(yù)測(cè)和數(shù)據(jù)應(yīng)用的數(shù)倉(cāng)型項(xiàng)目。整個(gè)項(xiàng)目架構(gòu)為Nginx+OpenResty+Kafka+Spark+Presto等技術(shù)構(gòu)成。
項(xiàng)目目標(biāo)
解決事件行為分析。
解決企業(yè)留存分析。
解決漏斗分析。
解決DAU預(yù)測(cè)及數(shù)據(jù)服務(wù)提供。

項(xiàng)目介紹
用戶(hù)畫(huà)像是基于數(shù)倉(cāng)之上的項(xiàng)目，主要解決畫(huà)像標(biāo)簽服務(wù)，比如人群圈定服務(wù)和相似用戶(hù)搜索服務(wù)等。同時(shí)標(biāo)簽的處理使用Word2Vec、TF-IDF、HanLP分詞等技術(shù)。
項(xiàng)目目標(biāo)
解決企業(yè)人群圈定。
解決相似用戶(hù)搜索。

大數(shù)據(jù)時(shí)代的需求：
隨著各行各業(yè)數(shù)據(jù)量的爆發(fā)性增長(zhǎng)，對(duì)數(shù)據(jù)分析的需求也在不斷增加。企業(yè)迫切需要數(shù)據(jù)分析專(zhuān)家來(lái)挖掘數(shù)據(jù)中的價(jià)值，并以數(shù)據(jù)驅(qū)動(dòng)的方式做出決策。根據(jù)熱點(diǎn)新聞報(bào)道，大數(shù)據(jù)數(shù)據(jù)分析人才供不應(yīng)求，求職市場(chǎng)上的需求超過(guò)人才的供給。
行業(yè)廣泛應(yīng)用：
大數(shù)據(jù)數(shù)據(jù)分析幾乎滲透于所有行業(yè)。從互聯(lián)網(wǎng)、金融、零售到醫(yī)療、制造等各領(lǐng)域，數(shù)據(jù)分析的應(yīng)用場(chǎng)景無(wú)處不在。根據(jù)報(bào)道，金融和電商是當(dāng)前對(duì)數(shù)據(jù)分析人才需求最為迫切的行業(yè)，而隨著5G、物聯(lián)網(wǎng)、人工智能等技術(shù)的發(fā)展，更多行業(yè)將加速數(shù)字化轉(zhuǎn)型，對(duì)數(shù)據(jù)分析人才的需求將進(jìn)一步增長(zhǎng)。
數(shù)據(jù)驅(qū)動(dòng)的決策：
隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)對(duì)企業(yè)決策的重要性越發(fā)凸顯。數(shù)據(jù)分析師通過(guò)對(duì)海量數(shù)據(jù)的挖掘和分析，為企業(yè)提供準(zhǔn)確的信息和決策支持，幫助企業(yè)實(shí)現(xiàn)商業(yè)智能和戰(zhàn)略?xún)?yōu)勢(shì)。在熱點(diǎn)新聞中，很多大型跨國(guó)企業(yè)都在加大對(duì)數(shù)據(jù)分析團(tuán)隊(duì)的投入，顯示出數(shù)據(jù)驅(qū)動(dòng)決策的重要性與價(jià)值。
工資水平不斷攀升：
由于大數(shù)據(jù)數(shù)據(jù)分析人才供需矛盾，市場(chǎng)對(duì)這類(lèi)人才非?？粗?。報(bào)道顯示，大數(shù)據(jù)數(shù)據(jù)分析崗位的工資水平普遍較高，并且隨著經(jīng)驗(yàn)的積累有望進(jìn)一步提高。這也使得大數(shù)據(jù)數(shù)據(jù)分析成為了各大高校和職業(yè)培訓(xùn)機(jī)構(gòu)的熱門(mén)專(zhuān)業(yè)和培訓(xùn)方向。