掌握能力
掌握企業(yè)級(jí)基建環(huán)境部署、Hive和Spark數(shù)據(jù)開發(fā)、數(shù)據(jù)倉(cāng)庫(kù)搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)應(yīng)用和京東離線ETL。
勝任職位
離線數(shù)據(jù)工程師、數(shù)據(jù)倉(cāng)庫(kù)工程師、ETL工程師、數(shù)據(jù)采集工程師、數(shù)據(jù)支持工程師、BI商業(yè)分析師、數(shù)據(jù)可視化工程師、Hadoop工程師、Spark工程師
技術(shù)點(diǎn)
Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、數(shù)倉(cāng)架構(gòu)、維度建模、SuperSet、Azkaban、Airflow等。掌握企業(yè)級(jí)基建環(huán)境部署、Hive和Spark數(shù)據(jù)開發(fā)、數(shù)據(jù)倉(cāng)庫(kù)搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)應(yīng)用和京東離線ETL。
項(xiàng)目
數(shù)據(jù)服務(wù)、大數(shù)據(jù)可視化、企業(yè)級(jí)Hadoop基建項(xiàng)目部署、分布式網(wǎng)絡(luò)爬蟲、基于Spark的大數(shù)據(jù)分析項(xiàng)目、ETL項(xiàng)目之Hive和SparkSQL、BI商業(yè)分析等。

掌握能力
掌握流數(shù)據(jù)接入、基于Flink實(shí)時(shí)數(shù)據(jù)開發(fā)、流批一體數(shù)據(jù)倉(cāng)庫(kù)開發(fā)、數(shù)據(jù)湖開發(fā)、實(shí)時(shí)ETL、實(shí)時(shí)監(jiān)控系統(tǒng)和京東實(shí)時(shí)數(shù)據(jù)開發(fā)
勝任職位
實(shí)時(shí)工程師、Flink工程師、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工程師、實(shí)時(shí)ETL工程師、Spark工程師
技術(shù)點(diǎn)
Kafka、Structured Streaming、Hudi、Canal、Flink、ClickHouse、HBase、Phoenix、Elasticsearch、Redis
項(xiàng)目
實(shí)時(shí)監(jiān)控系統(tǒng)、基于Flink的實(shí)時(shí)數(shù)據(jù)開發(fā)、實(shí)時(shí)數(shù)據(jù)湖、大數(shù)據(jù)搜索系統(tǒng)

掌握能力
掌握企業(yè)項(xiàng)目開發(fā)流程、用戶畫像開發(fā)、企業(yè)級(jí)推薦系統(tǒng)開發(fā)、數(shù)據(jù)治理、基于生產(chǎn)環(huán)境項(xiàng)目部署和京東項(xiàng)目性能調(diào)優(yōu)
勝任職位
數(shù)據(jù)服務(wù)工程師、離線數(shù)據(jù)倉(cāng)庫(kù)開發(fā)工程師、BI商業(yè)分析師、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工程師、實(shí)時(shí)監(jiān)控系統(tǒng)工程師、ETL工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)治理工程師、高級(jí)數(shù)據(jù)開發(fā)工程師、推薦工程、數(shù)據(jù)平臺(tái)工程師、數(shù)據(jù)架構(gòu)師
技術(shù)點(diǎn)
數(shù)據(jù)采集與監(jiān)控平臺(tái)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)、用戶畫像、推薦系統(tǒng)、基于Flink的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)、元數(shù)據(jù)管理與數(shù)據(jù)治理。

項(xiàng)目介紹
隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)源頭越來(lái)越多且是分散的，除了業(yè)務(wù)庫(kù)，APP 埋點(diǎn)，web 網(wǎng)站 log，LOT 設(shè)備等會(huì)產(chǎn)生各種各樣的海量數(shù)據(jù)，這些數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前（或之后），需要進(jìn)行統(tǒng)一（字段定義、主題歸屬、項(xiàng)目劃分等），數(shù)據(jù)集成在一起。離線數(shù)倉(cāng)的ETL，涵蓋數(shù)據(jù)的抽取轉(zhuǎn)換與加載。
項(xiàng)目目標(biāo)
在數(shù)據(jù)倉(cāng)庫(kù)中構(gòu)建模型，從數(shù)據(jù)源中抽取數(shù)據(jù)，然后對(duì)這些數(shù)據(jù)進(jìn)行轉(zhuǎn)化，最終加載到目標(biāo)數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)中去，實(shí)現(xiàn)離線數(shù)倉(cāng)ETL的過(guò)程。

項(xiàng)目介紹
企業(yè)信息化發(fā)展，數(shù)據(jù)源豐富，數(shù)據(jù)量比以往結(jié)構(gòu)化的數(shù)據(jù)大了幾個(gè)量級(jí)，對(duì) ETL 過(guò)程、存儲(chǔ)都提出了更高的要求?；ヂ?lián)網(wǎng)的在線特性也對(duì)實(shí)時(shí)性提出了要求，如用戶反欺詐、用戶審核等隨著用戶的暴漲。實(shí)時(shí)數(shù)據(jù)開發(fā)，主要是對(duì)由用戶行為、業(yè)務(wù)行為等產(chǎn)生的巨大量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，并應(yīng)用到生產(chǎn)中。
項(xiàng)目目標(biāo)
基于分層的模型 ods/dwd/dws/，業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù),事實(shí)數(shù)據(jù)存儲(chǔ)在 kafka 中，維度數(shù)據(jù)存儲(chǔ)在 Hbase/Tair 中，dm 層的數(shù)據(jù)最終導(dǎo)出到 mq/olap/rds/kv 中。ad-hoc 查詢基于 Flink 來(lái)做。實(shí)時(shí)數(shù)倉(cāng)的存儲(chǔ)需考慮支持?jǐn)?shù)據(jù)重放，方便支持任務(wù)重跑。選擇一個(gè)具有重放功能的、能夠保存歷史數(shù)據(jù)并支持多消費(fèi)者的消息隊(duì)列，根據(jù)需求設(shè)置歷史數(shù)據(jù)保存的時(shí)長(zhǎng)，通過(guò)實(shí)時(shí)數(shù)據(jù)開發(fā)，建成實(shí)時(shí)數(shù)倉(cāng)、實(shí)時(shí)指標(biāo)等，支撐企業(yè)鏈路的實(shí)時(shí)化。

項(xiàng)目介紹
大數(shù)據(jù)采集與指標(biāo)監(jiān)控項(xiàng)目是基于第一階段和第二階段課程，貫穿離線數(shù)據(jù)上報(bào)、數(shù)據(jù)儲(chǔ)存、數(shù)據(jù)服務(wù)監(jiān)控、數(shù)據(jù)分析等全套流程。整個(gè)項(xiàng)目包括Flume自定義攔截器代碼、自定義Azkaban監(jiān)控代碼和SQL相關(guān)指標(biāo)代碼開發(fā)。
項(xiàng)目目標(biāo)
解決離線數(shù)據(jù)上報(bào)流程，數(shù)據(jù)采集操作，flume和azkaban的二次開發(fā)，數(shù)據(jù)服務(wù)監(jiān)控，離線數(shù)據(jù)開發(fā)流程。

項(xiàng)目介紹
HDFS+Flume+Sqoop+數(shù)倉(cāng)思想+Spark
SQL/Hive+Azkaban+Python+Shell+Superset大數(shù)據(jù)離線數(shù)倉(cāng)解決方案。
項(xiàng)目目標(biāo)
1 采集和同步架構(gòu)組件采用: Sqoop+Flume
2數(shù)倉(cāng)架構(gòu)組件采用:HDFS+SparkSQL/Hive
3 任務(wù)調(diào)度架構(gòu)采用：Azkaban+Python/Shell
4 涉及到數(shù)倉(cāng)思想: 分層+建模+維度+粒度+拉鏈+增量/全量+數(shù)據(jù)質(zhì)量等
5 本項(xiàng)目中的BI工具： Superset

項(xiàng)目介紹
準(zhǔn)實(shí)時(shí)數(shù)倉(cāng)是一個(gè)集流式數(shù)據(jù)集成，數(shù)據(jù)分析、DAU預(yù)測(cè)和數(shù)據(jù)應(yīng)用的數(shù)倉(cāng)型項(xiàng)目。整個(gè)項(xiàng)目架構(gòu)為Nginx+OpenResty+Kafka+Spark+Presto等技術(shù)構(gòu)成。
項(xiàng)目目標(biāo)
解決事件行為分析。
解決企業(yè)留存分析。
解決漏斗分析。
解決DAU預(yù)測(cè)及數(shù)據(jù)服務(wù)提供。

項(xiàng)目介紹
用戶畫像是基于數(shù)倉(cāng)之上的項(xiàng)目，主要解決畫像標(biāo)簽服務(wù)，比如人群圈定服務(wù)和相似用戶搜索服務(wù)等。同時(shí)標(biāo)簽的處理使用Word2Vec、TF-IDF、HanLP分詞等技術(shù)。
項(xiàng)目目標(biāo)
解決企業(yè)人群圈定。
解決相似用戶搜索。

企業(yè)數(shù)據(jù)管理。企業(yè)要提高數(shù)據(jù)質(zhì)量必須考慮進(jìn)行數(shù)據(jù)管理，并需要為此設(shè)立數(shù)據(jù)管家職位，這一職位的人員需要能夠利用各種技術(shù)工具匯集企業(yè)周圍的大量數(shù)據(jù)，并將數(shù)據(jù)清洗和規(guī)范化，將數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)中，成為一個(gè)可用的版本。
數(shù)據(jù)安全研究。數(shù)據(jù)安全這一職位，主要負(fù)責(zé)企業(yè)內(nèi)部大型服務(wù)器、存儲(chǔ)、數(shù)據(jù)安全管理工作，并對(duì)網(wǎng)絡(luò)、信息安全項(xiàng)目進(jìn)行規(guī)劃、設(shè)計(jì)和實(shí)施。
數(shù)據(jù)科學(xué)研究。數(shù)據(jù)科學(xué)家是一個(gè)全新的工種，能夠?qū)⑵髽I(yè)的數(shù)據(jù)和技術(shù)轉(zhuǎn)化為企業(yè)的商業(yè)價(jià)值。隨著數(shù)據(jù)學(xué)的進(jìn)展，越來(lái)越多的實(shí)際工作將會(huì)直接針對(duì)數(shù)據(jù)進(jìn)行，這將使人類認(rèn)識(shí)數(shù)據(jù)，從而認(rèn)識(shí)自然和行為。