崗位職責(zé):
一、數(shù)據(jù)平臺(tái)設(shè)計(jì)與開(kāi)發(fā)
1、參與數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)設(shè)計(jì),推動(dòng)離線/實(shí)時(shí)數(shù)據(jù)管道開(kāi)發(fā),完成數(shù)據(jù)采集、存儲(chǔ)、計(jì)算及服務(wù)接口開(kāi)發(fā)。
2、編寫(xiě)高效ETL流程與核心模塊代碼,保障數(shù)據(jù)高效流轉(zhuǎn)與處理。
二、數(shù)據(jù)治理與質(zhì)量提升
1、設(shè)計(jì)并實(shí)施數(shù)據(jù)清洗規(guī)則,構(gòu)建維度模型,優(yōu)化數(shù)倉(cāng)分層與數(shù)據(jù)血緣管理,提升數(shù)據(jù)準(zhǔn)確性與一致性。
2、通過(guò)SQL/腳本開(kāi)發(fā)實(shí)現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換與加載,保障數(shù)據(jù)資產(chǎn)標(biāo)準(zhǔn)化。
三、系統(tǒng)性能優(yōu)化與穩(wěn)定性保障
1、監(jiān)控Hadoop/Spark等分布式集群運(yùn)行狀態(tài),解決性能瓶頸,優(yōu)化資源分配與查詢效率。
2、設(shè)計(jì)數(shù)據(jù)分區(qū)、索引及容災(zāi)備份方案,確保平臺(tái)高可用性與可靠性。
四、技術(shù)前瞻與創(chuàng)新落地
1、跟蹤Flink/Kafka等前沿技術(shù),探索在業(yè)務(wù)場(chǎng)景中的應(yīng)用,推動(dòng)機(jī)器學(xué)習(xí)與大數(shù)據(jù)平臺(tái)融合。
2、輸出技術(shù)文檔與最佳實(shí)踐,賦能團(tuán)隊(duì)技術(shù)成長(zhǎng)。
五、團(tuán)隊(duì)協(xié)作與 mentorship
1、指導(dǎo)初/中級(jí)工程師完成開(kāi)發(fā)任務(wù),保障項(xiàng)目交付質(zhì)量與進(jìn)度。
2、分享技術(shù)經(jīng)驗(yàn),參與代碼審查與流程優(yōu)化,提升團(tuán)隊(duì)整體效能。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)或理工類相關(guān)專業(yè)
2、具有5年及以上大數(shù)據(jù)開(kāi)發(fā)工作經(jīng)驗(yàn);
3、精通Hadoop、Spark、Flink、Kafka等大數(shù)據(jù)組件,熟悉Hive、HBase、ES、Doris等存儲(chǔ)工具;
4、熟練掌握J(rèn)ava/Scala/Python,具備SQL調(diào)優(yōu)能力,了解Shell腳本;
5、掌握數(shù)據(jù)倉(cāng)庫(kù)建模方法,熟悉ETL流程及OLAP分析技術(shù);
6、了解機(jī)器學(xué)習(xí)算法(如Kmeans、SVM),能結(jié)合業(yè)務(wù)場(chǎng)景實(shí)現(xiàn)數(shù)據(jù)挖掘;
7、具備跨部門(mén)協(xié)作能力,能獨(dú)立解決復(fù)雜問(wèn)題,能對(duì)可行的方法進(jìn)行分析選擇并清晰闡述,適應(yīng)快速迭代的項(xiàng)目需求;
8、政治素質(zhì)好,遵守紀(jì)律,品行端正,愛(ài)崗敬業(yè)。