崗位職責(zé)
1. 數(shù)據(jù)倉(cāng)庫(kù)建設(shè): 負(fù)責(zé)公司數(shù)據(jù)倉(cāng)庫(kù)的模型設(shè)計(jì)、分層架構(gòu)(ODS/DWD/DWS)及ETL開(kāi)發(fā),保障數(shù)據(jù)質(zhì)量和產(chǎn)出時(shí)效。
2. 實(shí)時(shí)/離線計(jì)算開(kāi)發(fā): 基于Spark/Flink等引擎,開(kāi)發(fā)實(shí)時(shí)數(shù)據(jù)處理任務(wù),支持業(yè)務(wù)監(jiān)控、用戶(hù)畫(huà)像、推薦系統(tǒng)等場(chǎng)景;同時(shí)負(fù)責(zé)離線批處理任務(wù)的優(yōu)化和維護(hù)。
3. 平臺(tái)組件應(yīng)用與優(yōu)化: 熟悉大數(shù)據(jù)生態(tài)組件(Kafka、HBase、ES、Hive等),根據(jù)業(yè)務(wù)需求進(jìn)行配置調(diào)優(yōu)、API重寫(xiě),提升平臺(tái)性能。
4. 數(shù)據(jù)治理與質(zhì)量保障: 建立數(shù)據(jù)質(zhì)量監(jiān)控體系,及時(shí)發(fā)現(xiàn)并解決數(shù)據(jù)問(wèn)題;參與數(shù)據(jù)治理工作,提升數(shù)據(jù)資產(chǎn)價(jià)值。
5. 技術(shù)攻關(guān)與文檔沉淀: 解決開(kāi)發(fā)中的技術(shù)難題,編寫(xiě)技術(shù)文檔,組織技術(shù)分享,幫助團(tuán)隊(duì)成長(zhǎng)。
任職要求:
1. 3-5年相關(guān)工作經(jīng)驗(yàn)。
2.學(xué)歷與經(jīng)驗(yàn): 統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)、數(shù)學(xué)、統(tǒng)計(jì)等相關(guān)專(zhuān)業(yè),5年以上大數(shù)據(jù)開(kāi)發(fā)或數(shù)據(jù)倉(cāng)庫(kù)經(jīng)驗(yàn)。
3. 技術(shù)棧: 熟練掌握Hadoop/Spark/Flink/Kafka/HBase/Hive/ES等大數(shù)據(jù)組件,并有實(shí)際項(xiàng)目調(diào)優(yōu)經(jīng)驗(yàn);精通Java/Scala/Python/SQL之一,具備扎實(shí)編碼能力。
4. 數(shù)倉(cāng)建模: 深入理解數(shù)據(jù)倉(cāng)庫(kù)理論,熟悉維度建模、分層設(shè)計(jì),有銀行、媒體等行業(yè)數(shù)倉(cāng)經(jīng)驗(yàn)者優(yōu)先。
5. 實(shí)時(shí)計(jì)算: 有Spark Streaming或Flink實(shí)時(shí)處理經(jīng)驗(yàn),能獨(dú)立設(shè)計(jì)實(shí)時(shí)鏈路并處理復(fù)雜業(yè)務(wù)邏輯。
6. 數(shù)據(jù)質(zhì)量意識(shí): 對(duì)數(shù)據(jù)敏感,具備數(shù)據(jù)質(zhì)量分析與問(wèn)題排查能力,有數(shù)據(jù)治理實(shí)踐經(jīng)驗(yàn)者優(yōu)先。
7. 綜合素質(zhì): 學(xué)習(xí)能力強(qiáng),聰明善思考,創(chuàng)新驅(qū)動(dòng)強(qiáng),頭腦、心態(tài)開(kāi)放年輕有活力,兼具領(lǐng)導(dǎo)能力,對(duì)新技術(shù)(如大模型應(yīng)用)保持好奇心;良好的溝通能力和團(tuán)隊(duì)協(xié)作精神,能承受工作壓力。