崗位職責:
1. 數(shù)據(jù)倉庫建設(shè): 負責公司數(shù)據(jù)倉庫的模型設(shè)計、分層架構(gòu)(ODS/DWD/DWS)及ETL開發(fā),保障數(shù)據(jù)質(zhì)量和產(chǎn)出時效。
2. 實時/離線計算開發(fā): 基于Spark/Flink等引擎,開發(fā)實時數(shù)據(jù)處理任務(wù),支持業(yè)務(wù)監(jiān)控、用戶畫像、推薦系統(tǒng)等場景;同時負責離線批處理任務(wù)的優(yōu)化和維護。
3. 平臺組件應(yīng)用與優(yōu)化: 熟悉大數(shù)據(jù)生態(tài)組件(Kafka、HBase、ES、Hive等),根據(jù)業(yè)務(wù)需求進行配置調(diào)優(yōu)、API重寫,提升平臺性能。
4. 數(shù)據(jù)治理與質(zhì)量保障: 建立數(shù)據(jù)質(zhì)量監(jiān)控體系,及時發(fā)現(xiàn)并解決數(shù)據(jù)問題;參與數(shù)據(jù)治理工作,提升數(shù)據(jù)資產(chǎn)價值。
5. 技術(shù)攻關(guān)與文檔沉淀: 解決開發(fā)中的技術(shù)難題,編寫技術(shù)文檔,組織技術(shù)分享,幫助團隊成長。
任職要求:
1. 年齡:36周歲以內(nèi)(90后)。
2.學歷與經(jīng)驗: 統(tǒng)招本科及以上學歷,計算機、數(shù)學、統(tǒng)計等相關(guān)專業(yè),5年以上大數(shù)據(jù)開發(fā)或數(shù)據(jù)倉庫經(jīng)驗。
3. 技術(shù)棧: 熟練掌握Hadoop/Spark/Flink/Kafka/HBase/Hive/ES等大數(shù)據(jù)組件,并有實際項目調(diào)優(yōu)經(jīng)驗;精通Java/Scala/Python/SQL之一,具備扎實編碼能力。
4. 數(shù)倉建模: 深入理解數(shù)據(jù)倉庫理論,熟悉維度建模、分層設(shè)計,有銀行、媒體等行業(yè)數(shù)倉經(jīng)驗者優(yōu)先。
5. 實時計算: 有Spark Streaming或Flink實時處理經(jīng)驗,能獨立設(shè)計實時鏈路并處理復(fù)雜業(yè)務(wù)邏輯。
6. 數(shù)據(jù)質(zhì)量意識: 對數(shù)據(jù)敏感,具備數(shù)據(jù)質(zhì)量分析與問題排查能力,有數(shù)據(jù)治理實踐經(jīng)驗者優(yōu)先。
7. 綜合素質(zhì): 學習能力強,聰明善思考,創(chuàng)新驅(qū)動強,頭腦、心態(tài)開放年輕有活力,兼具領(lǐng)導能力,對新技術(shù)(如大模型應(yīng)用)保持好奇心;良好的溝通能力和團隊協(xié)作精神,能承受工作壓力。