崗位職責:
1.設計并實施大數據處理和分析策略,確保數據質量和精準度。
2.與團隊合作,優(yōu)化數據處理流程,提高數據效率。
3.參與大數據項目的規(guī)劃和執(zhí)行,協助解決技術難題。
4.與架構師對齊長期目標,作為技術中堅,負責設計分布式數據倉庫(如Hive/Iceberg)和數據湖架構,規(guī)劃數據流向(采集→存儲→計算→服務)
5.主導數據清洗、轉換、加載流程,使用Spark/ Flink構建高效作業(yè),優(yōu)化資源分配
6.監(jiān)控數據處理活動,確保遵守相關法律法規(guī)和標準。
任職要求:
1.具備扎實的大數據處理和分析能力,熟悉數據處理工具和語言。
2.具有良好的問題解決能力,能夠獨立處理和解決技術問題。
3.技術棧
①精通Java編程語言
②大數據工具鏈:Spark/Hadoop/Kafka/Hive,熟悉數據湖(Delta/Iceberg)
4.開發(fā)能力
①設計ETL流程(如Kafka→Spark→Hive)
②SQL優(yōu)化(復雜查詢調優(yōu),Hive/Presto)
③Spark作業(yè)優(yōu)化(數據傾斜處理、資源分配)
5.數據經驗
①大規(guī)模數據處理:參與TB-PB級項目(如日志清洗、用戶行為分析)
②數據質量保障:設計校驗規(guī)則、處理臟數據
③主導過千萬級DAU用戶數據處理