任職要求:
1、本科以上,計算機(jī)相關(guān)專業(yè);3年以上大數(shù)據(jù)開發(fā)經(jīng)驗,主導(dǎo)過2年以上ETL項目;
2、精通Hive/Spark/Flink,熟練使用Informatica/Kettle/Azkaban - 數(shù)據(jù)建模 掌握維度建模/實體關(guān)系建模方法,熟悉ER/Studio/PowerDesigner工具 - SQL與優(yōu)化 熟練編寫復(fù)雜SQL,具備索引優(yōu)化/執(zhí)行計劃分析能力 人才核心特質(zhì)要求(除通用標(biāo)準(zhǔn)外);
3、 邏輯思維嚴(yán)謹(jǐn)、問題解決能力強(qiáng)、跨部門協(xié)作高效。
工作內(nèi)容:
1、數(shù)據(jù)建模與設(shè)計 運(yùn)用維度建模/實體關(guān)系建模設(shè)計數(shù)倉邏輯與物理模型,適配業(yè)務(wù)需求 使用ER/Studio、PowerDesigner工具進(jìn)行模型可視化設(shè)計與優(yōu)化;
2、數(shù)據(jù)開發(fā)與ETL流程構(gòu)建 基于Hive/Spark/Flink開發(fā)數(shù)據(jù)處理程序,優(yōu)化ETL流程 配置Informatica/Kettle工具,調(diào)度Azkaban/Oozie任務(wù),保障數(shù)據(jù)一致性 ;
3、 SQL編寫與優(yōu)化 編寫復(fù)雜SQL查詢,優(yōu)化執(zhí)行計劃(索引/分區(qū)表/語句重構(gòu)) 管理數(shù)據(jù)庫對象(表/視圖/存儲過程),提升數(shù)據(jù)訪問效率;
4、大數(shù)據(jù)組件應(yīng)用與維護(hù) 部署維護(hù)Hadoop/Hive/Spark/Flink集群,調(diào)優(yōu)參數(shù)(HDFS/Spark內(nèi)存) 監(jiān)控組件運(yùn)行狀態(tài),協(xié)同運(yùn)維團(tuán)隊解決故障與性能問題 ;5、 業(yè)務(wù)理解與協(xié)作。深入理解業(yè)務(wù)流程,與業(yè)務(wù)部門協(xié)作提供數(shù)據(jù)解決方案 ;6、 BI工具協(xié)作。適配Tableau/PowerBI數(shù)據(jù)模型,優(yōu)化BI工具數(shù)據(jù)呈現(xiàn)邏輯