崗位職責(zé):
- 基于Hadoop、Spark、Hive等框架進(jìn)行數(shù)據(jù)處理方案設(shè)計(jì)與實(shí)現(xiàn),熟悉大數(shù)據(jù)平臺(tái)的維護(hù);
- 負(fù)責(zé)ETL流程的設(shè)計(jì)、開(kāi)發(fā)與調(diào)度管理,使用海豚調(diào)度等工具保障數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載的高效執(zhí)行;
- 運(yùn)用SQL、Python等編程語(yǔ)言,開(kāi)展數(shù)據(jù)建模、數(shù)據(jù)清洗、轉(zhuǎn)換及匯聚工作,為業(yè)務(wù)提供高質(zhì)量數(shù)據(jù)支持;
- 參與關(guān)系型數(shù)據(jù)庫(kù)(如MySQL、PG)的設(shè)計(jì)、維護(hù)及數(shù)據(jù)交互,確保數(shù)據(jù)存儲(chǔ)與訪問(wèn)的穩(wěn)定性;
- 負(fù)責(zé)數(shù)據(jù)系統(tǒng)的日常運(yùn)維,監(jiān)控?cái)?shù)據(jù)質(zhì)量,及時(shí)處理數(shù)據(jù)異常,排查并解決數(shù)據(jù)處理過(guò)程中的各類(lèi)問(wèn)題;
- 與業(yè)務(wù)部門(mén)緊密溝通,精準(zhǔn)理解數(shù)據(jù)需求,將業(yè)務(wù)需求轉(zhuǎn)化為可行的數(shù)據(jù)處理方案,并推動(dòng)落地。
任職要求:
1. 熟悉大數(shù)據(jù)處理框架(如Hadoop、Spark、Hive)及ETL工具(海豚調(diào)度、xxljob等);
2. 掌握SQL、Python等編程語(yǔ)言,具備數(shù)據(jù)建模、數(shù)據(jù)清洗、轉(zhuǎn)換、匯聚能力;
3. 熟練掌握關(guān)系型數(shù)據(jù)庫(kù)(如MySQL、PG)等;
4. 具備系統(tǒng)運(yùn)維能力,能處理數(shù)據(jù)異常,有數(shù)據(jù)質(zhì)量監(jiān)控、問(wèn)題排查能力;
5.具備良好的溝通、需求理解、邏輯思維和問(wèn)題解決能力,對(duì)數(shù)據(jù)敏感,有較強(qiáng)的責(zé)任心和團(tuán)隊(duì)合作精神。
6.本崗位勞動(dòng)合同與第三方簽訂。