【崗位職責(zé)】:
1、大數(shù)據(jù)平臺搭建與維護(hù):負(fù)責(zé)基于 Dataworks 平臺進(jìn)行公司大數(shù)據(jù)應(yīng)用產(chǎn)品的全流程開發(fā),涵蓋數(shù)據(jù)集成、任務(wù)調(diào)度、數(shù)據(jù)開發(fā)等模塊,搭建穩(wěn)定可靠的大數(shù)據(jù)平臺,保障平臺服務(wù)的高效運(yùn)行;同時,持續(xù)進(jìn)行架構(gòu)優(yōu)化與技術(shù)迭代,構(gòu)建集數(shù)據(jù)存儲、計算、服務(wù)于一體的大型分布式數(shù)據(jù)平臺,滿足公司業(yè)務(wù)發(fā)展對數(shù)據(jù)處理的需求;
2、數(shù)據(jù)架構(gòu)設(shè)計:結(jié)合公司業(yè)務(wù)場景和發(fā)展戰(zhàn)略,主導(dǎo)數(shù)據(jù)架構(gòu)的設(shè)計與規(guī)劃,制定數(shù)據(jù)存儲、處理、流通的整體方案;優(yōu)化數(shù)據(jù)架構(gòu),提升數(shù)據(jù)處理性能和系統(tǒng)穩(wěn)定性,保障數(shù)據(jù)架構(gòu)與業(yè)務(wù)需求的高度契合;
3、數(shù)據(jù)倉庫建模:依據(jù)數(shù)據(jù)倉庫建模理論,負(fù)責(zé)數(shù)據(jù)倉庫的模型設(shè)計與開發(fā)工作,包括維度建模、事實建模等;參與數(shù)據(jù) ETL(抽取、轉(zhuǎn)換、加載)過程的設(shè)計與實施,確保數(shù)據(jù)倉庫數(shù)據(jù)的質(zhì)量和可用性;定期對數(shù)據(jù)模型進(jìn)行評估和優(yōu)化,滿足不同業(yè)務(wù)場景的數(shù)據(jù)需求;
4、數(shù)據(jù)處理與計算:熟練運(yùn)用 Flink 技術(shù),對海量數(shù)據(jù)進(jìn)行離線計算和實時計算,實現(xiàn)數(shù)據(jù)的高效處理與分析;設(shè)計并開發(fā)數(shù)據(jù)處理流程,確保數(shù)據(jù)的準(zhǔn)確性、完整性和及時性,為業(yè)務(wù)決策提供有力的數(shù)據(jù)支持;
5、技術(shù)創(chuàng)新與應(yīng)用:持續(xù)關(guān)注大數(shù)據(jù)領(lǐng)域的新技術(shù)、新方法,結(jié)合公司實際業(yè)務(wù)需求,評估并引入合適的技術(shù),推動大數(shù)據(jù)技術(shù)在公司的創(chuàng)新應(yīng)用;優(yōu)化集群性能,提高資源利用率,降低運(yùn)營成本。
【任職要求】
1、具有 5 年及以上大數(shù)據(jù)相關(guān)工作經(jīng)驗,本科及以上學(xué)歷,計算機(jī)科學(xué)與技術(shù)、軟件工程、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)等相關(guān)專業(yè)優(yōu)先;
2、熟悉 Dataworks 平臺的使用,具備基于 Dataworks 進(jìn)行大數(shù)據(jù)項目開發(fā)、任務(wù)調(diào)度和數(shù)據(jù)管理的經(jīng)驗;
3、精通數(shù)據(jù)倉庫建模理論和方法,有豐富的數(shù)據(jù)倉庫架構(gòu)設(shè)計、數(shù)據(jù) ETL、建?;驍?shù)據(jù)分析相關(guān)經(jīng)驗;
4、熟練掌握 Flink 技術(shù),深入理解其原理和架構(gòu),能夠運(yùn)用 Flink 進(jìn)行離線計算和實時計算任務(wù)的開發(fā)與優(yōu)化;
5、具備良好的溝通能力和團(tuán)隊協(xié)作精神,能夠與不同部門的人員進(jìn)行有效的溝通和協(xié)作;具備較強(qiáng)的問題解決能力和邏輯思維能力,善于從復(fù)雜的數(shù)據(jù)問題中找到關(guān)鍵路徑;對待工作認(rèn)真負(fù)責(zé),有較強(qiáng)的自驅(qū)力和學(xué)習(xí)能力,能夠快速適應(yīng)新技術(shù)和新環(huán)境。