任職要求:
1.熟練掌握 Hive/Spark/Flink/Kafka/Hudi/Doris 等主流大數(shù)據(jù)技術(shù)棧,并具備豐富的開(kāi)發(fā)與調(diào)優(yōu)經(jīng)驗(yàn)。
2.熟悉數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的模型設(shè)計(jì)方法論(如維度建模),具備清晰的數(shù)據(jù)分層設(shè)計(jì)理念。
3.具備扎實(shí)的編程基礎(chǔ),熟練掌握 Java/Scala/Python 中的至少一種語(yǔ)言。
4.熟悉Linux開(kāi)發(fā)環(huán)境,具備良好的SQL編寫(xiě)和優(yōu)化能力。
【加分項(xiàng)】
1.有大型數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市或指標(biāo)平臺(tái)從0到1的建設(shè)經(jīng)驗(yàn)者優(yōu)先。
2.具有金融、保險(xiǎn)、IT等相關(guān)行業(yè)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。
崗位職責(zé):
1.負(fù)責(zé)公司級(jí)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市及實(shí)時(shí)數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)、模型建設(shè)和持續(xù)優(yōu)化。
2.深入理解業(yè)務(wù)需求,參與數(shù)據(jù)模型的設(shè)計(jì)與評(píng)審,構(gòu)建高效、可擴(kuò)展的數(shù)據(jù)模型。
3.使用Hive/Spark/Flink等工具進(jìn)行大規(guī)模數(shù)據(jù)的離線與實(shí)時(shí)ETL開(kāi)發(fā),保障數(shù)據(jù)加工流程的穩(wěn)定性和高效性。
4.負(fù)責(zé)Kafka、Hudi、Doris等核心組件的開(kāi)發(fā)、運(yùn)維和調(diào)優(yōu),支撐實(shí)時(shí)數(shù)據(jù)流和即席查詢需求。
5.與業(yè)務(wù)方、產(chǎn)品經(jīng)理、數(shù)據(jù)分析師緊密協(xié)作,為風(fēng)控、營(yíng)銷(xiāo)、報(bào)表等業(yè)務(wù)場(chǎng)景提供高質(zhì)量的數(shù)據(jù)支撐。
5.參與數(shù)據(jù)治理工作,保障數(shù)據(jù)質(zhì)量、數(shù)據(jù)規(guī)范和數(shù)據(jù)安全。