崗位職責(zé):
1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的離線與實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)、開發(fā)與優(yōu)化;
2、基于 Flink 構(gòu)建高吞吐、低延遲的實(shí)時(shí)計(jì)算 pipeline,支撐實(shí)時(shí)指標(biāo)計(jì)算、事件處理與流式分析;
3、使用 Kafka 構(gòu)建穩(wěn)定高效的數(shù)據(jù)消息中間件體系,保障數(shù)據(jù)采集與傳輸?shù)目煽啃裕?/div>
4、利用 SelectDB 或 Apache Doris 構(gòu)建高性能分析型數(shù)據(jù)倉(cāng)庫(kù),支持多維分析、即席查詢與可視化報(bào)表;
5、數(shù)據(jù)分析,后臺(tái)業(yè)務(wù)系統(tǒng)開發(fā)。
任職要求:
1、計(jì)算機(jī)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)或相關(guān)專業(yè)本科及以上學(xué)歷
2、3年以上大數(shù)據(jù)開發(fā)和數(shù)據(jù)分析經(jīng)驗(yàn);3年Spingboot boot開發(fā)經(jīng)驗(yàn)
3、精通 Apache Flink流式計(jì)算, 精通 Kafka,SelectDB 或 Apache Doris應(yīng)用開發(fā) ,具備生產(chǎn)環(huán)境部署與調(diào)優(yōu)經(jīng)驗(yàn);
4、熟悉數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方法論,熟悉 Hive、Spark 等離線計(jì)算框架,具備從0到1搭建數(shù)倉(cāng)模型的實(shí)際項(xiàng)目經(jīng)驗(yàn);
5、熟悉數(shù)據(jù)湖技術(shù)(如 Iceberg、Hudi)。