崗位職責(zé):
1、設(shè)計(jì)、構(gòu)建和維護(hù)高可靠、高性能的大數(shù)據(jù)平臺(tái)架構(gòu)(Hadoop/Spark/Flink/Kafka等);
2、開(kāi)發(fā)數(shù)據(jù)管道(ETL/ELT),處理海量文本、圖片、視頻等結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù),支持實(shí)時(shí)與離線分析場(chǎng)景;
3、優(yōu)化數(shù)據(jù)存儲(chǔ)、計(jì)算性能與成本,解決數(shù)據(jù)傾斜、資源調(diào)度等核心問(wèn)題;
4、與算法、業(yè)務(wù)團(tuán)隊(duì)協(xié)作,為機(jī)器學(xué)習(xí)、BI可視化等場(chǎng)景提供高質(zhì)量數(shù)據(jù)服務(wù);
5、保障數(shù)據(jù)安全、質(zhì)量與合規(guī)性,建立監(jiān)控告警體系。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),3年及以上相關(guān)工作經(jīng)驗(yàn);
2、精通 Hadoop/Spark/Flink 等生態(tài)組件,具備實(shí)時(shí)數(shù)倉(cāng)開(kāi)發(fā)經(jīng)驗(yàn)。掌握 Hive/HBase/ClickHouse/Doris 等至少2種存儲(chǔ)引擎;
3、具有大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn),主導(dǎo)過(guò)TB級(jí)數(shù)據(jù)規(guī)模的項(xiàng)目落地;
4、具備數(shù)據(jù)治理(元數(shù)據(jù)、血緣、質(zhì)量監(jiān)控)工具開(kāi)發(fā)經(jīng)驗(yàn)。