崗位職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺的架構(gòu)設(shè)計和優(yōu)化,確保數(shù)據(jù)的高效存儲、處理和訪問,確保系統(tǒng)的穩(wěn)定性和可靠性。
2、負(fù)責(zé)根據(jù)業(yè)務(wù)設(shè)計和構(gòu)建企業(yè)級數(shù)據(jù)倉庫,包括數(shù)據(jù)模型設(shè)計、ETL流程開發(fā)等?。不斷優(yōu)化模型和產(chǎn)品,建立線上監(jiān)控、評估和報表。
3、負(fù)責(zé)大數(shù)據(jù)平臺的數(shù)據(jù)存儲、處理和計算任務(wù),保障數(shù)據(jù)的高效提取和分析。
4、開發(fā)、優(yōu)化和維護(hù)與Flink、Hadoop、Hive、Spark相關(guān)的數(shù)據(jù)處理程序和作業(yè)。
技能要求:
1.精通Flink、Hadoop,精通SQL語言及調(diào)優(yōu)方法;具備豐富的Flink、Spark、MapReduce、HDFS、Hive等大數(shù)據(jù)框架的實際設(shè)計與開發(fā)經(jīng)驗。
2.能夠獨立設(shè)計和開發(fā)大規(guī)模數(shù)據(jù)處理和分析系統(tǒng),具備良好的編程能力和調(diào)試能力。
3.具備扎實的Java編程基礎(chǔ),熟悉常用的數(shù)據(jù)結(jié)構(gòu)和算法。
4.熟練掌握J(rèn)ava、Python等編程語言,熟悉Spring框架,包括Spring Boot、Spring MVC等,有相關(guān)項目開發(fā)經(jīng)驗者優(yōu)先。
5.具備良好的溝通能力和團(tuán)隊協(xié)作能力,能夠與產(chǎn)品、運維、測試等部門有效配合,完成項目開發(fā)任務(wù)。
6.熟悉PostgreSQL、Clickhouse、Doris、Neo4j等數(shù)據(jù)庫中的一個或多個,并有過實際項目的開發(fā)經(jīng)驗的優(yōu)先。
經(jīng)驗要求:
5-8年大數(shù)據(jù)開發(fā)經(jīng)驗,有大規(guī)模數(shù)據(jù)處理項目實施經(jīng)驗者優(yōu)先考慮。
項目工作地:河西區(qū)