1、協(xié)助大數(shù)據(jù)的ETL開發(fā)工作,支持復(fù)雜邏輯的處理,研發(fā)數(shù)據(jù)產(chǎn)品;
2、協(xié)助參與需求分析、數(shù)據(jù)模型的設(shè)計和優(yōu)化,提升數(shù)據(jù)質(zhì)量與計算性能;
3. 持續(xù)優(yōu)化現(xiàn)有的數(shù)據(jù)處理流程,提高系統(tǒng)的可靠性和可拓展性;
4. 協(xié)助系統(tǒng)的設(shè)計與開發(fā)任務(wù),協(xié)作與產(chǎn)品經(jīng)理、測試、運維人員等進行項目需求討論和問題解決。
任職要求
1. 精通Java核心技術(shù)、深入理解面向?qū)ο缶幊趟枷?,熟悉主流開源應(yīng)用框架,如Spring、SpringBoot、MyBatis等,有Scala語言開發(fā)經(jīng)驗優(yōu)先;
2. 熟悉Hive/Spark/Kafka等組件工作原理,有Spark RDD、Spark SQL開發(fā)與相關(guān)的優(yōu)化經(jīng)驗,熟悉Spark graphX優(yōu)先;
3. 精通SQL,熟練使用Hive/Spark SQL進行大數(shù)據(jù)處理和分析;
4. 具備較強的問題解決能力,能獨立分析與解決復(fù)雜的技術(shù)難題。