崗位職責(zé):
負(fù)責(zé)數(shù)據(jù)平臺的設(shè)計與研發(fā),支撐大規(guī)模數(shù)據(jù)的高效處理;
開展大數(shù)據(jù)相關(guān)技術(shù)的調(diào)研、選型與落地,持續(xù)提升平臺性能與穩(wěn)定性;
參與實時計算、批處理架構(gòu)的建設(shè)與優(yōu)化,保障數(shù)據(jù)鏈路的高可用與可擴展性。
任職要求:
1、本科及以上學(xué)歷,計算機或相關(guān)專業(yè),具備良好的工程實踐能力與問題解決能力;
2、熟悉 Linux/Unix 環(huán)境,精通 Java 或 Scala,熟練掌握 Python、Shell 等腳本語言;
3、掌握MapReduce、Spark、Flink等并行計算引擎;
4、掌握Hadoop、Hive、Hudi、Paimon等數(shù)據(jù)湖倉存儲組件;
5、有實時計算、大數(shù)據(jù)量數(shù)據(jù)處理項目經(jīng)驗;
6、熟悉 Redis、Elasticsearch、HBase、Druid、ClickHouse 等分布式存儲系統(tǒng),并具備實際調(diào)優(yōu)經(jīng)驗者優(yōu)先;
7、加分:熟悉數(shù)據(jù)挖掘的常用算法,能夠進行海量數(shù)據(jù)處理者優(yōu)先