崗位職責:
1、核心系統(tǒng)研發(fā):負責自研DAG數(shù)據(jù)流水線核心模塊的維護與功能迭代,包括但不限于調(diào)度系統(tǒng)、任務執(zhí)行引擎、元數(shù)據(jù)管理、權(quán)限控制等。
2、計算引擎集成:深度集成和優(yōu)化主流大數(shù)據(jù)計算任務,特別是對Spark、SQL、DataX等任務類型進行封裝、監(jiān)控和性能調(diào)優(yōu)。
3、云原生實踐:深入研究Spark on K8S,持續(xù)優(yōu)化任務在K8S集群上的執(zhí)行性能、資源利用率和穩(wěn)定性,解決實踐中遇到的技術(shù)難題。
4、平臺能力擴展:根據(jù)業(yè)務需求,設計并開發(fā)新的任務指件、數(shù)據(jù)質(zhì)量監(jiān)控模塊、告警系統(tǒng)以及可視化運維工具。
任職要求:
必備要求
1、Java基礎扎實:5年以上Java開發(fā)經(jīng)驗,深入理解JVM、多線程、IO/NIO、集合框架等,具備優(yōu)秀的編碼能力和良好的沒計模式理解。
2、后端框架熟練:熟練使用Spring Boot/Spring Cloud等主流微服務框架,有復雜后端系統(tǒng)設計與開發(fā)經(jīng)驗 。
3、大數(shù)據(jù)生態(tài)經(jīng)檢;熟悉Hadoop/Spark生態(tài),有Spark應用開發(fā)或調(diào)優(yōu)經(jīng)驗,能夠理解其基本工作原理。
4、數(shù)據(jù)庫與SQL:精通SQL,熟悉MySQL/PostareSQL等至少一種關(guān)系型數(shù)據(jù)庫。
5、基礎運維能力:熟悉Linux操作系統(tǒng),熟練使用Shell腳本,了解Docker、Kubernetes等容器化技術(shù)的基本概念和操作。
6、熟悉AI編程工具,有Vibe Coding經(jīng)驗。
加分項(具備以下一項或多項者優(yōu)先)
1、有DophinScheduler、Airflow、Azkaban等開源工作流調(diào)度系統(tǒng)二次開發(fā)或使用經(jīng)驗。
2、有Spark on K8S的實際部署、運維或調(diào)優(yōu)經(jīng)驗。
3、熟悉Datax等并有相關(guān)插件開發(fā)經(jīng)驗。
4、熟悉Prometheus/Grafana等監(jiān)控體系,有平臺可觀測性建設經(jīng)驗。