職位描述
IT互聯(lián)網(wǎng)類/Java開發(fā)
平臺設(shè)計與開發(fā): 參與公司大數(shù)據(jù)平臺(基于AWS、阿里云等公有云)的架構(gòu)設(shè)計、核心模塊開發(fā)與持續(xù)演進。
湖倉一體架構(gòu)實踐: 負責(zé)設(shè)計和實施湖倉一體解決方案,打通數(shù)據(jù)湖與數(shù)據(jù)倉庫,構(gòu)建統(tǒng)一、高效、低成本的數(shù)據(jù)存儲與查詢體系。
核心技術(shù)組件研發(fā)與優(yōu)化: 深入研究并優(yōu)化大數(shù)據(jù)組件(如Spark、Flink、Trino/Presto、Hudi/Iceberg/Delta Lake等)的性能、穩(wěn)定性和資源利用率。
平臺服務(wù)化: 將大數(shù)據(jù)能力抽象和封裝為平臺服務(wù)或產(chǎn)品,提供便捷的數(shù)據(jù)接入、計算、查詢和治理工具,提升內(nèi)部用戶的使用效率。
運維與治理: 負責(zé)平臺的日常監(jiān)控、故障診斷、性能調(diào)優(yōu)、成本管理以及數(shù)據(jù)安全與權(quán)限體系的建設(shè)。
技術(shù)前瞻與落地: 跟蹤大數(shù)據(jù)和云計算領(lǐng)域的最新技術(shù)趨勢,進行技術(shù)預(yù)研和原型驗證,并推動其在公司內(nèi)的合理應(yīng)用。
任職資格
1. 編程基礎(chǔ):
精通 Java 和 Pythn,具備扎實的編程功底、良好的設(shè)計模式和代碼規(guī)范。
有使用Java進行大規(guī)模、高性能分布式系統(tǒng)開發(fā)的經(jīng)驗。
熟練使用Pythn進行腳本編寫、自動化任務(wù)和工具開發(fā)。
2. 云平臺經(jīng)驗:
深刻理解主流公有云(AWS 和 阿里云 至少精通其一)的大數(shù)據(jù)服務(wù)生態(tài)。
AWS: 具有豐富的EMR, S3, Glue, Redshift, MSK等服務(wù)的實戰(zhàn)經(jīng)驗。
阿里云: 具有豐富的E-MapReduce, MaxCmpute, DataWrks, SS, Hlgres等服務(wù)的實戰(zhàn)經(jīng)驗。
熟悉云上資源管理、網(wǎng)絡(luò)配置、安全策略和成本優(yōu)化。
3. 大數(shù)據(jù)技術(shù)棧:
深入理解并擁有Spark(Cre, SQL, Streaming)或Flink的研發(fā)和調(diào)優(yōu)經(jīng)驗。
熟悉至少一種數(shù)據(jù)湖格式(如 Apache Hudi, Iceberg, Delta Lake),并有實際項目經(jīng)驗。
熟悉分布式數(shù)據(jù)倉庫原理,熟悉Hive,了解Trin/Prest、ClickHuse等引擎者優(yōu)先。
4. 湖倉一體架構(gòu):
對湖倉一體架構(gòu)有深刻理解,能夠清晰闡述其核心優(yōu)勢、技術(shù)挑戰(zhàn)和實現(xiàn)路徑。
有從傳統(tǒng)數(shù)倉或數(shù)據(jù)湖向湖倉一體架構(gòu)遷移的實際經(jīng)驗者優(yōu)先。
5. 綜合能力:
本科及以上學(xué)歷,計算機相關(guān)專業(yè),5年以上大數(shù)據(jù)領(lǐng)域開發(fā)經(jīng)驗。
具備優(yōu)秀的問題解決能力、團隊合作精神和溝通能力