国产精品又长又粗又爽又黄的毛片, 国产AV无码专区亚洲AV毛片搜, 丰满人妻被猛烈进入中文字幕四川, 国产精品一区二区三区国产女人喷,亚洲国产欧美日韩图片在线人,潘娇娇337p人艺体艺术,成人免费无码大片a毛片古装,一本到高清视频免费,人妻在线视频免费看

更新于 今天

大數(shù)據(jù)開(kāi)發(fā)工程師

1.2-1.8萬(wàn)
  • 湘潭雨湖區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招1人

職位描述

SqlJavaPythonHadoopFlinkSpark數(shù)據(jù)治理數(shù)據(jù)中臺(tái)開(kāi)發(fā)數(shù)據(jù)架構(gòu)
崗位職責(zé):
?
負(fù)責(zé)公司級(jí)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)與開(kāi)發(fā),包括數(shù)據(jù)采集、清洗、建模、存儲(chǔ)、計(jì)算等環(huán)節(jié);
?參與構(gòu)建實(shí)時(shí)/離線數(shù)據(jù)處理流水線,支撐業(yè)務(wù)數(shù)據(jù)報(bào)表、數(shù)據(jù)服務(wù)、AI建模等場(chǎng)景;
?使用 Flink / Spark / Hive / Kafka / HDFS / HBase 等組件完成數(shù)據(jù)處理任務(wù);
?負(fù)責(zé) ETL 任務(wù)的開(kāi)發(fā)、調(diào)度與優(yōu)化,保障數(shù)據(jù)質(zhì)量與任務(wù)穩(wěn)定性;
?推動(dòng)數(shù)據(jù)治理體系建設(shè),包括元數(shù)據(jù)管理、數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量監(jiān)控等;
?參與線上任務(wù)的故障排查、性能調(diào)優(yōu)與容量規(guī)劃,具備實(shí)際事故處理經(jīng)驗(yàn);
?持續(xù)優(yōu)化大數(shù)據(jù)平臺(tái)的可用性、擴(kuò)展性與穩(wěn)定性。
要求實(shí)際大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)3年以上:
核心技能:
?熟悉大數(shù)據(jù)生態(tài)體系,掌握以下組件的至少 3 項(xiàng):
?數(shù)據(jù)倉(cāng)庫(kù):Hive、HDFS、HBase、Iceberg、Hudi、Delta Lake
?離線計(jì)算:MapReduce、Spark
?實(shí)時(shí)計(jì)算:Flink、Storm、Spark Streaming
?消息隊(duì)列:Kafka、RocketMQ、Pulsar
?任務(wù)調(diào)度:Airflow、DolphinScheduler、XXL-JOB
?數(shù)據(jù)治理:Atlas、DataHub、DQC、OpenLooKeng 等
?熟悉數(shù)據(jù)倉(cāng)庫(kù)建模理論,掌握星型模型、雪花模型、緩慢變化維度等設(shè)計(jì)方法;
?熟練編寫(xiě) SQL,具備 HiveQL、Spark SQL、ClickHouse SQL 的實(shí)際開(kāi)發(fā)經(jīng)驗(yàn);
?有良好的數(shù)據(jù)敏感度,具備數(shù)據(jù)質(zhì)量監(jiān)控、異常分析、任務(wù)調(diào)優(yōu)經(jīng)驗(yàn);
?熟悉 Linux 操作系統(tǒng),具備 Shell / Python / Java等腳本開(kāi)發(fā)能力;
?具備良好的溝通能力、文檔編寫(xiě)能力與團(tuán)隊(duì)協(xié)作精神。
事故處理經(jīng)驗(yàn)要求:
?有大規(guī)模數(shù)據(jù)平臺(tái)或任務(wù)集群的故障排查經(jīng)驗(yàn);
?能獨(dú)立定位并解決數(shù)據(jù)延遲、數(shù)據(jù)丟失、任務(wù)失敗、資源瓶頸等問(wèn)題;
?熟悉常見(jiàn)的大數(shù)據(jù)任務(wù)異常場(chǎng)景,如:
? Spark OOM、Shuffle失敗、Executor丟失;
? Kafka消費(fèi)積壓、分區(qū)重平衡、Offset異常;
? Hive任務(wù)慢、數(shù)據(jù)傾斜、鎖表;
? Flink Checkpoint失敗、State過(guò)大、反壓;
? YARN資源不足、調(diào)度失敗、任務(wù)卡死等;
?有生產(chǎn)環(huán)境日志分析、性能調(diào)優(yōu)、容量評(píng)估的實(shí)際經(jīng)驗(yàn);
?有災(zāi)備恢復(fù)、降級(jí)方案、灰度上線等實(shí)際操作經(jīng)驗(yàn)者優(yōu)先。
加分項(xiàng):
?有 PB 級(jí)別數(shù)據(jù)處理經(jīng)驗(yàn);
?有數(shù)據(jù)湖架構(gòu)設(shè)計(jì)與落地經(jīng)驗(yàn);
?有數(shù)據(jù)服務(wù)平臺(tái)(如數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)中心)建設(shè)經(jīng)驗(yàn);
?有開(kāi)源社區(qū)貢獻(xiàn)經(jīng)驗(yàn)(如 Apache Flink、Hive、Spark);
?有數(shù)據(jù)中臺(tái)建設(shè)經(jīng)驗(yàn);
?有云原生大數(shù)據(jù)平臺(tái)(如 EMR、Databricks、MaxCompute)使用經(jīng)驗(yàn)。
有以下經(jīng)驗(yàn)優(yōu)先考慮:
?數(shù)據(jù)倉(cāng)庫(kù)建設(shè):主導(dǎo)或參與過(guò)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目,從ODS到DWD/DWS/ADS分層設(shè)計(jì),支撐業(yè)務(wù)分析、BI報(bào)表、數(shù)據(jù)服務(wù)等場(chǎng)景。
?實(shí)時(shí)計(jì)算平臺(tái):使用 Flink 或 Spark Streaming 搭建過(guò)實(shí)時(shí)數(shù)據(jù)管道,處理日均億級(jí)數(shù)據(jù)量,保障低延遲、高可用。
?任務(wù)調(diào)度系統(tǒng):基于 Airflow / DolphinScheduler 實(shí)現(xiàn)復(fù)雜任務(wù)調(diào)度與依賴管理,解決任務(wù)失敗重試、斷點(diǎn)續(xù)跑、依賴混亂等問(wèn)題。
?數(shù)據(jù)質(zhì)量體系:搭建過(guò)數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng),實(shí)現(xiàn)字段級(jí)完整性、一致性、唯一性、范圍校驗(yàn)等規(guī)則的自動(dòng)化檢測(cè)與報(bào)警。
?線上故障處理:有多個(gè)線上事故處理案例,如 Kafka消費(fèi)積壓、Spark任務(wù)OOM、Flink Checkpoint超時(shí)、Hive鎖表等,能提供詳細(xì)處理過(guò)程與優(yōu)化方案。
工作地點(diǎn):湖南湘潭九華
福利待遇:周末雙休,五險(xiǎn)一金,帶薪年假,法定休假,餐費(fèi)補(bǔ)貼,免費(fèi)住宿…

工作地點(diǎn)

湘潭市-雨湖區(qū)-白石西路78號(hào)閃充公司

職位發(fā)布者

王女士/主管

今日活躍
立即溝通
公司Logo湖南閃充網(wǎng)科技有限公司
湖南閃充網(wǎng)科技有限公司是一家專注于共享?yè)Q電及配套解決方案的科技公司。主營(yíng)業(yè)務(wù)為便捷換電、車輛租售、線上商城、騎手論壇、電池全生命周期管理等國(guó)民化電動(dòng)出行服務(wù)。公司專注共享?yè)Q電領(lǐng)域的深入研究、運(yùn)營(yíng)和推廣,為居民構(gòu)建方便快捷、時(shí)尚新穎的換電環(huán)境,致力于成為全球領(lǐng)先的智慧能源生態(tài)平臺(tái)。
公司主頁(yè)