精通 Python 與 SQL,熟悉主流數(shù)據(jù)庫(kù)與分布式計(jì)算框架(如 Spark、
ClickHouse、Presto、Flink 等);
熟悉 數(shù)據(jù)編排工具(Airflow、Prefect、Argo等)與任務(wù)調(diào)度機(jī)制;
了解 云端與容器化環(huán)境(AWS、GCP、K8s、Docker);
具備數(shù)據(jù)質(zhì)量管理與自動(dòng)化測(cè)試經(jīng)驗(yàn)(如 Great Expectations、Soda、自研框架
等);
理解時(shí)間序列數(shù)據(jù)與特征滯后處理,熟悉版本化數(shù)據(jù)管理與數(shù)據(jù)契約概念;
具備基礎(chǔ)的Linux、Git、CI/CD 流程知識(shí)。
要求:
5年以上數(shù)據(jù)工程或數(shù)據(jù)平臺(tái)搭建經(jīng)驗(yàn);
至少2年技術(shù)團(tuán)隊(duì)管理或項(xiàng)目負(fù)責(zé)人經(jīng)驗(yàn);
有復(fù)雜系統(tǒng)中構(gòu)建高可用數(shù)據(jù)架構(gòu)的成功案例;
熟悉多源異構(gòu)數(shù)據(jù)治理與數(shù)據(jù)合規(guī)(隱私、版權(quán)、使用協(xié)議等)。