職位概述:
負(fù)責(zé)設(shè)計(jì)與實(shí)施端到端數(shù)據(jù)管道(批處理與流式),主導(dǎo)數(shù)據(jù)建模、數(shù)據(jù)質(zhì)量監(jiān)控與高性能數(shù)據(jù)服務(wù)交付。
核心職責(zé):
●進(jìn)行關(guān)系型與非關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)建模與優(yōu)化
●設(shè)計(jì)并開發(fā)ETL/ELT流程,支持工作流編排與錯(cuò)誤處理
●構(gòu)建可靠的數(shù)據(jù)管道,確保數(shù)據(jù)流動(dòng)高效可復(fù)現(xiàn)
●實(shí)施數(shù)據(jù)質(zhì)量檢查與監(jiān)控機(jī)制,維護(hù)數(shù)據(jù)血緣與元數(shù)據(jù)
●編寫數(shù)據(jù)轉(zhuǎn)換單元/集成測(cè)試,確保數(shù)據(jù)安全與合規(guī)
●優(yōu)化查詢性能與管道吞吐,控制成本與擴(kuò)展性
任職要求:
●5年以上后端與數(shù)據(jù)工程開發(fā)經(jīng)驗(yàn)
●熟練使用Python及相關(guān)數(shù)據(jù)框架(Pandas、PySpark、SQL)
●熟悉關(guān)系型與非關(guān)系型數(shù)據(jù)庫(kù),具備數(shù)據(jù)建模能力
●有ETL/ELT設(shè)計(jì)與數(shù)據(jù)管道構(gòu)建經(jīng)驗(yàn)
●具備優(yōu)秀英文書面與口語(yǔ)能力,有外企工作經(jīng)驗(yàn)者優(yōu)先
●熟悉現(xiàn)代數(shù)據(jù)棧(Kafka、Airflow、dbt)、云數(shù)據(jù)倉(cāng)庫(kù)(Snowflake、BigQuery等)者優(yōu)先
●有數(shù)據(jù)安全、隱私合規(guī)(GDPR/HIPAA等)經(jīng)驗(yàn)者優(yōu)先