崗位職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺(Hadoop,HBase,Spark、MPP等)集群環(huán)境的性能調(diào)優(yōu)和日常維護(hù);
2、負(fù)責(zé)數(shù)據(jù)架構(gòu)設(shè)計和優(yōu)化,數(shù)據(jù)的開發(fā)與維護(hù),確保數(shù)據(jù)存儲和處理的穩(wěn)定和效率;
3、熟悉數(shù)據(jù)倉庫建模、ETL設(shè)計開發(fā),有數(shù)據(jù)質(zhì)量與數(shù)據(jù)治理相關(guān)經(jīng)驗;
4、理解業(yè)務(wù)需求并提供相應(yīng)的數(shù)據(jù)解決方案。
任職要求:
1、本科及以上學(xué)歷,計算機(jī)科學(xué)、信息技術(shù)或相關(guān)領(lǐng)域?qū)I(yè);
2、至少5年以上大數(shù)據(jù)開發(fā)經(jīng)驗,并具備一定的運(yùn)維經(jīng)驗;
3、熟練掌握Linux操作系統(tǒng),并熟悉Shell,Python等一種以上的腳本語言,并靈活運(yùn)用到實際工作中及解決技術(shù)問題;
4、熟練使用SQL,熟練掌握數(shù)倉建模,掌握常用的數(shù)據(jù)建模方法,有實時Flink相關(guān)開發(fā)經(jīng)驗優(yōu)先;
5、熟練掌握Hadoop、Spark、Hive、Doris、 Flink、 ZK、Kafka、Flume、DataX等一種以上的大數(shù)據(jù)處理工具和技術(shù),有實際大數(shù)據(jù)處理經(jīng)驗;
6、掌握Flume、DataX或者Flink,Kafka,HDFS等技術(shù),能夠獨(dú)立完成實時、離線數(shù)據(jù)接入工作優(yōu)先;
7、有大數(shù)據(jù)項目管理經(jīng)驗者優(yōu)先;
8、有RAG 知識庫產(chǎn)品/項目業(yè)務(wù)落地和實際應(yīng)用的經(jīng)驗者優(yōu)先。
9、有良好的團(tuán)隊精神和溝通能力,積極主動、熱愛技術(shù)并善于鉆研,責(zé)任心強(qiáng)、能夠承受一定工作壓力。