1、碩士2年以上相關(guān)工作經(jīng)驗(yàn)或本科4年以上相關(guān)工作經(jīng)驗(yàn);
2、熟悉必須的專業(yè)技能,熟悉SQL等開發(fā)技術(shù),熟悉主流數(shù)據(jù)庫,中間件技術(shù),具備數(shù)據(jù)治理或業(yè)務(wù)需求分析能力;
3、能獨(dú)立完成程序設(shè)計(jì)、功能設(shè)計(jì)及編碼開發(fā)和調(diào)試工作;
4、良好的團(tuán)隊(duì)協(xié)同工作能力,善于分享和總結(jié);
5、良好的壓力承受能力和工作品質(zhì)。
1. 熟悉運(yùn)用 MySQL、Oracle 數(shù)據(jù)庫;
2. 掌握利用 Spark 分布式計(jì)算框架,Spark 作業(yè)提交和執(zhí)行流程;
3. 掌握利用 Spark SQL 進(jìn)行數(shù)據(jù)處理、查詢、統(tǒng)計(jì);
4. 熟悉 Hadoop,Hive,Sqoop、dataX 等組件,熟悉 MR 過程;
5. 理解 Hadoop 的分布式文件系統(tǒng) HDFS 的整體運(yùn)行機(jī)制;
6. 熟悉 Hive 的運(yùn)行機(jī)制,熟練使用 Hive 窗口函數(shù);
7. 掌握 Flume 進(jìn)行多種數(shù)據(jù)源數(shù)據(jù)采集,自定義 Source 實(shí)現(xiàn)日志采集過程中的偏移量維護(hù);
8. 熟悉數(shù)據(jù)倉庫架構(gòu)及數(shù)據(jù)倉庫搭建流程;
9. 掌握 Kafka 原理,實(shí)現(xiàn)流式數(shù)據(jù)的過濾和分析,熟悉 Kafka 的機(jī)制;
10. 了解 Hbase 的存儲原理,Hbase 存儲架構(gòu),實(shí)現(xiàn)數(shù)據(jù)的毫秒檢索。