1、碩士2年以上相關工作經(jīng)驗或本科4年以上相關工作經(jīng)驗;
2、熟悉必須的專業(yè)技能,熟悉SQL等開發(fā)技術(shù),熟悉主流數(shù)據(jù)庫,中間件技術(shù),具備數(shù)據(jù)治理或業(yè)務需求分析能力;
3、能獨立完成程序設計、功能設計及編碼開發(fā)和調(diào)試工作;
4、良好的團隊協(xié)同工作能力,善于分享和總結(jié);
5、良好的壓力承受能力和工作品質(zhì)。
1. 熟悉運用 MySQL、Oracle 數(shù)據(jù)庫;
2. 掌握利用 Spark 分布式計算框架,Spark 作業(yè)提交和執(zhí)行流程;
3. 掌握利用 Spark SQL 進行數(shù)據(jù)處理、查詢、統(tǒng)計;
4. 熟悉 Hadoop,Hive,Sqoop、dataX 等組件,熟悉 MR 過程;
5. 理解 Hadoop 的分布式文件系統(tǒng) HDFS 的整體運行機制;
6. 熟悉 Hive 的運行機制,熟練使用 Hive 窗口函數(shù);
7. 掌握 Flume 進行多種數(shù)據(jù)源數(shù)據(jù)采集,自定義 Source 實現(xiàn)日志采集過程中的偏移量維護;
8. 熟悉數(shù)據(jù)倉庫架構(gòu)及數(shù)據(jù)倉庫搭建流程;
9. 掌握 Kafka 原理,實現(xiàn)流式數(shù)據(jù)的過濾和分析,熟悉 Kafka 的機制;
10. 了解 Hbase 的存儲原理,Hbase 存儲架構(gòu),實現(xiàn)數(shù)據(jù)的毫秒檢索。