主要職責:
1、負責大數(shù)據搬遷和系統(tǒng)集成。
2、利用華為云數(shù)據遷移工具搬遷數(shù)據倉庫并進行數(shù)據核對。
3、處理海量數(shù)據,進行實時和批處理分析,支持業(yè)務需求。
4、具備良好的SQL優(yōu)化能力;能夠完成數(shù)據比對工作,并且在數(shù)據出錯時,有能力根據數(shù)據濟追溯并定位出問題腳本。
任職資格:
1、5年大數(shù)據開發(fā)經驗,熟悉大數(shù)據相關技術棧。
2、精通 Hadoop、Spark、Flink、hive等大數(shù)據處理框架。能夠獨立完成fink、spark作業(yè)的遷移/開發(fā),能夠端到端的進行調測。
3、熟練掌握 Java、SQL、Scala 或 Python 等語言。
4、具備良好的SQL優(yōu)化能力,熟悉關系型數(shù)據庫和NoSQL數(shù)據庫。
5、具備大數(shù)據平臺性能優(yōu)化的經驗。
6、優(yōu)秀的溝通能力和書面表達能力。
7、熟悉華為大數(shù)據平臺MRS、DataArt studio、Data Lake、Gaussdb(DWS)優(yōu)先。
8、統(tǒng)招大專以上學歷。
9、熟悉華為大數(shù)據平臺MRS、DataArt studio、Data Lake、Gaussdb(DWS)優(yōu)先、具備大數(shù)據遷移工作經驗優(yōu)先。