崗位職責:
1. 參與公司數(shù)據(jù)湖的建設,做過數(shù)據(jù)湖實施;
2. 參與數(shù)據(jù)湖的離線分析開發(fā),編寫HSQL進行數(shù)據(jù)提取、轉換和加載(ETL);
3. 對現(xiàn)有Hive查詢進行性能分析和優(yōu)化,提高查詢效率;
4. 支持數(shù)據(jù)分析,為業(yè)務部門提供數(shù)據(jù)支持。
5. 參與數(shù)據(jù)治理和質(zhì)量管理,確保數(shù)據(jù)湖中的數(shù)據(jù)準確性和可靠性;
任職資格:
1. 學歷要求:??萍耙陨蠈W歷,計算機科學、信息技術等計算機相關專業(yè);
2. 工作經(jīng)驗:至少2年及以上數(shù)據(jù)湖建設經(jīng)驗,參與過數(shù)據(jù)湖的離線分析開發(fā)工作,有星環(huán)大數(shù)據(jù)平臺開發(fā)經(jīng)驗優(yōu)先考慮。
3. 技術能力:
(1) 熟悉Hive的使用,能夠編寫高效的HSQL查詢語句;
(2) 理解Hive的內(nèi)部原理,有Hive優(yōu)化經(jīng)驗,能夠針對復雜查詢進行性能調(diào)優(yōu);
(3) 有實際的數(shù)據(jù)湖開發(fā)和設計經(jīng)驗,能夠處理大規(guī)模數(shù)據(jù)集;
(4) 有實際的指標明細層設計開發(fā)經(jīng)驗;
4. 個人素質(zhì):
(1) 具備良好的邏輯思維能力,能夠獨立分析和解決問題;
(2) 有一定的抗壓能力,能夠接受項目緊張時期的加班;
(3) 良好的團隊合作精神和溝通能力,能夠與團隊成員有效協(xié)作。