1. 負責公司大數(shù)據(jù)平臺的整體架構設計,結合業(yè)務需求與發(fā)展戰(zhàn)略,制定可擴展、高性能、高可用的大數(shù)據(jù)解決方案,確保數(shù)據(jù)的高效存儲、處理與分析。
2. 參與數(shù)據(jù)倉庫、數(shù)據(jù)湖等核心數(shù)據(jù)基礎設施的架構搭建,優(yōu)化數(shù)據(jù)模型,設計合理的數(shù)據(jù)分層體系,保障數(shù)據(jù)質量與一致性。
3. 設計并構建全面的數(shù)據(jù)治理體系,涵蓋數(shù)據(jù)標準、元數(shù)據(jù)管理、數(shù)據(jù)質量、數(shù)據(jù)安全等多個關鍵領域。制定統(tǒng)一且適配的數(shù)據(jù)標準,確保各業(yè)務板塊數(shù)據(jù)的一致性與通用性,為數(shù)據(jù)的高效流通與應用奠定基礎。
4. 持續(xù)優(yōu)化與完善數(shù)據(jù)治理體系,根據(jù)業(yè)務發(fā)展變化、行業(yè)規(guī)范更新以及技術演進,及時調整治理策略與流程,保障數(shù)據(jù)治理體系的有效性與適應性。
5. 主導制定公司內部的數(shù)據(jù)標準規(guī)范,包括數(shù)據(jù)定義、數(shù)據(jù)格式、數(shù)據(jù)編碼規(guī)則等,推動數(shù)據(jù)標準在各業(yè)務部門和技術團隊中的貫徹執(zhí)行。
6. 建立數(shù)據(jù)質量監(jiān)控體系,運用數(shù)據(jù)質量檢測工具與算法,對海量數(shù)據(jù)進行實時或定期監(jiān)測,及時發(fā)現(xiàn)數(shù)據(jù)缺失、錯誤、不一致等質量問題。通過優(yōu)化數(shù)據(jù)采集流程、完善數(shù)據(jù)清洗規(guī)則、加強數(shù)據(jù)錄入校驗等措施,持續(xù)提升數(shù)據(jù)質量,為業(yè)務決策提供可靠的數(shù)據(jù)支持。
7. 設計并實施數(shù)據(jù)安全策略與方案,保障數(shù)據(jù)在采集、存儲、傳輸與使用過程中的安全性。應對數(shù)據(jù)安全風險與事件,建立數(shù)據(jù)安全應急響應機制。在發(fā)生數(shù)據(jù)安全事故時,能夠迅速采取措施進行處理,降低損失,并總結經驗教訓,完善數(shù)據(jù)安全防護體系。
任職要求:
1. 熟悉數(shù)據(jù)倉庫技術,并有廣泛的實踐經驗,具備維護和解決生產問題的能力;
2. 有互聯(lián)網(wǎng)大數(shù)據(jù)量復雜場景的數(shù)據(jù)倉庫實踐經驗;
3. 精通大數(shù)據(jù)技術體系,熟悉 Hadoop 生態(tài)系統(tǒng)、Spark、Flink 等大數(shù)據(jù)處理框架,具備扎實的分布式系統(tǒng)開發(fā)與架構設計能力。
4. 熟練掌握數(shù)據(jù)倉庫、數(shù)據(jù)湖架構設計,熟悉大數(shù)據(jù)處理技術和常見的機器學習、深度學習、因果推斷等領域內容,具有扎實的數(shù)據(jù)結構基礎,有較強的業(yè)務分析和問題解決能力,有豐富的SQL開發(fā)經驗。
5. 了解數(shù)據(jù)治理與數(shù)據(jù)安全相關知識,具備數(shù)據(jù)安全架構設計與實施能力。
6. 具備良好的系統(tǒng)性能調優(yōu)能力,能夠運用監(jiān)控工具與性能分析方法,解決系統(tǒng)性能問題。
7. 有海量數(shù)據(jù)分析與標簽、畫像相關數(shù)據(jù)系統(tǒng)建設經驗;具備較強的問題解決能力與創(chuàng)新思維,能夠應對復雜業(yè)務場景下的技術挑戰(zhàn)。
8. 良好的溝通協(xié)作能力與團隊管理能力,能夠有效推動跨部門合作。