職位描述
數(shù)據(jù)治理數(shù)據(jù)中臺開發(fā)ETLSql企業(yè)大數(shù)據(jù)企業(yè)征信
崗位職責
一、數(shù)據(jù)清洗與治理
1. 負責分庫分表環(huán)境下MySQL數(shù)據(jù)清洗、轉換及遷移工作，確保數(shù)據(jù)準確性、一致性和完整性。
2. 設計并實現(xiàn)高效的數(shù)據(jù)清洗邏輯，處理異常數(shù)據(jù)、重復數(shù)據(jù)、缺失值等質量問題。
3. 優(yōu)化數(shù)據(jù)清洗流程，提升處理效率，降低對線上業(yè)務的影響。
二、分庫分表架構支持
1. 熟悉ShardingSphere、MyCat等分庫分表中間件，參與分庫分表策略的設計與優(yōu)化。
2. 解決分庫分表環(huán)境下的數(shù)據(jù)路由、跨庫JOIN、分布式事務等技術問題。
三、系統(tǒng)開發(fā)與維護
1. 開發(fā)數(shù)據(jù)清洗工具或平臺，支持批量/實時數(shù)據(jù)清洗需求。
2. 編寫高質量Java代碼，完成單元測試及性能調優(yōu)，保障系統(tǒng)穩(wěn)定性。
3. 配合運維團隊監(jiān)控數(shù)據(jù)清洗任務，快速定位并解決故障。
四、協(xié)作與優(yōu)化
1. 與數(shù)據(jù)分析、業(yè)務團隊溝通，明確數(shù)據(jù)清洗需求，輸出技術方案文檔。
2. 持續(xù)優(yōu)化數(shù)據(jù)清洗流程，推動數(shù)據(jù)治理體系完善。
一、數(shù)據(jù)清洗與治理
1. 負責分庫分表環(huán)境下MySQL數(shù)據(jù)清洗、轉換及遷移工作，確保數(shù)據(jù)準確性、一致性和完整性。
2. 設計并實現(xiàn)高效的數(shù)據(jù)清洗邏輯，處理異常數(shù)據(jù)、重復數(shù)據(jù)、缺失值等質量問題。
3. 優(yōu)化數(shù)據(jù)清洗流程，提升處理效率，降低對線上業(yè)務的影響。
二、分庫分表架構支持
1. 熟悉ShardingSphere、MyCat等分庫分表中間件，參與分庫分表策略的設計與優(yōu)化。
2. 解決分庫分表環(huán)境下的數(shù)據(jù)路由、跨庫JOIN、分布式事務等技術問題。
三、系統(tǒng)開發(fā)與維護
1. 開發(fā)數(shù)據(jù)清洗工具或平臺，支持批量/實時數(shù)據(jù)清洗需求。
2. 編寫高質量Java代碼，完成單元測試及性能調優(yōu)，保障系統(tǒng)穩(wěn)定性。
3. 配合運維團隊監(jiān)控數(shù)據(jù)清洗任務，快速定位并解決故障。
四、協(xié)作與優(yōu)化
1. 與數(shù)據(jù)分析、業(yè)務團隊溝通，明確數(shù)據(jù)清洗需求，輸出技術方案文檔。
2. 持續(xù)優(yōu)化數(shù)據(jù)清洗流程，推動數(shù)據(jù)治理體系完善。
任職要求
一、技術能力
1. 本科及以上學歷，計算機相關專業(yè)，3年以上Java開發(fā)經驗。
2. 精通Java多線程、集合框架、JVM調優(yōu)，熟悉Spring Boot/Spring Cloud等框架。
3. 深入理解MySQL數(shù)據(jù)庫原理，熟悉索引優(yōu)化、SQL調優(yōu)、事務隔離機制。
4. 具備分庫分表實際項目經驗，熟悉ShardingSphere/MyCat/Vitess等中間件。
5. 掌握數(shù)據(jù)清洗方法（ETL、正則表達式、模糊匹配等），熟悉Kettle/DataX等工具者優(yōu)先。
二、問題解決能力
1. 能獨立分析分庫分表環(huán)境下的數(shù)據(jù)一致性問題，提出解決方案并落地。
2. 熟悉分布式事務（Seata、TCC等）、分布式鎖等分布式系統(tǒng)技術。
三、軟性要求
1. 具備良好的溝通能力和團隊協(xié)作精神，能承受一定工作壓力。
2. 對數(shù)據(jù)敏感，有較強的邏輯分析能力和問題排查能力。
四、加分項
1. 有大數(shù)據(jù)處理經驗（Hadoop/Spark/Flink）。
2. 熟悉數(shù)據(jù)倉庫建模、數(shù)據(jù)治理（DQC）相關技術。
3. 有金融、電商等高并發(fā)場景下的數(shù)據(jù)清洗經驗。
一、技術能力
1. 本科及以上學歷，計算機相關專業(yè)，3年以上Java開發(fā)經驗。
2. 精通Java多線程、集合框架、JVM調優(yōu)，熟悉Spring Boot/Spring Cloud等框架。
3. 深入理解MySQL數(shù)據(jù)庫原理，熟悉索引優(yōu)化、SQL調優(yōu)、事務隔離機制。
4. 具備分庫分表實際項目經驗，熟悉ShardingSphere/MyCat/Vitess等中間件。
5. 掌握數(shù)據(jù)清洗方法（ETL、正則表達式、模糊匹配等），熟悉Kettle/DataX等工具者優(yōu)先。
二、問題解決能力
1. 能獨立分析分庫分表環(huán)境下的數(shù)據(jù)一致性問題，提出解決方案并落地。
2. 熟悉分布式事務（Seata、TCC等）、分布式鎖等分布式系統(tǒng)技術。
三、軟性要求
1. 具備良好的溝通能力和團隊協(xié)作精神，能承受一定工作壓力。
2. 對數(shù)據(jù)敏感，有較強的邏輯分析能力和問題排查能力。
四、加分項
1. 有大數(shù)據(jù)處理經驗（Hadoop/Spark/Flink）。
2. 熟悉數(shù)據(jù)倉庫建模、數(shù)據(jù)治理（DQC）相關技術。
3. 有金融、電商等高并發(fā)場景下的數(shù)據(jù)清洗經驗。
工作地點
北京朝陽區(qū)中國人保財險大廈(正門)
相似職位
- 大數(shù)據(jù)開發(fā)工程師（字節(jié)）1.5-1.9萬
北京 - 海淀
博彥科技承德有限公司 北京 - 豐臺
北京聯(lián)合永道軟件股份有限公司- 大數(shù)據(jù)開發(fā)工程師2-2.5萬
北京 - 朝陽
中福彩科技發(fā)展(北京)有限公司 - 高級軟件開發(fā)工程師/項目經理1.5-2.5萬
北京 - 海淀
北京博通睿創(chuàng)信息技術有限公司 - 高級大數(shù)據(jù)開發(fā)工程師2.2-2.5萬
北京 - 海淀
北京大享科技有限公司 - 軟件開發(fā)工程師（大數(shù)據(jù)）8000-9000元
北京 - 豐臺
通號信息產業(yè)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
宋女士/人力資源經理
今日活躍立即溝通
聯(lián)合信用征信股份有限公司聯(lián)合信用征信股份有限公司（以下簡稱“聯(lián)合征信”）于2014年成立，注冊資金1.5億元人民幣；擁有央行企業(yè)征信業(yè)務備案和國家發(fā)改委社會信用體系建設資質，是國家高新技術企業(yè)。聯(lián)合征信現(xiàn)有員工180余人；主營企業(yè)征信、社會信用體系建設、信用數(shù)字化服務。聯(lián)合征信下設子公司聯(lián)合信用評價有限公司，包含20余家分支機構，主營企業(yè)信用評價業(yè)務。聯(lián)合征信隸屬于聯(lián)合信用集團，是中國信用信息服務機構的領軍者，公司資產、經營規(guī)模、業(yè)務資質、市場占有率、服務區(qū)域位居行業(yè)領先地位，踐行著成為偉大的公信力公司的愿景、使命和價值觀。聯(lián)合信用業(yè)務涵蓋評級業(yè)務、征信業(yè)務、環(huán)保咨詢、投資咨詢四大板塊，各板塊依托聯(lián)合信用構建了多維度、可持續(xù)發(fā)展的聯(lián)合生態(tài)體系。
公司主頁