職位描述
ShellPythonFlinkSpark
崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)與分層開發(fā)，基于業(yè)務(wù)需求搭建 ODS、DWD、DWS、ADS 分層模型，制定并落地?cái)?shù)據(jù)倉(cāng)庫(kù)命名規(guī)范、開發(fā)規(guī)范。
2.基于 Apache Doris、ClickHouse 等大數(shù)據(jù)引擎，編寫高效的 SQL 腳本，完成數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載（ETL） 任務(wù)，保障數(shù)據(jù)同步的準(zhǔn)確性和時(shí)效性。
3.負(fù)責(zé)DataX、Sqoop等數(shù)據(jù)同步工具的任務(wù)配置、調(diào)度與監(jiān)控，解決數(shù)據(jù)同步過程中的斷點(diǎn)續(xù)傳、數(shù)據(jù)一致性等問題。
4.參與大數(shù)據(jù)平臺(tái)性能優(yōu)化，包括 SQL 語(yǔ)句優(yōu)化、分區(qū)裁剪、謂詞下推、索引設(shè)計(jì)等，提升數(shù)據(jù)查詢和處理效率。
5.配合業(yè)務(wù)部門進(jìn)行數(shù)據(jù)需求調(diào)研與分析，提供數(shù)據(jù)支撐方案，輸出符合業(yè)務(wù)需求的報(bào)表、指標(biāo)體系或數(shù)據(jù)接口。
6.負(fù)責(zé)數(shù)據(jù)任務(wù)的監(jiān)控與運(yùn)維，建立數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則，及時(shí)排查和解決數(shù)據(jù)延遲、數(shù)據(jù)錯(cuò)誤等問題，保障數(shù)據(jù)鏈路穩(wěn)定運(yùn)行。
任職要求：
硬性要求:
1.本科及以上學(xué)歷，計(jì)算機(jī)、軟件工程、統(tǒng)計(jì)學(xué)等相關(guān)專業(yè)，3 年及以上大數(shù)據(jù)開發(fā)相關(guān)工作經(jīng)驗(yàn)。
2.精通 Hadoop 生態(tài)體系，熟練掌握 HDFS、YARN、MapReduce、Hive、Spark 等核心組件的原理與應(yīng)用。
3.熟練使用 Apache Doris、ClickHouse 至少一種 MPP 數(shù)據(jù)庫(kù)，具備豐富的表結(jié)構(gòu)設(shè)計(jì)、SQL 優(yōu)化經(jīng)驗(yàn)，理解 CBO 優(yōu)化器原理。
4.熟練使用 DataX 等數(shù)據(jù)同步工具，能夠獨(dú)立配置復(fù)雜的數(shù)據(jù)同步任務(wù)，解決異構(gòu)數(shù)據(jù)源同步問題。
5.掌握 Shell/Python 腳本開發(fā)，能夠編寫自動(dòng)化調(diào)度腳本、數(shù)據(jù)校驗(yàn)?zāi)_本。
1.負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)與分層開發(fā)，基于業(yè)務(wù)需求搭建 ODS、DWD、DWS、ADS 分層模型，制定并落地?cái)?shù)據(jù)倉(cāng)庫(kù)命名規(guī)范、開發(fā)規(guī)范。
2.基于 Apache Doris、ClickHouse 等大數(shù)據(jù)引擎，編寫高效的 SQL 腳本，完成數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載（ETL） 任務(wù)，保障數(shù)據(jù)同步的準(zhǔn)確性和時(shí)效性。
3.負(fù)責(zé)DataX、Sqoop等數(shù)據(jù)同步工具的任務(wù)配置、調(diào)度與監(jiān)控，解決數(shù)據(jù)同步過程中的斷點(diǎn)續(xù)傳、數(shù)據(jù)一致性等問題。
4.參與大數(shù)據(jù)平臺(tái)性能優(yōu)化，包括 SQL 語(yǔ)句優(yōu)化、分區(qū)裁剪、謂詞下推、索引設(shè)計(jì)等，提升數(shù)據(jù)查詢和處理效率。
5.配合業(yè)務(wù)部門進(jìn)行數(shù)據(jù)需求調(diào)研與分析，提供數(shù)據(jù)支撐方案，輸出符合業(yè)務(wù)需求的報(bào)表、指標(biāo)體系或數(shù)據(jù)接口。
6.負(fù)責(zé)數(shù)據(jù)任務(wù)的監(jiān)控與運(yùn)維，建立數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則，及時(shí)排查和解決數(shù)據(jù)延遲、數(shù)據(jù)錯(cuò)誤等問題，保障數(shù)據(jù)鏈路穩(wěn)定運(yùn)行。
任職要求：
硬性要求:
1.本科及以上學(xué)歷，計(jì)算機(jī)、軟件工程、統(tǒng)計(jì)學(xué)等相關(guān)專業(yè)，3 年及以上大數(shù)據(jù)開發(fā)相關(guān)工作經(jīng)驗(yàn)。
2.精通 Hadoop 生態(tài)體系，熟練掌握 HDFS、YARN、MapReduce、Hive、Spark 等核心組件的原理與應(yīng)用。
3.熟練使用 Apache Doris、ClickHouse 至少一種 MPP 數(shù)據(jù)庫(kù)，具備豐富的表結(jié)構(gòu)設(shè)計(jì)、SQL 優(yōu)化經(jīng)驗(yàn)，理解 CBO 優(yōu)化器原理。
4.熟練使用 DataX 等數(shù)據(jù)同步工具，能夠獨(dú)立配置復(fù)雜的數(shù)據(jù)同步任務(wù)，解決異構(gòu)數(shù)據(jù)源同步問題。
5.掌握 Shell/Python 腳本開發(fā)，能夠編寫自動(dòng)化調(diào)度腳本、數(shù)據(jù)校驗(yàn)?zāi)_本。
6.具備SmartBI、FINEBI等至少一個(gè)主流BI產(chǎn)品的建設(shè)經(jīng)驗(yàn)優(yōu)先
7.了解主流調(diào)度工具的使用，能夠搭建完整的 ETL 調(diào)度流程。
軟性要求：
1.具備較強(qiáng)的邏輯思維能力，能夠快速拆解復(fù)雜業(yè)務(wù)需求并轉(zhuǎn)化為技術(shù)方案。
2.具備良好的問題排查能力，能夠定位并解決大數(shù)據(jù)平臺(tái)運(yùn)行過程中的性能瓶頸和數(shù)據(jù)異常問題。
3.具備團(tuán)隊(duì)協(xié)作精神，能夠與業(yè)務(wù)分析師、數(shù)據(jù)分析師高效溝通，推動(dòng)項(xiàng)目落地。
4.具備較強(qiáng)的學(xué)習(xí)能力，能夠快速跟進(jìn)新技術(shù)并應(yīng)用于實(shí)際工作。
7.了解主流調(diào)度工具的使用，能夠搭建完整的 ETL 調(diào)度流程。
軟性要求：
1.具備較強(qiáng)的邏輯思維能力，能夠快速拆解復(fù)雜業(yè)務(wù)需求并轉(zhuǎn)化為技術(shù)方案。
2.具備良好的問題排查能力，能夠定位并解決大數(shù)據(jù)平臺(tái)運(yùn)行過程中的性能瓶頸和數(shù)據(jù)異常問題。
3.具備團(tuán)隊(duì)協(xié)作精神，能夠與業(yè)務(wù)分析師、數(shù)據(jù)分析師高效溝通，推動(dòng)項(xiàng)目落地。
4.具備較強(qiáng)的學(xué)習(xí)能力，能夠快速跟進(jìn)新技術(shù)并應(yīng)用于實(shí)際工作。
工作地點(diǎn)
北京通州區(qū)陽(yáng)光金融城1
相似職位
- 大數(shù)據(jù)開發(fā)1.5-2.2萬(wàn)
北京 - 海淀
博彥科技承德有限公司 - 數(shù)據(jù)開發(fā)（銀行、金融等）1.3-2.1萬(wàn)
北京 - 豐臺(tái)
北京青錢信息技術(shù)有限公司 北京 - 石景山
國(guó)科電雷(北京)電子裝備技術(shù)有限公司- 數(shù)據(jù)開發(fā)（統(tǒng)本，金融經(jīng)驗(yàn)）1.5-2萬(wàn)
北京 - 豐臺(tái)
北京青錢信息技術(shù)有限公司 - 大數(shù)據(jù)開發(fā)工程師（短期，海外出差）1.1-2.2萬(wàn)
北京 - 海淀
軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司 - 數(shù)據(jù)開發(fā)2-2.5萬(wàn)
北京 - 西城
上海驊眾信息技術(shù)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
袁女士/招聘專員
三日內(nèi)活躍立即溝通
北京聯(lián)合永道軟件股份有限公司北京聯(lián)合永道軟件股份有限公司（簡(jiǎn)稱：聯(lián)合永道，股票代碼430664）是一家基于數(shù)字技術(shù)面向金融、能源、教育、IT與互聯(lián)網(wǎng)及其他領(lǐng)域提供全生態(tài)建設(shè)方案與服務(wù)的領(lǐng)先企業(yè)。公司成立于2007年4月10日，業(yè)務(wù)主要涉及金融、能源、電信、教育、IT&互聯(lián)網(wǎng)、交通、醫(yī)療等行業(yè)，運(yùn)用人工智能、云計(jì)算、大數(shù)據(jù)、區(qū)塊鏈、移動(dòng)互聯(lián)和在線支付等技術(shù)，為國(guó)內(nèi)外客戶提供專業(yè)的軟件技術(shù)服務(wù)和解決方案。聯(lián)合永道經(jīng)過多年在技術(shù)領(lǐng)域的持續(xù)投入與發(fā)展，目前已擁有9項(xiàng)軟件產(chǎn)品等級(jí)證書，百余項(xiàng)知識(shí)產(chǎn)權(quán)和專利。在2021年通過了北京市專精特新企業(yè)認(rèn)證，且在2022年通過了北京市專精特新小巨人企業(yè)認(rèn)證。聯(lián)合永道擁有員工1000多人，90%以上為本科及以上學(xué)歷的技術(shù)人員。公司總部位于北京，在上海、廣州、武漢、杭州、深圳等地設(shè)有分支機(jī)構(gòu)。聯(lián)合永道自成立以來(lái)致力于為客戶提供了量身定制的IT技術(shù)服務(wù)。先后為交通銀行、廣州銀行、湖南農(nóng)信社、光大證券、浙商證券、中國(guó)人壽、中國(guó)人保、陽(yáng)光保險(xiǎn)、國(guó)華人壽、中國(guó)移動(dòng)、中石油、中海油、中石化、中航信、昆侖數(shù)智、卓望科技、華三通信、大華股份、神州數(shù)碼、啟明星辰、百度、阿里、字節(jié)跳動(dòng)、搜狐、網(wǎng)易等近千家優(yōu)秀企業(yè)提供了全面的顧問咨詢、軟件開發(fā)、質(zhì)量測(cè)試以及技術(shù)人員外包服務(wù)。同時(shí)公司注重公司自有產(chǎn)品開發(fā)，面向智慧教育領(lǐng)域形成完整的校園管理信息化產(chǎn)品以及解決方案，為國(guó)內(nèi)數(shù)百家中高職院校提供相應(yīng)的軟件產(chǎn)品與技術(shù)服務(wù)。典型客戶有：合肥職業(yè)技術(shù)學(xué)院、上海電子信息職業(yè)技術(shù)學(xué)院、天津渤海化工職業(yè)技術(shù)學(xué)院、河南機(jī)電職業(yè)學(xué)院、江蘇海事職業(yè)技術(shù)學(xué)院等。聯(lián)合永道經(jīng)過十多年的迅猛發(fā)展，取得了驕人的業(yè)績(jī)，這不僅源于公司高質(zhì)高效的產(chǎn)品研發(fā)、科學(xué)規(guī)范的項(xiàng)目管理和全面穩(wěn)定的人才團(tuán)隊(duì)，更得益于貫穿公司始終、獨(dú)具特色的“聯(lián)合永道，說到做到”的企業(yè)文化。這種文化建立了公司對(duì)客戶、對(duì)合作伙伴、對(duì)社會(huì)的誠(chéng)信原則，為公司在市場(chǎng)競(jìng)爭(zhēng)當(dāng)中樹立了良好的信用口碑，保障了公司的可持續(xù)成長(zhǎng)。公司先后通過高新技術(shù)企業(yè)認(rèn)證、雙軟認(rèn)證、ISO9001:2008質(zhì)量管理體系認(rèn)證、ISO27001安全信息認(rèn)證、ISO14001環(huán)境管理認(rèn)證、ISO45001職業(yè)健康安全認(rèn)證、CMMI3級(jí)認(rèn)證、計(jì)算機(jī)系統(tǒng)集成三級(jí)認(rèn)證、AAA信用等級(jí)證書，榮獲近百項(xiàng)軟件行業(yè)大獎(jiǎng)，并與國(guó)內(nèi)外近百家知名企業(yè)建立了緊密的技術(shù)協(xié)作與合作關(guān)系。立足中國(guó)，放眼全球，未來(lái)聯(lián)合永道將積極探索領(lǐng)先的IT服務(wù)技術(shù)，貫徹客戶至上，以人為本、堅(jiān)持以技術(shù)推動(dòng)進(jìn)步，科技改變生活的價(jià)值觀，致力成為國(guó)際領(lǐng)先的IT綜合服務(wù)商，用創(chuàng)新的數(shù)字技術(shù)與客戶一起改變世界。
公司主頁(yè)