核心職責(zé)：
1、離線數(shù)據(jù)倉庫：
1-1、使用 Spark 及 Hive SQL 構(gòu)建和維護(hù)車聯(lián)網(wǎng)離線數(shù)據(jù)倉庫。
1-2、基 Hadoop 生態(tài)（包括 Tez 和 MapReduce 引擎）進(jìn)行大規(guī)模數(shù)據(jù)的ETL開發(fā)與性能調(diào)優(yōu)。
1-3、了解presto、impala、hive、yarn等hadoop相關(guān)組件
1-4、負(fù)責(zé)主題域模型設(shè)計(jì)、數(shù)據(jù)分層（ODS/DWD/DWS/ADS），支撐復(fù)雜的離線指標(biāo)分析需求。
1-4、有熟練使用調(diào)度工具的經(jīng)驗(yàn)，熟悉各類抽數(shù)工具：sqoop、kettle、datax或者其他
2、數(shù)據(jù)服務(wù)與接口開發(fā)：
2-1、使用 Java 開發(fā)高性能、高可用的數(shù)據(jù)查詢接口，為前端應(yīng)用、業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)服務(wù)。
2-2、整合 MySQL（元數(shù)據(jù)/業(yè)務(wù)數(shù)據(jù)）、Redis（高速緩存）、StarRocks（OLAP查詢）等多種數(shù)據(jù)源，優(yōu)化查詢性能
3、技術(shù)架構(gòu)與優(yōu)化：
3-1、負(fù)責(zé) Kafka 集群的數(shù)據(jù)流轉(zhuǎn)架構(gòu)設(shè)計(jì)，確保數(shù)據(jù)管道的穩(wěn)定性和吞吐量。
3-2、持續(xù)監(jiān)控和優(yōu)化整個(gè)數(shù)據(jù)鏈路的性能，解決生產(chǎn)環(huán)境中的技術(shù)難題。
必備條件：
1、經(jīng)驗(yàn)與技能：
1-1、計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)。
1-2、精通 Java 語言，具備良好的編程規(guī)范和工程化能力，能夠編寫高質(zhì)量、高性能的代碼。
1-3、精通 Flink 實(shí)時(shí)計(jì)算框架，具有使用 Java API（非僅SQL）進(jìn)行復(fù)雜業(yè)務(wù)開發(fā)的經(jīng)驗(yàn)，同時(shí)熟練掌握 Flink SQL。
1-4、精通 Spark 和 Hive SQL，有基于 Hadoop（YARN）生態(tài)進(jìn)行大規(guī)模離線數(shù)據(jù)處理的實(shí)戰(zhàn)經(jīng)驗(yàn)，了解 Tez 和 MapReduce 引擎原理。
1-5、熟練使用 MySQL、Redis，理解其核心原理與應(yīng)用場景。
1-6、熟練使用 Kafka，理解其架構(gòu)、吞吐量與可靠性保障機(jī)制。
1-7、具備優(yōu)秀的 SQL 性能調(diào)優(yōu)能力，能夠解決數(shù)據(jù)傾斜等復(fù)雜問題
2、項(xiàng)目經(jīng)驗(yàn)
有處理過汽車行業(yè)財(cái)務(wù)業(yè)務(wù)，財(cái)務(wù)合并、多維盈利、財(cái)務(wù)分析項(xiàng)目經(jīng)驗(yàn)優(yōu)先
優(yōu)先考慮：
1-1、對flink，iceberg, paimon, doris, starrocks有實(shí)際使用和性能優(yōu)化經(jīng)驗(yàn)者優(yōu)先。
1-2、理解 Lambda 或 Kappa 架構(gòu)，并有實(shí)際項(xiàng)目落地經(jīng)驗(yàn)者優(yōu)先。
1-3、有大數(shù)據(jù)平臺任務(wù)調(diào)度系統(tǒng)（如 DolphinScheduler, Airflow）開發(fā)或管理經(jīng)驗(yàn)者優(yōu)先。
1-4、具備一定的前端知識，能夠獨(dú)立完成簡單數(shù)據(jù)報(bào)表開發(fā)者優(yōu)先。