崗位職責
（1）負責服務端基于Java / Python編程技術實現(xiàn)系統(tǒng)內外部數(shù)據(jù)同步、數(shù)據(jù)采集及數(shù)據(jù)分析等功能模塊的編碼工作，確保數(shù)據(jù)處理過程的代碼質量與可維護性；
（2）參與技術方案設計，與項目經理、前后端開發(fā)、AI開發(fā)協(xié)作，推動數(shù)據(jù)采集需求與系統(tǒng)業(yè)務邏輯的精準對接；
（3）設計并開發(fā)數(shù)據(jù)采集模塊，通過爬蟲技術抓取外部公開數(shù)據(jù)，結合 ETL 工具實現(xiàn)數(shù)據(jù)同步，完成數(shù)據(jù)解析、清洗、轉換及結構化入庫；
（4）遵循公司代碼規(guī)范，編寫高可復用的爬蟲與數(shù)據(jù)處理代碼，參與代碼審查，優(yōu)化數(shù)據(jù)采集性能（如分布式爬蟲架構）與反爬策略（如 IP 池管理）；
（5）參與數(shù)據(jù)模塊的測試、聯(lián)調及上線工作，確保內外部數(shù)據(jù)的一致性、準確性，保障系統(tǒng)中數(shù)據(jù)相關功能的交付質量。

任職資格
（1）本科或以上學歷，計算機科學、軟件工程、數(shù)據(jù)科學等相關專業(yè)；
（2）5 年及以上 Java 開發(fā)經驗，3 年及以上爬蟲與數(shù)據(jù)開發(fā)復合經驗，具備爬蟲類項目經驗，具備企業(yè)級數(shù)據(jù)采集與處理的項目落地能力。有爬取過招標類網(wǎng)站數(shù)據(jù)經驗者優(yōu)先考慮；
（3）熟悉 Spring Boot、MyBatisplus開發(fā)框架，能設計數(shù)據(jù)采集模塊與投標系統(tǒng)的接口集成方案；
（4）精通 MySQL/PostgreSQL 數(shù)據(jù)庫，掌握索引優(yōu)化、分庫分表及數(shù)據(jù)建模，能設計爬蟲與內部數(shù)據(jù)的存儲架構；熟悉 Redis 緩存、Kafka 消息隊列，實現(xiàn)數(shù)據(jù)實時同步與異步處理；
（5）精通 Scrapy、HttpClient 等爬蟲框架，掌握 IP 池輪換、請求頻率控制、UA 隨機化等反爬技術；熟悉 Selenium、Puppeteer 等，能抓取動態(tài)頁面數(shù)據(jù)；熟練使用 BeautifulSoup/JSoup 等解析 HTML，通過正則表達式提取關鍵信息；了解分布式爬蟲架構（如 Scrapy-Redis），具備 TB 級情報數(shù)據(jù)采集與處理經驗；
（6）熟悉 ETL 工具（如 Kettle、DataX）或其他數(shù)據(jù)同步框架，能完成企業(yè)內部系統(tǒng)平臺的數(shù)據(jù)對接；熟悉數(shù)據(jù)清洗、轉換規(guī)則，能基于業(yè)務規(guī)范設計數(shù)據(jù)校驗邏輯；掌握 SQL 優(yōu)化技巧，能編寫復雜查詢語句實現(xiàn)數(shù)據(jù)關聯(lián)分析；了解數(shù)據(jù)可視化基礎（如 ECharts 圖表開發(fā)），可配合前端展示數(shù)據(jù)采集結果；
（7）熟練使用 Git 版本控制工具，理解前后端協(xié)作模式，具備容器化部署（Docker/Kubernetes）經驗；
（8）能夠適應出差。