崗位要求：
1. 負責爬蟲系統(tǒng)的設計、開發(fā)、部署與優(yōu)化，針對不同數(shù)據(jù)源（網(wǎng)頁、APP接口、第三方平臺等）制定合理的爬蟲策略。
2. 解決反爬、高并發(fā)、數(shù)據(jù)抓取效率等問題；定期維護爬蟲任務，確保數(shù)據(jù)抓取的穩(wěn)定性、準確性和及時性。
3. 設計并實現(xiàn)高效、可靠的數(shù)據(jù)管道，完成數(shù)據(jù)的抓取、清洗、轉換、存儲、同步等全流程處理；
4. 優(yōu)化數(shù)據(jù)處理鏈路，提升數(shù)據(jù)吞吐量和處理效率，保障數(shù)據(jù)質量，為業(yè)務系統(tǒng)和AI模型提供高質量的數(shù)據(jù)支撐。
5. 負責后端業(yè)務API的設計、開發(fā)、測試與上線，根據(jù)業(yè)務需求提供穩(wěn)定、高效的接口服務；
6. 制定API接口規(guī)范，保障接口的安全性、可擴展性和兼容性，配合前端及其他業(yè)務模塊完成接口聯(lián)調。
7. 對接各類AI服務（如大模型、圖像識別、自然語言處理等），完成AI服務與后端系統(tǒng)的集成開發(fā)；
8. 負責AI服務調用的適配、性能優(yōu)化、異常處理，確保AI能力在業(yè)務場景中穩(wěn)定落地應用。
9. 持續(xù)監(jiān)控后端系統(tǒng)的運行狀態(tài)，針對系統(tǒng)瓶頸（如數(shù)據(jù)庫性能、接口響應速度、爬蟲效率等）進行優(yōu)化；
10. 負責線上系統(tǒng)故障的排查、定位與修復，保障系統(tǒng)穩(wěn)定運行。
11. 撰寫并維護技術設計文檔、接口文檔、開發(fā)手冊等；
12. 沉淀開發(fā)經(jīng)驗和技術方案，參與團隊技術分享，推動團隊技術能力提升。
13. 配合團隊協(xié)作與項目推進：參與需求評審、技術方案討論，配合產(chǎn)品、前端、測試等團隊完成項目研發(fā)任務；
14. 積極響應業(yè)務需求變更，保障項目按時按質交付。
崗位要求：
1. 本科及以上學歷，計算機科學與技術、軟件工程、信息工程等相關專業(yè)；優(yōu)秀者可放寬至大專學歷。
2. 3年及以上后端開發(fā)經(jīng)驗，至少1-2年爬蟲系統(tǒng)、數(shù)據(jù)管道相關開發(fā)經(jīng)驗；
3. 有AI服務集成（如調用大模型API、部署私有化AI模型）相關經(jīng)驗者優(yōu)先。
4. 精通至少一種后端開發(fā)語言（如Python、Java），同時熟悉Python與Java語言，熟悉主流開發(fā)框架（如Django、Flask、Spring Boot、Gin等）；
5. 熟悉爬蟲技術棧，掌握requests、Scrapy、Selenium、Playwright等爬蟲工具，了解常見反爬機制（如IP封禁、驗證碼、Cookie驗證）及解決方案；
6. 熟悉數(shù)據(jù)處理相關技術，掌握ETL流程設計，了解Spark、Flink等大數(shù)據(jù)處理框架者優(yōu)先；7)精通關系型數(shù)據(jù)庫（如MySQL、PostgreSQL）和非關系型數(shù)據(jù)庫（如MongoDB、Redis）的設計、優(yōu)化與操作；
7. 了解RESTful API設計規(guī)范，具備API開發(fā)、接口鑒權、接口性能優(yōu)化經(jīng)驗；
8. 具備良好的溝通能力、團隊協(xié)作精神和責任心，能承受一定的工作壓力。
9. 熟悉AI相關技術（如大模型應用、向量數(shù)據(jù)庫），有AI+業(yè)務場景集成經(jīng)驗者優(yōu)先；