崗位要求：
1. 負(fù)責(zé)爬蟲系統(tǒng)的設(shè)計(jì)、開發(fā)、部署與優(yōu)化，針對不同數(shù)據(jù)源（網(wǎng)頁、APP接口、第三方平臺等）制定合理的爬蟲策略。
2. 解決反爬、高并發(fā)、數(shù)據(jù)抓取效率等問題；定期維護(hù)爬蟲任務(wù)，確保數(shù)據(jù)抓取的穩(wěn)定性、準(zhǔn)確性和及時(shí)性。
3. 設(shè)計(jì)并實(shí)現(xiàn)高效、可靠的數(shù)據(jù)管道，完成數(shù)據(jù)的抓取、清洗、轉(zhuǎn)換、存儲、同步等全流程處理；
4. 優(yōu)化數(shù)據(jù)處理鏈路，提升數(shù)據(jù)吞吐量和處理效率，保障數(shù)據(jù)質(zhì)量，為業(yè)務(wù)系統(tǒng)和AI模型提供高質(zhì)量的數(shù)據(jù)支撐。
5. 負(fù)責(zé)后端業(yè)務(wù)API的設(shè)計(jì)、開發(fā)、測試與上線，根據(jù)業(yè)務(wù)需求提供穩(wěn)定、高效的接口服務(wù)；
6. 制定API接口規(guī)范，保障接口的安全性、可擴(kuò)展性和兼容性，配合前端及其他業(yè)務(wù)模塊完成接口聯(lián)調(diào)。
7. 對接各類AI服務(wù)（如大模型、圖像識別、自然語言處理等），完成AI服務(wù)與后端系統(tǒng)的集成開發(fā)；
8. 負(fù)責(zé)AI服務(wù)調(diào)用的適配、性能優(yōu)化、異常處理，確保AI能力在業(yè)務(wù)場景中穩(wěn)定落地應(yīng)用。
9. 持續(xù)監(jiān)控后端系統(tǒng)的運(yùn)行狀態(tài)，針對系統(tǒng)瓶頸（如數(shù)據(jù)庫性能、接口響應(yīng)速度、爬蟲效率等）進(jìn)行優(yōu)化；
10. 負(fù)責(zé)線上系統(tǒng)故障的排查、定位與修復(fù)，保障系統(tǒng)穩(wěn)定運(yùn)行。
11. 撰寫并維護(hù)技術(shù)設(shè)計(jì)文檔、接口文檔、開發(fā)手冊等；
12. 沉淀開發(fā)經(jīng)驗(yàn)和技術(shù)方案，參與團(tuán)隊(duì)技術(shù)分享，推動(dòng)團(tuán)隊(duì)技術(shù)能力提升。
13. 配合團(tuán)隊(duì)協(xié)作與項(xiàng)目推進(jìn)：參與需求評審、技術(shù)方案討論，配合產(chǎn)品、前端、測試等團(tuán)隊(duì)完成項(xiàng)目研發(fā)任務(wù)；
14. 積極響應(yīng)業(yè)務(wù)需求變更，保障項(xiàng)目按時(shí)按質(zhì)交付。
崗位要求：
1. 本科及以上學(xué)歷，計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、信息工程等相關(guān)專業(yè)；優(yōu)秀者可放寬至大專學(xué)歷。
2. 3年及以上后端開發(fā)經(jīng)驗(yàn)，至少1-2年爬蟲系統(tǒng)、數(shù)據(jù)管道相關(guān)開發(fā)經(jīng)驗(yàn)；
3. 有AI服務(wù)集成（如調(diào)用大模型API、部署私有化AI模型）相關(guān)經(jīng)驗(yàn)者優(yōu)先。
4. 精通至少一種后端開發(fā)語言（如Python、Java），同時(shí)熟悉Python與Java語言，熟悉主流開發(fā)框架（如Django、Flask、Spring Boot、Gin等）；
5. 熟悉爬蟲技術(shù)棧，掌握requests、Scrapy、Selenium、Playwright等爬蟲工具，了解常見反爬機(jī)制（如IP封禁、驗(yàn)證碼、Cookie驗(yàn)證）及解決方案；
6. 熟悉數(shù)據(jù)處理相關(guān)技術(shù)，掌握ETL流程設(shè)計(jì)，了解Spark、Flink等大數(shù)據(jù)處理框架者優(yōu)先；7)精通關(guān)系型數(shù)據(jù)庫（如MySQL、PostgreSQL）和非關(guān)系型數(shù)據(jù)庫（如MongoDB、Redis）的設(shè)計(jì)、優(yōu)化與操作；
7. 了解RESTful API設(shè)計(jì)規(guī)范，具備API開發(fā)、接口鑒權(quán)、接口性能優(yōu)化經(jīng)驗(yàn)；
8. 具備良好的溝通能力、團(tuán)隊(duì)協(xié)作精神和責(zé)任心，能承受一定的工作壓力。
9. 熟悉AI相關(guān)技術(shù)（如大模型應(yīng)用、向量數(shù)據(jù)庫），有AI+業(yè)務(wù)場景集成經(jīng)驗(yàn)者優(yōu)先；