崗位職責:
1. 設計、開發(fā)與維護網頁數據抓取系統(tǒng),搭建高效穩(wěn)定采集體系,實現多場景數據精準采集、解析與清洗。
2. 針對反爬機制制定應對策略,優(yōu)化采集性能,保障數據抓取完整性與時效性。
3. 按需開發(fā) Chrome 瀏覽器插件輔助抓取,提升效率與適配性。
4. 對接數據存儲分析環(huán)節(jié),完成結構化處理與交付,配合業(yè)務應用落地。
5. 關注采集技術趨勢,迭代優(yōu)化框架,沉淀開發(fā)方法論。
任職要求:
(一)硬性條件
1. 本科及以上學歷,計算機相關專業(yè)優(yōu)先,英語四級及以上。
2. 有實際采集工具/系統(tǒng)開發(fā)經驗,有可驗證項目案例。
3. 熟練掌握 Python 或 Java,具備扎實后端開發(fā)能力。
4. 精通 JavaScript(ES6+),熟悉 HTML5/CSS3、DOM 操作。
(二)核心技術能力
1. 精通網頁數據抓取核心技術,掌握動態(tài)頁面抓取方案。
2. 熟悉采集場景,有驗證碼、IP 代理池搭建等實操經驗。
3. 了解瀏覽器擴展開發(fā),有 Chrome 插件開發(fā)經驗者優(yōu)先。
4. 熟悉 HTTP/HTTPS 協(xié)議,熟練使用相關工具及 Git。
(三)綜合素質
1. 具備獨立分析解決問題能力,能快速定位采集異常。
2. 良好溝通協(xié)作能力,能將業(yè)務需求轉化為技術方案。
3. 對數據抓取技術有持續(xù)學習熱情,適應技術迭代。