工作內(nèi)容:
1、參與爬蟲系統(tǒng)的架構(gòu)設(shè)計與開發(fā), 構(gòu)建高效穩(wěn)定的爬蟲系統(tǒng)
2、研究優(yōu)化爬蟲算法,提升爬蟲系統(tǒng)的穩(wěn)定性、可擴展性
3、設(shè)計爬蟲策略和防屏蔽規(guī)則,提升網(wǎng)頁抓取的效率和質(zhì)量
4、能獨立解決實際開發(fā)過程中碰到的各類問題
崗位要求:
1、 本科及以上學(xué)歷,2-3年上爬蟲開發(fā)經(jīng)驗,有快速迭代、逐步優(yōu)化的工程項目經(jīng)驗
2、 熟練使用Pyhton,熟悉常用數(shù)據(jù)結(jié)構(gòu)、算法,熟練使用常用庫,熟練使用常用的爬蟲框架,了解反爬套路及破解方法
3、 熟悉web前端,對cookie管理、登錄等流程有深入理解,熟悉js、css、html等,熟練使用selenium、phantomjs等工具,有調(diào)優(yōu)經(jīng)驗者更佳
4、 有多線程、網(wǎng)絡(luò)數(shù)據(jù)處理經(jīng)驗優(yōu)先(如HTTP協(xié)議,AJAX,爬蟲開發(fā),瀏覽器內(nèi)核開發(fā),Web服務(wù)開發(fā)等)
5、 熟練使用fiddler,charles等抓包軟件
6、有分布式、高并發(fā)、數(shù)據(jù)分析等項目經(jīng)驗者優(yōu)先;