工作內(nèi)容:
1、參與爬蟲(chóng)系統(tǒng)的架構(gòu)設(shè)計(jì)與開(kāi)發(fā), 構(gòu)建高效穩(wěn)定的爬蟲(chóng)系統(tǒng)
2、研究?jī)?yōu)化爬蟲(chóng)算法,提升爬蟲(chóng)系統(tǒng)的穩(wěn)定性、可擴(kuò)展性
3、設(shè)計(jì)爬蟲(chóng)策略和防屏蔽規(guī)則,提升網(wǎng)頁(yè)抓取的效率和質(zhì)量
4、能獨(dú)立解決實(shí)際開(kāi)發(fā)過(guò)程中碰到的各類(lèi)問(wèn)題
崗位要求:
1、 本科及以上學(xué)歷,2-3年上爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn),有快速迭代、逐步優(yōu)化的工程項(xiàng)目經(jīng)驗(yàn)
2、 熟練使用Pyhton,熟悉常用數(shù)據(jù)結(jié)構(gòu)、算法,熟練使用常用庫(kù),熟練使用常用的爬蟲(chóng)框架,了解反爬套路及破解方法
3、 熟悉web前端,對(duì)cookie管理、登錄等流程有深入理解,熟悉js、css、html等,熟練使用selenium、phantomjs等工具,有調(diào)優(yōu)經(jīng)驗(yàn)者更佳
4、 有多線(xiàn)程、網(wǎng)絡(luò)數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先(如HTTP協(xié)議,AJAX,爬蟲(chóng)開(kāi)發(fā),瀏覽器內(nèi)核開(kāi)發(fā),Web服務(wù)開(kāi)發(fā)等)
5、 熟練使用fiddler,charles等抓包軟件
6、有分布式、高并發(fā)、數(shù)據(jù)分析等項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;