崗位職責(zé):
1、解決各類反爬問題,如JS混淆逆向、APP逆向、字體加密、極驗(yàn)驗(yàn)證碼、瑞數(shù)等以及采集其它疑難雜癥;
2、負(fù)責(zé)相關(guān)爬蟲相關(guān)技術(shù)調(diào)研與應(yīng)用,包括但不限于web/app的數(shù)據(jù)采集;
3、維護(hù)采集平臺(tái)中站點(diǎn)的穩(wěn)定采集;
4、開發(fā)和維護(hù)爬蟲腳本和數(shù)據(jù)處理接口,確保系統(tǒng)穩(wěn)定運(yùn)行;
5、協(xié)助團(tuán)隊(duì)解決爬蟲相關(guān)技術(shù)問題,完成上級(jí)安排的其他任務(wù);
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);
2、3年以上大規(guī)模網(wǎng)頁爬蟲項(xiàng)目經(jīng)驗(yàn),2年以上Python開發(fā)經(jīng)驗(yàn),熟練掌握爬蟲底層框架,如scrapy、scrapy-redis、feapder,閱讀過如Scrapy-redis等底層代碼實(shí)現(xiàn),能夠進(jìn)行改寫;
3、精通HTTP/HTTPS協(xié)議,能熟練使用Charles、Fiddler等抓包工具分析請(qǐng)求;
4、能夠解決封賬號(hào)、封IP、JS加密、JS混淆逆向、極驗(yàn)驗(yàn)證碼、瑞數(shù)等采集等問題,具備較強(qiáng)的反爬能力,具備較強(qiáng)的提升爬蟲效率的意識(shí);
5、熟練掌握Redis及MongoDB等非關(guān)系型數(shù)據(jù)庫(kù),MySQL等關(guān)系型數(shù)據(jù)庫(kù)的使用;
6、熟悉多種數(shù)據(jù)提取方法,能靈活運(yùn)用JsonPath、XPath、CSS選擇器和正則表達(dá)式;了解ES,Kibana;
7、熟悉HTTP/HTTPS和TCP/UDP協(xié)議以及數(shù)據(jù)抓包和分析、熟悉Linux系統(tǒng)和shell多線程編程;
8、優(yōu)秀的分析問題和解決問題的能力、思維清晰,對(duì)解決具有挑戰(zhàn)性問題充滿激情,有極強(qiáng)的責(zé)任心。