国产精品又长又粗又爽又黄的毛片, 国产AV无码专区亚洲AV毛片搜, 丰满人妻被猛烈进入中文字幕四川, 国产精品一区二区三区国产女人喷,亚洲国产欧美日韩图片在线人,潘娇娇337p人艺体艺术,成人免费无码大片a毛片古装,一本到高清视频免费,人妻在线视频免费看

更新于 7月3日

爬蟲工程師

8000-13000元
  • 成都郫都區(qū)
  • 1-3年
  • 本科
  • 全職
  • 招1人

職位描述

數(shù)據(jù)采集數(shù)據(jù)清洗PythonScrapyrequests
工作職責(zé):
1. 負(fù)責(zé)設(shè)計(jì)和搭建高效的分布式爬蟲系統(tǒng);
2. 開發(fā)、維護(hù)爬蟲系統(tǒng),包括調(diào)度、抓取、維護(hù)、驗(yàn)證等爬蟲工作;
3. 對不同網(wǎng)站的防御機(jī)制和反爬蟲策略進(jìn)行深入研究,提煉關(guān)鍵技術(shù)點(diǎn)。
4. 能夠解決協(xié)議反爬、風(fēng)控、人機(jī)識(shí)別等高級問題。
5. 負(fù)責(zé)爬蟲技術(shù)難點(diǎn)的攻克;
任職要求:
1. 對Python和計(jì)算機(jī)網(wǎng)絡(luò)有深入理解,能夠熟練運(yùn)用多線程技術(shù),掌握主流爬中框架;
2. 精通JavaScript逆向工程、虛擬機(jī)、代碼混淆、抽象語法樹(AST)等技術(shù),并有實(shí)際的JavaScript逆向和分析;
3. 熟悉常見反爬機(jī)制,驗(yàn)證碼識(shí)別,IP代理池應(yīng)用lp池、headers認(rèn)證和cookie等;
4. 能夠分析網(wǎng)絡(luò)鏈路,并處理TLS/HTTP2等協(xié)議流量識(shí)別、IP識(shí)別問題;
5. 了解基本的機(jī)器學(xué)習(xí)算法,可解決一些基礎(chǔ)的圖像驗(yàn)證碼識(shí)別、人機(jī)對抗等問題;
6. 熟悉Redis、MySQL、MongoDB等數(shù)據(jù)庫技術(shù),并有SQL或NOSQL數(shù)據(jù)庫實(shí)踐經(jīng)驗(yàn);
7. 熟悉wireshark tcpdump等進(jìn)行流量分析,了解大部分計(jì)算機(jī)網(wǎng)絡(luò)基本原理;
8. 了解分布式隊(duì)列、中間件等基礎(chǔ)架構(gòu)組件;

工作地點(diǎn)

成都市-郫都區(qū)-古楠街97號

職位發(fā)布者

田蜜/人事經(jīng)理

今日活躍
立即溝通