国产精品又长又粗又爽又黄的毛片, 国产AV无码专区亚洲AV毛片搜, 丰满人妻被猛烈进入中文字幕四川, 国产精品一区二区三区国产女人喷,亚洲国产欧美日韩图片在线人,潘娇娇337p人艺体艺术,成人免费无码大片a毛片古装,一本到高清视频免费,人妻在线视频免费看

更新于 7月17日

爬蟲數(shù)據(jù)采集工程師

1-1.8萬
  • 廣州越秀區(qū)
  • 東風(fēng)東
  • 1-3年
  • 本科
  • 全職
  • 招1人

職位描述

PythonSQLHTML數(shù)據(jù)采集反爬蟲分布式爬蟲SparkKafkaScrapyrequests云計(jì)算/大數(shù)據(jù)
崗位職責(zé):
1、解決各類反爬問題,如JS混淆逆向、APP逆向、字體加密、極驗(yàn)驗(yàn)證碼、瑞數(shù)等以及采集其它疑難雜癥;
2、負(fù)責(zé)相關(guān)爬蟲相關(guān)技術(shù)調(diào)研與應(yīng)用,包括但不限于web/app的數(shù)據(jù)采集;
3、維護(hù)采集平臺(tái)中站點(diǎn)的穩(wěn)定采集;
4、開發(fā)和維護(hù)爬蟲腳本和數(shù)據(jù)處理接口,確保系統(tǒng)穩(wěn)定運(yùn)行;
5、協(xié)助團(tuán)隊(duì)解決爬蟲相關(guān)技術(shù)問題,完成上級(jí)安排的其他任務(wù);
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);
2、3年以上大規(guī)模網(wǎng)頁爬蟲項(xiàng)目經(jīng)驗(yàn),2年以上Python開發(fā)經(jīng)驗(yàn),熟練掌握爬蟲底層框架,如scrapy、scrapy-redis、feapder,閱讀過如Scrapy-redis等底層代碼實(shí)現(xiàn),能夠進(jìn)行改寫;
3、精通HTTP/HTTPS協(xié)議,能熟練使用Charles、Fiddler等抓包工具分析請(qǐng)求;
4、能夠解決封賬號(hào)、封IP、JS加密、JS混淆逆向、極驗(yàn)驗(yàn)證碼、瑞數(shù)等采集等問題,具備較強(qiáng)的反爬能力,具備較強(qiáng)的提升爬蟲效率的意識(shí);
5、熟練掌握Redis及MongoDB等非關(guān)系型數(shù)據(jù)庫(kù),MySQL等關(guān)系型數(shù)據(jù)庫(kù)的使用;
6、熟悉多種數(shù)據(jù)提取方法,能靈活運(yùn)用JsonPath、XPath、CSS選擇器和正則表達(dá)式;了解ES,Kibana;
7、熟悉HTTP/HTTPS和TCP/UDP協(xié)議以及數(shù)據(jù)抓包和分析、熟悉Linux系統(tǒng)和shell多線程編程;
8、優(yōu)秀的分析問題和解決問題的能力、思維清晰,對(duì)解決具有挑戰(zhàn)性問題充滿激情,有極強(qiáng)的責(zé)任心。

工作地點(diǎn)

廣州越秀區(qū)紫園商務(wù)大廈512-513

職位發(fā)布者

陳薇薇/hr

三日內(nèi)活躍
立即溝通
公司Logo廣州眾成大數(shù)據(jù)科技有限公司
廣州眾成大數(shù)據(jù)科技有限公司(由廣藥集團(tuán)成員單位廣州眾成醫(yī)療器械產(chǎn)業(yè)發(fā)展有限公司拆分組建)誕生于2017年,是國(guó)內(nèi)系統(tǒng)專注從事醫(yī)療器械行業(yè)大數(shù)據(jù)服務(wù)的企業(yè),目前已搭建“醫(yī)療器械產(chǎn)業(yè)大數(shù)據(jù)智能應(yīng)用與創(chuàng)新服務(wù)平臺(tái)”。公司發(fā)揮了強(qiáng)大的行業(yè)資源鏈接優(yōu)勢(shì),推進(jìn)組建了中國(guó)醫(yī)療器械行業(yè)協(xié)會(huì)中醫(yī)醫(yī)療器械專業(yè)委員會(huì)、中國(guó)整形美容協(xié)會(huì)醫(yī)美大數(shù)據(jù)中心、廣州市生物產(chǎn)業(yè)聯(lián)盟醫(yī)療器械專業(yè)委員會(huì)、中歐校友智慧醫(yī)療創(chuàng)業(yè)協(xié)會(huì)等行業(yè)組織。并與中國(guó)醫(yī)學(xué)裝備協(xié)會(huì)、中國(guó)國(guó)際進(jìn)口博覽會(huì)“6+365”平臺(tái)、中國(guó)技術(shù)交易所、萬方醫(yī)學(xué)、《中國(guó)醫(yī)療裝備》雜志社、國(guó)新健康等行業(yè)伙伴達(dá)成深度戰(zhàn)略合作。經(jīng)過長(zhǎng)時(shí)間探索,公司積累了包括基礎(chǔ)、市場(chǎng)、科研、全球四大數(shù)據(jù)來源的億級(jí)數(shù)據(jù)資產(chǎn),逐步開發(fā)了MDCLOUD3.0、MDCER、MDBIDS、MDRADAR等一系列數(shù)據(jù)應(yīng)用及工具產(chǎn)品,結(jié)合深度鏈接醫(yī)療器械行業(yè)的企業(yè)、產(chǎn)品、渠道、創(chuàng)新、投資及產(chǎn)業(yè)發(fā)展等各類資源,全面提升產(chǎn)業(yè)服務(wù)效率,致力于成為全球醫(yī)療器械行業(yè)數(shù)據(jù)服務(wù)商。歡迎各位有志于深耕醫(yī)療器械及醫(yī)療健康行業(yè)的人士加入!
公司主頁