職位描述
可轉(zhuǎn)正實(shí)習(xí)證明PythonHTML分布式爬蟲(chóng)數(shù)據(jù)挖掘數(shù)據(jù)采集爬蟲(chóng)技術(shù)設(shè)計(jì)和開(kāi)發(fā)信息入庫(kù)熟悉SCRAPY熟悉LINUX電商社交
【歡迎大三或者研三在讀生投遞】【要求每周可全勤到崗，不接受線上實(shí)習(xí)】
崗位職責(zé)：
1、負(fù)責(zé)多平臺(tái)信息爬取和頁(yè)面內(nèi)容的提取分析；
2、分析各種網(wǎng)站、網(wǎng)頁(yè)、鏈接的形態(tài)，分析網(wǎng)站數(shù)據(jù)結(jié)構(gòu)，提取業(yè)務(wù)需求數(shù)據(jù)；
3、解決技術(shù)包括反爬、采集速度等問(wèn)題；
4、爬取數(shù)據(jù)處理、清洗、入庫(kù)，數(shù)據(jù)質(zhì)量核對(duì)。
崗位要求：
1、能夠完成爬蟲(chóng)技術(shù)設(shè)計(jì)和開(kāi)發(fā)，找尋相關(guān)網(wǎng)站，并從中爬取數(shù)據(jù)、信息入庫(kù)整理；
2、熟悉python語(yǔ)言、熟悉scrapy及其拓展模塊；
3、熟悉Mysql、MongoDB等數(shù)據(jù)庫(kù)的使用；
4、熟悉HTTP協(xié)議，掌握Session、Cookie、Ajax等，了解常用驗(yàn)證碼識(shí)別技術(shù)；
5、能夠維護(hù)和優(yōu)化已有的爬蟲(chóng)服務(wù)，按需求做增量采集，數(shù)據(jù)監(jiān)控，拓展數(shù)據(jù)源；
6、能夠解決封賬號(hào)、封IP采集等問(wèn)題，解決網(wǎng)頁(yè)抓取、信息抽取等問(wèn)題，構(gòu)建完善的網(wǎng)絡(luò)信息收集平臺(tái)；
7、熟悉Linux常用命令、docker容器技術(shù)和git技術(shù)者優(yōu)先。
崗位職責(zé)：
1、負(fù)責(zé)多平臺(tái)信息爬取和頁(yè)面內(nèi)容的提取分析；
2、分析各種網(wǎng)站、網(wǎng)頁(yè)、鏈接的形態(tài)，分析網(wǎng)站數(shù)據(jù)結(jié)構(gòu)，提取業(yè)務(wù)需求數(shù)據(jù)；
3、解決技術(shù)包括反爬、采集速度等問(wèn)題；
4、爬取數(shù)據(jù)處理、清洗、入庫(kù)，數(shù)據(jù)質(zhì)量核對(duì)。
崗位要求：
1、能夠完成爬蟲(chóng)技術(shù)設(shè)計(jì)和開(kāi)發(fā)，找尋相關(guān)網(wǎng)站，并從中爬取數(shù)據(jù)、信息入庫(kù)整理；
2、熟悉python語(yǔ)言、熟悉scrapy及其拓展模塊；
3、熟悉Mysql、MongoDB等數(shù)據(jù)庫(kù)的使用；
4、熟悉HTTP協(xié)議，掌握Session、Cookie、Ajax等，了解常用驗(yàn)證碼識(shí)別技術(shù)；
5、能夠維護(hù)和優(yōu)化已有的爬蟲(chóng)服務(wù)，按需求做增量采集，數(shù)據(jù)監(jiān)控，拓展數(shù)據(jù)源；
6、能夠解決封賬號(hào)、封IP采集等問(wèn)題，解決網(wǎng)頁(yè)抓取、信息抽取等問(wèn)題，構(gòu)建完善的網(wǎng)絡(luò)信息收集平臺(tái)；
7、熟悉Linux常用命令、docker容器技術(shù)和git技術(shù)者優(yōu)先。
工作地點(diǎn)
廣州海珠區(qū)TCL大廈2301
相似職位
- 中級(jí)爬蟲(chóng)(雙休)1.5-3萬(wàn)
廣州 - 天河
廣州數(shù)說(shuō)故事信息科技有限公司 - 高級(jí)爬蟲(chóng)工程師3-4.5萬(wàn)
廣州 - 天河
廣州全芃信息技術(shù)有限公司 - 高級(jí)爬蟲(chóng)開(kāi)發(fā)工程師1.5-2.5萬(wàn)·14薪
廣州 - 海珠
探跡科技 - 中高級(jí)爬蟲(chóng)工程師1.5-3萬(wàn)·14薪
廣州 - 海珠
探跡科技 - 爬蟲(chóng)實(shí)習(xí)生100-150元/天
廣州 - 海珠
廣州信安數(shù)據(jù)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
梁女士/HRBP
昨日活躍立即溝通
廣州信安數(shù)據(jù)有限公司廣州信安數(shù)據(jù)有限公司成立于2016年，從事特定細(xì)分市場(chǎng)6年，創(chuàng)始團(tuán)隊(duì)具有豐富的產(chǎn)業(yè)級(jí)數(shù)據(jù)管理理論和實(shí)踐經(jīng)驗(yàn)。公司以“數(shù)據(jù)信安，強(qiáng)國(guó)富民”為企業(yè)愿景，致力于成為中國(guó)最好的產(chǎn)業(yè)級(jí)數(shù)據(jù)治理及要素運(yùn)營(yíng)服務(wù)商。信安數(shù)據(jù)聚焦大數(shù)據(jù)行業(yè)，面向電力、航空、金融、政務(wù)等數(shù)據(jù)要素密集市場(chǎng)的頭部客戶，圍繞數(shù)據(jù)治理及數(shù)據(jù)要素流通領(lǐng)域，提供包括咨詢、產(chǎn)品、運(yùn)營(yíng)、創(chuàng)新在內(nèi)的一體化綜合解決方案，有效幫助客戶盤活數(shù)據(jù)資產(chǎn)、促進(jìn)數(shù)據(jù)價(jià)值釋放。信安數(shù)據(jù)以南方電網(wǎng)、南航、各地政數(shù)局等超大型國(guó)企及政府單位為主要客戶，建立了穩(wěn)定的客群。同時(shí)積極與BAT、聯(lián)通、移動(dòng)、華為等渠道廠商、DAMA中國(guó)、中國(guó)信通院等行業(yè)聯(lián)盟及暨南大學(xué)、廣州大學(xué)、華中科技大學(xué)等高校合作，形成了“產(chǎn)學(xué)研”一體的生態(tài)體系。信安數(shù)據(jù)自成立以來(lái)，高度重視企業(yè)資質(zhì)和知識(shí)產(chǎn)權(quán)建設(shè)，已先后通過(guò)了AAA級(jí)信用企業(yè)認(rèn)定、ISO27001、ISO20000、CMMI3、CS2等認(rèn)證；成為DAMA中國(guó)理事會(huì)員單位、BDIAC和TC606及數(shù)據(jù)安全產(chǎn)業(yè)研究工作組成員單位。擁有多項(xiàng)軟件著作權(quán)和發(fā)明專利，積極參與各類創(chuàng)新大賽并獲獎(jiǎng)；深度參與國(guó)家標(biāo)準(zhǔn)規(guī)范及區(qū)域創(chuàng)新規(guī)劃工作，具有很高的市場(chǎng)美譽(yù)度及品牌影響力。
公司主頁(yè)