職位描述
Python爬蟲(chóng)開(kāi)發(fā)分布式爬蟲(chóng)計(jì)算機(jī)軟件
注：勞動(dòng)合同簽訂中科聞歌下屬主體子公司-湖南語(yǔ)亦云科技有限公司（非勞務(wù)派遣或外包崗位）
工作職責(zé)：
1.負(fù)責(zé)公司采集平臺(tái)(數(shù)據(jù)采集/調(diào)度/管理等模塊)的需求分析、架構(gòu)設(shè)計(jì)、功能開(kāi)發(fā)與持續(xù)維護(hù)優(yōu)化。
2.負(fù)責(zé) 采集/爬取相關(guān)程序的設(shè)計(jì)、開(kāi)發(fā)、性能調(diào)優(yōu)與問(wèn)題排查。
3.參與分布式服務(wù)的設(shè)計(jì)與部署，提升系統(tǒng)的穩(wěn)定性、擴(kuò)展性與高可用能力,。
4.優(yōu)化采集鏈路的調(diào)度策略、任務(wù)容錯(cuò)、隊(duì)列管理、數(shù)據(jù)清洗與異常監(jiān)控，5.編寫(xiě)并維護(hù)高質(zhì)量的技術(shù)文檔、接口說(shuō)明、設(shè)計(jì)文檔與運(yùn)維手冊(cè)。
崗位要求：
1. 統(tǒng)招本科以上學(xué)歷，3年以上爬蟲(chóng)項(xiàng)目經(jīng)驗(yàn)，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，具備良好的計(jì)算機(jī)專(zhuān)業(yè)知識(shí)
2. 熟悉python語(yǔ)言，熟練使用 python request、xpath、BeautifulSoup、re等模塊，具備扎實(shí)的編程功底，具有良好的程序設(shè)計(jì)能力；
3. 熟悉爬蟲(chóng)原理，熟練Scrapy、pyspider等主流爬蟲(chóng)框架框架，能夠獨(dú)立解決封賬號(hào)、封IP、驗(yàn)證碼、網(wǎng)頁(yè)限制爬取等問(wèn)題；
4. 熟悉web端、安卓端自動(dòng)化采集技術(shù)；
5. 有深厚的App采集經(jīng)驗(yàn)或網(wǎng)站采集經(jīng)驗(yàn)，至少精通app逆向或web逆向一個(gè)方向，熟練掌握算法還原、rpc調(diào)用等技能；
6. 熟練使用MySQL、了解redis、Elasticsearch、kafka等技術(shù)
7. 業(yè)務(wù)理解和分析轉(zhuǎn)化能力較強(qiáng)，富有進(jìn)取精神及團(tuán)隊(duì)合作精神，有團(tuán)隊(duì)管理經(jīng)驗(yàn)
工作職責(zé)：
1.負(fù)責(zé)公司采集平臺(tái)(數(shù)據(jù)采集/調(diào)度/管理等模塊)的需求分析、架構(gòu)設(shè)計(jì)、功能開(kāi)發(fā)與持續(xù)維護(hù)優(yōu)化。
2.負(fù)責(zé) 采集/爬取相關(guān)程序的設(shè)計(jì)、開(kāi)發(fā)、性能調(diào)優(yōu)與問(wèn)題排查。
3.參與分布式服務(wù)的設(shè)計(jì)與部署，提升系統(tǒng)的穩(wěn)定性、擴(kuò)展性與高可用能力,。
4.優(yōu)化采集鏈路的調(diào)度策略、任務(wù)容錯(cuò)、隊(duì)列管理、數(shù)據(jù)清洗與異常監(jiān)控，5.編寫(xiě)并維護(hù)高質(zhì)量的技術(shù)文檔、接口說(shuō)明、設(shè)計(jì)文檔與運(yùn)維手冊(cè)。
崗位要求：
1. 統(tǒng)招本科以上學(xué)歷，3年以上爬蟲(chóng)項(xiàng)目經(jīng)驗(yàn)，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，具備良好的計(jì)算機(jī)專(zhuān)業(yè)知識(shí)
2. 熟悉python語(yǔ)言，熟練使用 python request、xpath、BeautifulSoup、re等模塊，具備扎實(shí)的編程功底，具有良好的程序設(shè)計(jì)能力；
3. 熟悉爬蟲(chóng)原理，熟練Scrapy、pyspider等主流爬蟲(chóng)框架框架，能夠獨(dú)立解決封賬號(hào)、封IP、驗(yàn)證碼、網(wǎng)頁(yè)限制爬取等問(wèn)題；
4. 熟悉web端、安卓端自動(dòng)化采集技術(shù)；
5. 有深厚的App采集經(jīng)驗(yàn)或網(wǎng)站采集經(jīng)驗(yàn)，至少精通app逆向或web逆向一個(gè)方向，熟練掌握算法還原、rpc調(diào)用等技能；
6. 熟練使用MySQL、了解redis、Elasticsearch、kafka等技術(shù)
7. 業(yè)務(wù)理解和分析轉(zhuǎn)化能力較強(qiáng)，富有進(jìn)取精神及團(tuán)隊(duì)合作精神，有團(tuán)隊(duì)管理經(jīng)驗(yàn)
工作地點(diǎn)
長(zhǎng)沙開(kāi)福區(qū)綠地V島B區(qū)-6棟
相似職位
- 高級(jí)爬蟲(chóng)工程師（Python）1.2-1.8萬(wàn)
長(zhǎng)沙 - 開(kāi)福
中科聞歌 - 爬蟲(chóng)開(kāi)發(fā)工程師1-1.5萬(wàn)
長(zhǎng)沙 - 天心
北京正櫓航空服務(wù)有限公司 - 爬蟲(chóng)開(kāi)發(fā)工程師（Web/APP逆向方向）1-1.5萬(wàn)
長(zhǎng)沙 - 天心
北京正櫓航空服務(wù)有限公司 - 爬蟲(chóng)工程師9000-11000元
長(zhǎng)沙 - 岳麓
湖南星漢數(shù)智科技有限公司
熱門(mén)公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車(chē)招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車(chē)招聘
- 長(zhǎng)城汽車(chē)招聘
- 奇瑞汽車(chē)招聘
- 理想汽車(chē)招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車(chē)招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
歐女士/人事主管
立即溝通
中科聞歌中科聞歌簡(jiǎn)介中科聞歌成立于2017年，是中科院自動(dòng)化所孵化企業(yè)，定位于領(lǐng)先的數(shù)據(jù)與決策智能服務(wù)商。公司依托互聯(lián)網(wǎng)大數(shù)據(jù)和情報(bào)與安全信息方向十余年技術(shù)積累，聚焦DI+AI+OR（數(shù)據(jù)智能+人工智能+運(yùn)籌學(xué)）智能計(jì)算核心技術(shù)，專(zhuān)注于人工智能基礎(chǔ)平臺(tái)與應(yīng)用研發(fā)，提供面向數(shù)智媒宣、數(shù)智輿情、數(shù)智金融和數(shù)智安全等領(lǐng)域的多語(yǔ)言、跨模態(tài)和深度認(rèn)知智能大數(shù)據(jù)與人工智能基礎(chǔ)平臺(tái)及解決方案。公司核心團(tuán)隊(duì)在國(guó)際頂級(jí)學(xué)術(shù)期刊和會(huì)議發(fā)表論文600余篇，申請(qǐng)發(fā)明專(zhuān)利近百項(xiàng)，研發(fā)和實(shí)現(xiàn)核心算法3000余個(gè)，數(shù)據(jù)覆蓋全球媒體，是新華社多語(yǔ)言、科技冬奧多語(yǔ)言服務(wù)商，多項(xiàng)研究和技術(shù)屬于開(kāi)創(chuàng)性工作，獲中科院“弘光專(zhuān)項(xiàng)”、國(guó)家科技創(chuàng)新2030“新一代人工智能”等重大專(zhuān)項(xiàng)支持。公司現(xiàn)有員工700余人，集聚全球一流青年人才，擁有30余位博士領(lǐng)軍人才，設(shè)立博士工作站。公司已在北京、深圳、上海、南京、西安、重慶等地設(shè)立分支機(jī)構(gòu)，累計(jì)完成七輪超十億元融資，投資機(jī)構(gòu)包括國(guó)開(kāi)金融、中網(wǎng)投、盈富泰克、深創(chuàng)投、中科院資本和科技部的相關(guān)基金等，入選國(guó)家級(jí)“專(zhuān)精特新小巨人”企業(yè)，獲中國(guó)創(chuàng)業(yè)創(chuàng)新大賽全國(guó)總決賽成長(zhǎng)組新一代信息技術(shù)第一名、數(shù)博會(huì)“領(lǐng)先科技成果獎(jiǎng)”、公安部科技進(jìn)步獎(jiǎng)二等獎(jiǎng)、“王選新聞科學(xué)技術(shù)獎(jiǎng)”一等獎(jiǎng)（2019年、2021年）等獎(jiǎng)項(xiàng)。公司已服務(wù)超千家政企客戶(hù)，包括中宣部、工信部、公安部、海關(guān)總署、中國(guó)人民銀行、新華社、人民日?qǐng)?bào)、中央廣播電視總臺(tái)、北京大學(xué)、清華大學(xué)、國(guó)家電網(wǎng)、一汽集團(tuán)、海爾集團(tuán)等單位。
公司主頁(yè)