崗位職責:
1.負責scrapy爬蟲項目的運維工作,以及數據的清洗提取工作
2.根據任務需求,開發(fā)網頁端或App端的數據爬取工作
3.在保證質量的情況下可以成功交付數據
4.可以獨立解決開發(fā)中碰到的問題,并具備良好的溝通能力
崗位要求:
1.計算機科學,工程或相關學科本科及以上學歷
2.熟悉Python;具有SQL和NoSQL技術的經驗優(yōu)先
3.熟悉網絡抓取原理、HTTP協(xié)議,了解常見的反爬蟲原理
4.熟練使用requests, Scrapy, BS4, xpath, regex等工具進行數據抓取
5.熟悉數據清洗,能夠利用Pandas進行數據處理
6.了解版本控制工具(例如git), 數據庫管理系統(tǒng)(Mysql)