崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)采集與維護(hù)工作;
2.負(fù)責(zé)數(shù)據(jù)的清洗、提取、去重及入庫等工作;
3.負(fù)責(zé)數(shù)據(jù)業(yè)務(wù)處理的準(zhǔn)確性,且不斷的研究與攻克相關(guān)數(shù)據(jù)業(yè)務(wù)處理上技術(shù)難點;
4.發(fā)現(xiàn)據(jù)業(yè)務(wù)團(tuán)隊工作瓶頸,利用相關(guān)技術(shù)幫助數(shù)據(jù)團(tuán)隊進(jìn)行工作提效。
任職要求
1.??萍耙陨蠈W(xué)歷,1~2年爬蟲開發(fā)工作經(jīng)驗,優(yōu)秀應(yīng)屆畢業(yè)生亦可;
2.有分布式爬蟲開發(fā)經(jīng)驗或熟悉PHP和go語言,有一定的后端開發(fā)經(jīng)驗優(yōu)先;
3.熟悉linux,了解Nginx、docker,熟悉scrapy、selenium、requests等常用模塊;
4.熟悉MySQL、Redis等數(shù)據(jù)庫;
5.熟悉HTTP協(xié)議,熟悉網(wǎng)頁抓取原理,熟練掌握XPath、正則表達(dá)式、bs4等提??;
6.有良好的代碼習(xí)慣,邏輯性強,命名規(guī)范,責(zé)任心強。
職位福利:節(jié)日福利、五險一金、餐補、帶薪年假、年底雙薪