崗位職責:
1.協(xié)助數(shù)據(jù)服務項目新爬蟲需求開發(fā)、代碼實現(xiàn)、數(shù)據(jù)對接、數(shù)據(jù)入庫等事項,滿足業(yè)務部門對數(shù)據(jù)的需求。
2.協(xié)助參與數(shù)據(jù)服務項目的需求調(diào)研、業(yè)務溝通、數(shù)據(jù)分析,整理需求說明書、并制定對接方案;
3.協(xié)助數(shù)據(jù)服務項目整體流程跑通,監(jiān)控及運維現(xiàn)有爬蟲項目,并對出現(xiàn)問題進行快速修復處理
4.參與代碼優(yōu)化、數(shù)據(jù)治理等,提升爬蟲效率和質(zhì)量,同時確保穩(wěn)定性和及時性。
5.參與大數(shù)據(jù)分析計算需求,支持海量數(shù)據(jù)挖掘
任職資格:
1. 熟練掌握Python編程,熟悉requests、BeautifulSoup、Scrapy、Selenium、Pandas等相關(guān)庫。
2. 能熟練處理動態(tài)和靜態(tài)頁面抓取,能夠編寫高效的爬蟲腳本,處理大規(guī)模數(shù)據(jù)抓取任務,并確保程序的穩(wěn)定性和可靠性。
3. 熟悉數(shù)據(jù)清洗、存儲(如CSV、JSON、hive、mysql數(shù)據(jù)庫存儲方案)和初步分析。
4. 2年以上工作經(jīng)驗,有實際爬蟲項目經(jīng)驗,能獨立完成需求分析到代碼實現(xiàn)。
5.具備良好的數(shù)據(jù)分析能力和學習能力;
6.有較強溝通能力,思維嚴謹;
7.有一定項目管理經(jīng)驗
5.能接受加班,有較強的抗壓能力,積極主動挑戰(zhàn)新的技術(shù)。