崗位職責:
1、負責爬蟲、逆向相關技術的研究和實現(xiàn)工作,如小程序破解、分布式爬蟲、驗證碼破解、反爬機制的研究等;
2、設計爬蟲策略和防屏蔽規(guī)則,提升抓取的效率和質量;
3、負責公司爬蟲的核心算法以及策略優(yōu)化,熟悉采集系統(tǒng)的調(diào)度策略;
4、負責現(xiàn)有部分爬蟲的完善、維護工作,實時監(jiān)控爬蟲的進度和警報反饋,提升爬蟲系統(tǒng)穩(wěn)定性、可擴展性;
5、能獨立解決實際開發(fā)過程碰到的各類問題。
任職資格:
1、本科及以上學歷,計算機相關專業(yè),4年及以上爬蟲逆向經(jīng)驗;
2、熟練使用Git、Devops等平臺工具,熟悉JS逆向、驗證碼破解、圖像識別等技術;
3、精通Python語言,具有扎實的計算機基礎和編程能力,熟悉常見的算法與數(shù)據(jù)結構,具有優(yōu)秀的邏輯思維能力;
4、熟悉常見的反爬機制,并對反爬具有一定的應對措施策略且有一定研究;
5、熟悉Mysql,redis,有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲經(jīng)驗優(yōu)先;
6、熟悉常用網(wǎng)絡協(xié)議、數(shù)據(jù)存儲和數(shù)據(jù)處理技術;
7、熟悉linux系統(tǒng)環(huán)境、命令,shell、python腳本編寫;
8、對爬蟲技術有鉆研精神。