職位描述:
1、分布式采集系統(tǒng)的開發(fā),參與采集系統(tǒng)存儲,傳輸,調度,監(jiān)控的設計與研發(fā);
2、對JS逆向與APP逆向有一定的了解,能夠及時解決常見的逆向問題;
3、研究采集策略和防屏蔽規(guī)則,解決算法還原,so層,頁面跳轉等難點攻克,提升網頁抓取的效率和質量;
4、負責數據采集系統(tǒng)平臺的維護與更新(如抓取調度,多樣化抓取,頁面解析和結構化抽?。⒓夹g選型;
任職要求
1. 統(tǒng)招本科及以上學歷,計算機等相關專業(yè),具備Python或Java開發(fā)經驗;
2. 熟悉自動化測試框架,如appnium,selenium等;
3. 熟悉爬蟲及反爬原理和逆向分析,熟悉常用技術框架(如Scrapy、Pyspider、RPA等)
4、熟悉JS逆向以及app逆向、熟悉各種通用加密算法、掌握各種常用逆向工具;
5、有一定應對數據采集限制的經驗,有一定的app逆向經驗者優(yōu)先;
6、熟練掌握kafka、mongodb、mysql、redis等, 了解分布式,有分布式爬蟲開發(fā)經歷更佳