崗位職責:
1、精通Pythom:熟練掌握Python編程語言及其核心特性(如面向對象、多線程/多進程/協(xié)程)。
2、爬蟲框架與庫:精通至少一種主流Python爬蟲框架，如Scrapy).熟悉Requests.BeautifulSoup.Selenium.Playwright.Pyppeteer 等常用庫。
3、分析井應對網(wǎng)站反爬機制(如IP封鎖、驗證碼、User-Agent驗證、動態(tài)加載，通過代理池構建、驗證碼識別、模擬覽器行為等技術優(yōu)化爬蟲策略，降低采集風險。
4、數(shù)據(jù)提取與處理熟練掌握XPath.CS5Selectors.正則表達式等數(shù)據(jù)提取技術:具備優(yōu)秀的數(shù)據(jù)清洗、抽取和結構化能力。
5、數(shù)據(jù)庫:熟練掌握SQL和NOSQL數(shù)據(jù)庫產(chǎn)品(如MySQLMongoDB.Redis等)，能夠進行高效的數(shù)據(jù)存儲和查詢。
6、基礎環(huán)境:熟悉Linux/Unix操作系統(tǒng)常用命令:熟悉Git等版本控制工凡。
[任職資格]
1、5年以上工作經(jīng)驗，有大規(guī)模分布式爬蟲系統(tǒng)設計和開發(fā)經(jīng)驗
2、熟悉Docker,Kubemetes等容器化技術。
3、有JavaScript逆向工程經(jīng)驗。
4、熟悉消息隊列如(afka,RabbitMQ)
5、有大數(shù)據(jù)處理經(jīng)驗(如Hadoop.Spark)計算機科學、軟件工程、信息技術或相關專業(yè)優(yōu)先
薪資福利：
具體面談