崗位職責(zé):
1、精通Python:熟練掌握Python編程語(yǔ)言及其核心特性(如面向?qū)ο蟆⒍嗑€程/多進(jìn)程/協(xié)程)。
2、爬蟲(chóng)框架與庫(kù):精通至少一種主流 Python 爬蟲(chóng)框架，如Scrapy),熟悉 Requests, BeautifulSoup,Selenium,Playwright,Pyppeteer 等常用庫(kù)。
3、分析并應(yīng)對(duì)網(wǎng)站反爬機(jī)制(如IP封鎖、驗(yàn)證碼、User-Agent驗(yàn)證、動(dòng)態(tài)加載)，通過(guò)代理池構(gòu)建、驗(yàn)證碼識(shí)別、模擬覽器行為等技術(shù)優(yōu)化爬蟲(chóng)策略，降低采集風(fēng)險(xiǎn)。
4、數(shù)據(jù)提取與處理:熟練掌握XPath,CSS Selectors,正則表達(dá)式等數(shù)據(jù)提取技術(shù);具備優(yōu)秀的數(shù)據(jù)清洗、抽取和結(jié)構(gòu)化能力。
5、數(shù)據(jù)庫(kù):熟練掌握SQL和NOSQL數(shù)據(jù)庫(kù)產(chǎn)品(如MySQL,MongoDB,Redis等)，能夠進(jìn)行高效的數(shù)據(jù)存儲(chǔ)和查詢。
6、基礎(chǔ)環(huán)境:熟悉Linux/Unix操作系統(tǒng)常用命令;熟悉Git等版本控制工具。
任職要求：
1、5年以上工作經(jīng)驗(yàn)，有大規(guī)模分布式爬蟲(chóng)系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)經(jīng)驗(yàn)；
2、熟悉Docker, Kubernetes等容器化技術(shù)。；
3、有JavaScript逆向工程經(jīng)驗(yàn)。；
4、熟悉消息隊(duì)列(如Kafka,RabbitMQ) ；
5、有大數(shù)據(jù)處理經(jīng)驗(yàn)(如Hadoop,Spark) 計(jì)算機(jī)科學(xué)、軟件工程、信息技術(shù)或相關(guān)專(zhuān)業(yè)優(yōu)先。