職位描述
Python數(shù)據(jù)采集爬蟲開發(fā)
崗位職責(zé)：
1. 高難度數(shù)據(jù)采集：負(fù)責(zé)核心業(yè)務(wù)線網(wǎng)頁端及APP端公開數(shù)據(jù)采集，主導(dǎo)設(shè)計(jì)和實(shí)現(xiàn)高可用、可擴(kuò)展的分布式爬蟲架構(gòu)。
2. 逆向工程攻堅(jiān)：針對(duì)頭部互聯(lián)網(wǎng)APP（如美團(tuán)、抖音、微信、滴滴等）進(jìn)行深度逆向分析，獨(dú)立破解其客戶端加密協(xié)議、復(fù)雜簽名算法（Signature/Token）及代碼混淆機(jī)制。
3. 動(dòng)態(tài)調(diào)試與破解：實(shí)戰(zhàn)應(yīng)用Frida、IDA Pro等工具鏈，對(duì)SO層（ARM/ARM64指令集）的混淆、VMP（Virtual Machine Protection）加固進(jìn)行動(dòng)態(tài)調(diào)試、脫殼與算法還原。有Unidbg模擬執(zhí)行經(jīng)驗(yàn)者優(yōu)先。
4. 風(fēng)控策略突破：設(shè)計(jì)并實(shí)現(xiàn)高仿真度的用戶行為模擬方案，攻克主流平臺(tái)的設(shè)備指紋、行為軌跡、人機(jī)識(shí)別等風(fēng)控體系，以支持秒殺、內(nèi)容抓取等關(guān)鍵場(chǎng)景。
5. 網(wǎng)絡(luò)協(xié)議分析：精通使用Wireshark、BurpSuite、Mitmproxy等工具，對(duì)TLS/HTTP2加密流量進(jìn)行解密、分析、攔截與腳本化重放，解決各類疑難抓包問題。
任職要求：
技術(shù)能力
● 精通 Python/Java 等編程語言，具備獨(dú)立完成爬蟲開發(fā)及維護(hù)的能力；
● 熟悉 Scrapy、Selenium、Requests 等主流爬蟲框架及工具；
● 深入理解 HTTP/TCP 協(xié)議，熟練使用 Fiddler、Wireshark 等抓包工具分析網(wǎng)絡(luò)請(qǐng)求；
● 掌握分布式爬蟲、代理 IP 池構(gòu)建、數(shù)據(jù)去重等進(jìn)階技術(shù)者優(yōu)先；
● 具備大數(shù)據(jù)量（TB 級(jí)）處理經(jīng)驗(yàn)及性能優(yōu)化能力者優(yōu)先。
● 具備App逆向經(jīng)驗(yàn)者優(yōu)先
項(xiàng)目經(jīng)驗(yàn)
● 需提供 1-2 個(gè)完整爬蟲項(xiàng)目案例（需涵蓋網(wǎng)頁端或 App 端），需說明項(xiàng)目規(guī)模、技術(shù)難點(diǎn)及解決方案；
● 有電商、社交媒體、旅游等領(lǐng)域數(shù)據(jù)抓取經(jīng)驗(yàn)者優(yōu)先。
1. 高難度數(shù)據(jù)采集：負(fù)責(zé)核心業(yè)務(wù)線網(wǎng)頁端及APP端公開數(shù)據(jù)采集，主導(dǎo)設(shè)計(jì)和實(shí)現(xiàn)高可用、可擴(kuò)展的分布式爬蟲架構(gòu)。
2. 逆向工程攻堅(jiān)：針對(duì)頭部互聯(lián)網(wǎng)APP（如美團(tuán)、抖音、微信、滴滴等）進(jìn)行深度逆向分析，獨(dú)立破解其客戶端加密協(xié)議、復(fù)雜簽名算法（Signature/Token）及代碼混淆機(jī)制。
3. 動(dòng)態(tài)調(diào)試與破解：實(shí)戰(zhàn)應(yīng)用Frida、IDA Pro等工具鏈，對(duì)SO層（ARM/ARM64指令集）的混淆、VMP（Virtual Machine Protection）加固進(jìn)行動(dòng)態(tài)調(diào)試、脫殼與算法還原。有Unidbg模擬執(zhí)行經(jīng)驗(yàn)者優(yōu)先。
4. 風(fēng)控策略突破：設(shè)計(jì)并實(shí)現(xiàn)高仿真度的用戶行為模擬方案，攻克主流平臺(tái)的設(shè)備指紋、行為軌跡、人機(jī)識(shí)別等風(fēng)控體系，以支持秒殺、內(nèi)容抓取等關(guān)鍵場(chǎng)景。
5. 網(wǎng)絡(luò)協(xié)議分析：精通使用Wireshark、BurpSuite、Mitmproxy等工具，對(duì)TLS/HTTP2加密流量進(jìn)行解密、分析、攔截與腳本化重放，解決各類疑難抓包問題。
任職要求：
技術(shù)能力
● 精通 Python/Java 等編程語言，具備獨(dú)立完成爬蟲開發(fā)及維護(hù)的能力；
● 熟悉 Scrapy、Selenium、Requests 等主流爬蟲框架及工具；
● 深入理解 HTTP/TCP 協(xié)議，熟練使用 Fiddler、Wireshark 等抓包工具分析網(wǎng)絡(luò)請(qǐng)求；
● 掌握分布式爬蟲、代理 IP 池構(gòu)建、數(shù)據(jù)去重等進(jìn)階技術(shù)者優(yōu)先；
● 具備大數(shù)據(jù)量（TB 級(jí)）處理經(jīng)驗(yàn)及性能優(yōu)化能力者優(yōu)先。
● 具備App逆向經(jīng)驗(yàn)者優(yōu)先
項(xiàng)目經(jīng)驗(yàn)
● 需提供 1-2 個(gè)完整爬蟲項(xiàng)目案例（需涵蓋網(wǎng)頁端或 App 端），需說明項(xiàng)目規(guī)模、技術(shù)難點(diǎn)及解決方案；
● 有電商、社交媒體、旅游等領(lǐng)域數(shù)據(jù)抓取經(jīng)驗(yàn)者優(yōu)先。
工作地點(diǎn)
合肥蜀山區(qū)佛子嶺路與潛山路交口綠地藍(lán)海大廈B座18樓
相似職位
- python爬蟲助理工程師5000-6000元
合肥 - 廬陽
安徽雅云暉智能科技有限公司 - 爬蟲工程師8000-12000元
合肥 - 蜀山
安徽經(jīng)典市場(chǎng)調(diào)查咨詢有限公司 - 初級(jí)Python工程師（爬蟲）7000-12000元
合肥 - 蜀山
安徽九聯(lián)正遠(yuǎn)教育科技有限公司 - 大數(shù)據(jù)爬蟲工程師8000-16000元
合肥 - 蜀山
安徽九聯(lián)正遠(yuǎn)教育科技有限公司 - 大數(shù)據(jù)爬蟲工程師6000-12000元
合肥 - 蜀山
安徽九聯(lián)正遠(yuǎn)教育科技有限公司 - python爬蟲工程師1.1-1.2萬
合肥 - 蜀山
安徽聚福云科技股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
張倩倩/人事經(jīng)理
三日內(nèi)活躍立即溝通
安徽經(jīng)典市場(chǎng)調(diào)查咨詢有限公司安徽經(jīng)典市場(chǎng)調(diào)查咨詢有限公司，自1999年8月成立以來，始終致力于為社會(huì)各界提供高質(zhì)量的市場(chǎng)調(diào)查研究、行業(yè)統(tǒng)計(jì)分析、第三方評(píng)估等統(tǒng)計(jì)調(diào)查服務(wù)。是中國(guó)統(tǒng)計(jì)學(xué)會(huì)理事單位、國(guó)家統(tǒng)計(jì)局中國(guó)市場(chǎng)信息調(diào)查業(yè)協(xié)會(huì)副會(huì)長(zhǎng)單位、第三方評(píng)估委員會(huì)副會(huì)長(zhǎng)單位、安徽省統(tǒng)計(jì)學(xué)會(huì)副會(huì)長(zhǎng)單位等多個(gè)權(quán)威機(jī)構(gòu)的成員。公司深耕統(tǒng)計(jì)調(diào)查、數(shù)據(jù)分析服務(wù)?，F(xiàn)有員工110名，兼職人員2000余名，形成了含研究、技術(shù)、執(zhí)行為一體的統(tǒng)計(jì)調(diào)查服務(wù)團(tuán)隊(duì)。以創(chuàng)新驅(qū)動(dòng)發(fā)展，在傳統(tǒng)市場(chǎng)調(diào)查統(tǒng)計(jì)的基礎(chǔ)上，將人工智能、大數(shù)據(jù)、可視化等技術(shù)運(yùn)用于工作實(shí)踐，推動(dòng)數(shù)據(jù)服務(wù)信息化水平，進(jìn)行自主創(chuàng)新研究，取得軟件著作權(quán)40余項(xiàng)，是國(guó)家高新技術(shù)企業(yè)、安徽省大數(shù)據(jù)企業(yè)、安徽省專精特新中小企業(yè)。憑借深厚的行業(yè)積淀與服務(wù)能力，為國(guó)家統(tǒng)計(jì)局、國(guó)家科普研究所、省文旅廳、省民政廳、省商務(wù)廳等政府單位提供經(jīng)濟(jì)監(jiān)測(cè)、統(tǒng)計(jì)調(diào)查及績(jī)效評(píng)價(jià)等服務(wù)；為江淮汽車、科大訊飛、保利地產(chǎn)、中信銀行、中石油等企業(yè)單位提供市場(chǎng)調(diào)研、品牌競(jìng)爭(zhēng)力分析、消費(fèi)者行為研究等定制化解決方案。通過專業(yè)的服務(wù)能力為客戶帶來精準(zhǔn)的數(shù)據(jù)洞察和科學(xué)的決策支持。發(fā)展業(yè)務(wù)的同時(shí)，積極履行社會(huì)責(zé)任，參加公益慈善、社區(qū)服務(wù)等社會(huì)事業(yè)，通過聯(lián)合開展科研項(xiàng)目、設(shè)立實(shí)習(xí)基地、舉辦學(xué)術(shù)論壇等形式，為社會(huì)輸送更多具備數(shù)據(jù)分析與市場(chǎng)調(diào)研技能的復(fù)合型人才，讓企業(yè)價(jià)值回饋社會(huì)。展望未來，安徽經(jīng)典市場(chǎng)調(diào)查咨詢有限公司將繼續(xù)秉承“價(jià)值、創(chuàng)新、客觀、誠信”的核心理念，深化技術(shù)創(chuàng)新與應(yīng)用，在市場(chǎng)調(diào)查研究領(lǐng)域保持領(lǐng)先地位，為推動(dòng)社會(huì)經(jīng)濟(jì)發(fā)展、促進(jìn)產(chǎn)業(yè)升級(jí)、助力決策優(yōu)化貢獻(xiàn)力量。
公司主頁