雇員點(diǎn)評(píng)標(biāo)簽
職位描述
數(shù)據(jù)爬蟲反爬蟲Python分布式爬蟲Scrapyrequests
崗位職責(zé)：
1.負(fù)責(zé)采集系統(tǒng)的架構(gòu)設(shè)計(jì),系統(tǒng)搭建
2.負(fù)責(zé)各類數(shù)據(jù)源（API、數(shù)據(jù)庫、網(wǎng)頁）的數(shù)據(jù)采集、清洗、轉(zhuǎn)換與入庫；
3.搭建與維護(hù)穩(wěn)定高效的數(shù)據(jù)采集系統(tǒng)，確保數(shù)據(jù)采集的準(zhǔn)確性、完整性與時(shí)效性；
4.分析數(shù)據(jù)源結(jié)構(gòu)與變化，制定字段映射、清洗規(guī)則和更新策略；
5.針對(duì)目標(biāo)站點(diǎn)的反爬策略設(shè)計(jì)并實(shí)現(xiàn)有效的繞過方案；
6. 編寫數(shù)據(jù)采集文檔與接口說明，支持?jǐn)?shù)據(jù)管理與審計(jì)合規(guī)需求。
7.及時(shí)解決爬取過程中出現(xiàn)的問題并不斷優(yōu)化程序
任職資格：
1.計(jì)算機(jī)相關(guān)專業(yè)畢業(yè)，3年以上數(shù)據(jù)開發(fā)經(jīng)驗(yàn)；
2.熟練掌握 Python，具備豐富的 HTTP 請(qǐng)求模擬、抓包調(diào)試、異步編程、數(shù)據(jù)解析能力；
3.熟悉常見數(shù)據(jù)采集方式（如 RESTful API 調(diào)用、網(wǎng)頁爬蟲、日志采集）與數(shù)據(jù)清洗與轉(zhuǎn)換技術(shù)；
4.熟悉數(shù)據(jù)采集相關(guān)框架或工具（如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink）；
5.熟悉 JavaScript 語言，具備 JS 加解密逆向能力，可獨(dú)立實(shí)現(xiàn)復(fù)雜參數(shù)構(gòu)造、簽名還原、AES/MD5/RSA算法實(shí)現(xiàn)等；
6. 熟悉常見反爬機(jī)制及繞過方式，如驗(yàn)證碼識(shí)別（圖形/滑動(dòng)/點(diǎn)選）、UA/IP切換、請(qǐng)求混淆、Headless Browser 等；
7.具備小程序抓包與接口還原能力，了解小程序數(shù)據(jù)通信機(jī)制；
8.有 App 采集經(jīng)驗(yàn)，熟悉抓包工具（如 Charles、Fiddler、Wireshark、mitmproxy）、Hook 工具（如Frida、Xposed）；
9.了解數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全與合規(guī)相關(guān)知識(shí)。
1.負(fù)責(zé)采集系統(tǒng)的架構(gòu)設(shè)計(jì),系統(tǒng)搭建
2.負(fù)責(zé)各類數(shù)據(jù)源（API、數(shù)據(jù)庫、網(wǎng)頁）的數(shù)據(jù)采集、清洗、轉(zhuǎn)換與入庫；
3.搭建與維護(hù)穩(wěn)定高效的數(shù)據(jù)采集系統(tǒng)，確保數(shù)據(jù)采集的準(zhǔn)確性、完整性與時(shí)效性；
4.分析數(shù)據(jù)源結(jié)構(gòu)與變化，制定字段映射、清洗規(guī)則和更新策略；
5.針對(duì)目標(biāo)站點(diǎn)的反爬策略設(shè)計(jì)并實(shí)現(xiàn)有效的繞過方案；
6. 編寫數(shù)據(jù)采集文檔與接口說明，支持?jǐn)?shù)據(jù)管理與審計(jì)合規(guī)需求。
7.及時(shí)解決爬取過程中出現(xiàn)的問題并不斷優(yōu)化程序
任職資格：
1.計(jì)算機(jī)相關(guān)專業(yè)畢業(yè)，3年以上數(shù)據(jù)開發(fā)經(jīng)驗(yàn)；
2.熟練掌握 Python，具備豐富的 HTTP 請(qǐng)求模擬、抓包調(diào)試、異步編程、數(shù)據(jù)解析能力；
3.熟悉常見數(shù)據(jù)采集方式（如 RESTful API 調(diào)用、網(wǎng)頁爬蟲、日志采集）與數(shù)據(jù)清洗與轉(zhuǎn)換技術(shù)；
4.熟悉數(shù)據(jù)采集相關(guān)框架或工具（如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink）；
5.熟悉 JavaScript 語言，具備 JS 加解密逆向能力，可獨(dú)立實(shí)現(xiàn)復(fù)雜參數(shù)構(gòu)造、簽名還原、AES/MD5/RSA算法實(shí)現(xiàn)等；
6. 熟悉常見反爬機(jī)制及繞過方式，如驗(yàn)證碼識(shí)別（圖形/滑動(dòng)/點(diǎn)選）、UA/IP切換、請(qǐng)求混淆、Headless Browser 等；
7.具備小程序抓包與接口還原能力，了解小程序數(shù)據(jù)通信機(jī)制；
8.有 App 采集經(jīng)驗(yàn)，熟悉抓包工具（如 Charles、Fiddler、Wireshark、mitmproxy）、Hook 工具（如Frida、Xposed）；
9.了解數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全與合規(guī)相關(guān)知識(shí)。
工作地點(diǎn)
武漢洪山區(qū)中興時(shí)代數(shù)貿(mào)港A座10樓1006.1007.1008號(hào)房
相似職位
- 新兵營線索收集員5000-8000元·13薪
武漢 - 江夏
泰康人壽保險(xiǎn)有限責(zé)任公司湖北電話銷售中心 - 月薪6-9k+車載數(shù)據(jù)采集師入職交社保！6000-9000元
武漢 - 青山
上海如蟻企業(yè)服務(wù)有限公司 - 數(shù)據(jù)采集工程師8000-10000元·13薪
武漢 - 洪山
深圳市世聯(lián)土地房地產(chǎn)評(píng)估有限公司 - 采集運(yùn)維（電網(wǎng)營銷業(yè)務(wù)）6000-12000元
武漢 - 洪山
鑫英泰 - 抖音數(shù)據(jù)采集/包吃?。苣╇p休7000-10000元
武漢 - 武昌
東莞市云道咨詢管理有限公司 - 自動(dòng)駕駛采集管理1-1.8萬
武漢 - 洪山
軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動(dòng)招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
江小姐/人事經(jīng)理
三日內(nèi)活躍立即溝通
深圳市世聯(lián)土地房地產(chǎn)評(píng)估有限公司公司概況1993年創(chuàng)設(shè)于深圳，現(xiàn)總部設(shè)立于深圳，下設(shè)廣州、東莞、佛山、廈門、武漢、成都、重慶、上海、杭州、南京、北京、青島十二家分公司，與瑞聯(lián)資信、瑞聯(lián)數(shù)科、世聯(lián)資產(chǎn)、朗瑞會(huì)計(jì)師事務(wù)所、中瑞世聯(lián)、中瑞華建、中瑞稅務(wù)集團(tuán)、華房數(shù)據(jù)同屬瑞聯(lián)平臺(tái)，面向全國提供全面的土地、房地產(chǎn)、資產(chǎn)評(píng)估等專業(yè)服務(wù)。憑借長期的專業(yè)積累，世聯(lián)評(píng)估建立了強(qiáng)大的估價(jià)信息數(shù)據(jù)平臺(tái)和資深專業(yè)技術(shù)團(tuán)隊(duì)，為政府、金融與投資機(jī)構(gòu)、企業(yè)、法院及私人業(yè)主提供物業(yè)評(píng)估、項(xiàng)目評(píng)估、可行性研究、土地招投標(biāo)和房地產(chǎn)投資咨詢、評(píng)估審核等多元化的專業(yè)評(píng)估服務(wù)。截至2024年底，歷年累計(jì)評(píng)估總值達(dá)15萬億元，累計(jì)評(píng)估規(guī)模45億平方米。專業(yè)資質(zhì)●全國一級(jí)房地產(chǎn)評(píng)估機(jī)構(gòu)●全國A級(jí)資信土地評(píng)估中介機(jī)構(gòu)●中國資產(chǎn)評(píng)估機(jī)構(gòu)●國家發(fā)展和改革委員會(huì)工程咨詢單位資質(zhì)●全國不動(dòng)產(chǎn)登記代理機(jī)構(gòu)資質(zhì)●首批證券服務(wù)評(píng)估機(jī)構(gòu)備案資質(zhì)● 2022-2024年度上海證券交易所評(píng)估專家?guī)斐蓡T單位從“心”開始，服務(wù)不止。從后勤保障到一線的評(píng)估服務(wù)，從公司的領(lǐng)導(dǎo)者到最基層的員工，世聯(lián)始終以專注的態(tài)度、創(chuàng)新的技術(shù)，融入每一個(gè)項(xiàng)目與服務(wù)細(xì)節(jié)。世聯(lián)評(píng)估作為評(píng)估行業(yè)的龍頭，正不斷深化全產(chǎn)業(yè)鏈競爭優(yōu)勢(shì)，不斷提升創(chuàng)新能力，推動(dòng)自身與行業(yè)的進(jìn)步和發(fā)展，致力于成為中國評(píng)估第一品牌。我們?yōu)槟峁?、給你最有力的保障：除了按國家規(guī)定入職即購買五險(xiǎn)一金，同時(shí)為員工購買輔助商業(yè)保險(xiǎn)2、5天7.5小時(shí)工作制，周末雙休，在規(guī)定范圍，上下班時(shí)間可靈活把控3、年假實(shí)行N+1天制，除了享受國家法定假期外，還有“六一親子假”4、年度健康體檢；5、暖心的員工關(guān)懷：賀儀、奠儀、節(jié)日福利、新年開工紅包等等。6、每日新鮮水果、飲料、現(xiàn)磨咖啡，讓你在工作之余，盡情享受愜意的下午茶；
公司主頁