雇員點評標簽
職位描述
PythonJava
崗位職責：
負責爬取互聯(lián)網(wǎng)上允許搜索爬蟲采集的公開數(shù)據(jù)的爬取、清洗、解析、入庫
針對需要的數(shù)據(jù)，尋找網(wǎng)站或app內(nèi)可用的接口
研究主流網(wǎng)站和app反爬機制，尋找應對方案
不斷的學習研究行業(yè)新技術，提升業(yè)務能力，并作團隊分享
js、Android、IOS應用的逆向，能正向還原關鍵算法
參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；
實時監(jiān)控爬蟲的進度和警報反饋。
崗位要求：本科及以上學歷，3年以上爬蟲開發(fā)相關經(jīng)驗，熟練掌握Java或Python編程語言，熟悉JavaScript；
熟練使用正則表達式、css path、xpath等，能夠從結(jié)構化的和非結(jié)構化的數(shù)據(jù)中獲取信息；
掌握 web/app 常見的反爬機制，精通各種反爬破解，包括但不限于：hook、Js防護、混淆、逆向分析、App防破解、防逆向、加固技術等技能；
熟練使用MySQL數(shù)據(jù)庫，掌握redis、mongodb、hive等常用nosql技術并具有實戰(zhàn)經(jīng)驗；
熟悉各種抓取技術，包括爬蟲反爬、代理、selenium/Puppeteer、驗證碼處理；
熟悉整個爬蟲的設計及實現(xiàn)流程，有從事網(wǎng)絡爬蟲、網(wǎng)頁信息抽取開發(fā)經(jīng)驗，熟悉反爬蟲技術，有分布式爬蟲架構經(jīng)驗;
快速學習能力，工作積極主動，有創(chuàng)業(yè)熱情和良好的團隊協(xié)助能力;
需要有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗，沒有相關經(jīng)驗的勿擾。
負責爬取互聯(lián)網(wǎng)上允許搜索爬蟲采集的公開數(shù)據(jù)的爬取、清洗、解析、入庫
針對需要的數(shù)據(jù)，尋找網(wǎng)站或app內(nèi)可用的接口
研究主流網(wǎng)站和app反爬機制，尋找應對方案
不斷的學習研究行業(yè)新技術，提升業(yè)務能力，并作團隊分享
js、Android、IOS應用的逆向，能正向還原關鍵算法
參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；
實時監(jiān)控爬蟲的進度和警報反饋。
崗位要求：本科及以上學歷，3年以上爬蟲開發(fā)相關經(jīng)驗，熟練掌握Java或Python編程語言，熟悉JavaScript；
熟練使用正則表達式、css path、xpath等，能夠從結(jié)構化的和非結(jié)構化的數(shù)據(jù)中獲取信息；
掌握 web/app 常見的反爬機制，精通各種反爬破解，包括但不限于：hook、Js防護、混淆、逆向分析、App防破解、防逆向、加固技術等技能；
熟練使用MySQL數(shù)據(jù)庫，掌握redis、mongodb、hive等常用nosql技術并具有實戰(zhàn)經(jīng)驗；
熟悉各種抓取技術，包括爬蟲反爬、代理、selenium/Puppeteer、驗證碼處理；
熟悉整個爬蟲的設計及實現(xiàn)流程，有從事網(wǎng)絡爬蟲、網(wǎng)頁信息抽取開發(fā)經(jīng)驗，熟悉反爬蟲技術，有分布式爬蟲架構經(jīng)驗;
快速學習能力，工作積極主動，有創(chuàng)業(yè)熱情和良好的團隊協(xié)助能力;
需要有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗，沒有相關經(jīng)驗的勿擾。
工作地點
鄭州管城回族區(qū)新發(fā)展楷林智慧廣場
相似職位
- 高級爬蟲工程師1-1.2萬
鄭州 - 管城
軟通動力信息技術(集團)股份有限公司 鄭州 - 二七區(qū)
河南逸祥衛(wèi)生科技有限公司- 爬蟲工程師9000-12000元
鄭州 - 管城
軟通動力信息技術(集團)股份有限公司 - 爬蟲工程師7000-9000元
鄭州 - 管城
鄭州花之緣電子商務有限公司 - python高級爬蟲工程師1-1.3萬
鄭州 - 金水
海天工程咨詢有限公司 - python爬蟲工程師6000-9000元
鄭州 - 二七區(qū)
北京華源格林科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
李女士/招聘顧問
立即溝通
軟通動力信息技術(集團)股份有限公司軟通動力信息技術（集團）股份有限公司（以下簡稱“軟通動力”）是中國領先的全棧智能化產(chǎn)品與服務提供商，是“中國500強”企業(yè)（出自“財富FORTUNE”）。公司2005年成立于北京，多年來持續(xù)創(chuàng)新，致力于成為一家具有全球影響力的科技企業(yè)，提供軟件與數(shù)字技術服務、計算產(chǎn)品與智能電子、數(shù)字能源與智算服務以及國際化服務。目前，公司在10余個重要行業(yè)服務超過2600家國內(nèi)外客戶，其中超過230家客戶為世界500強或中國500強企業(yè)，員工90000人。軟通動力擁有軟通咨詢、軟通金科、軟通工業(yè)互聯(lián)、機械革命、軟通華方、軟通國際等業(yè)務子品牌，并在全球60余個城市布局業(yè)務，構建北美、日韓、亞太、中東四大國際交付中心，在北京通州、江蘇無錫建設兩大智能制造基地。同時，公司前瞻布局智能制造、ICT軟硬基礎能力和生產(chǎn)力智能化產(chǎn)品，打造產(chǎn)業(yè)鏈閉環(huán)。軟通動力設立30個能力中心，擁有1個國家級工程實驗室，6個省市政府認定的工程、技術實驗室及研發(fā)中心，1個博士后科研工作站，50+技術合作伙伴的生態(tài)合作體系，不斷探索前沿技術的巨大商業(yè)應用潛力。公司旗下教育品牌軟通教育，擁有一家全日制本科學院——鄭州西亞斯學院數(shù)字技術產(chǎn)業(yè)學院；同時在全國合作院校700多所，設有70多個校企聯(lián)合人才培養(yǎng)基地，通過校企合作、協(xié)同育人，為社會培養(yǎng)高素質(zhì)應用型人才。軟通動力先后獲得“2024年中國IT服務市場排名TOP1”、“2024新經(jīng)濟企業(yè)500強”、“2024年中國軟件和信息技術服務競爭力百強企業(yè)”、“2024年信創(chuàng)領軍企業(yè)”、“2024萬得ESG評級（WindESGRating）AA級及信息技術服務行業(yè)ESG綜合得分排名第一”等榮譽及市場認可，并擁有全球軟件工程領域最高級別CMMIV2.0成熟度5級評估認證、國家研發(fā)運營一體化（DevOps）三級能力成熟度模型認證、信息技術服務標準（ITSS）運維能力成熟度一級認證等專業(yè)資質(zhì)，支撐公司更優(yōu)質(zhì)的服務體系。
公司主頁