職位描述
PythonScrapyNumPyPandas數據采集數據清洗數據挖掘
職位概要:
負責設計并實現爬蟲框架、規(guī)范及監(jiān)控體系，對目標網站內容及附件數據進行采集。對采集數據和文檔進行大模型提取的前處理以及后處理，確保數據入庫的質量和效率。崗位職責:
1.數據采集系統開發(fā)與維護：
（1）開發(fā)維護目標網站數據采集程序和框架（如強化版Scrapy），解決登錄驗證、令牌加密、IP/頻率限制、驗證碼等復雜反爬挑戰(zhàn)；
（2）建設和維護統一采集任務管理監(jiān)控平臺（調度、監(jiān)控、報警、日志、自動補漏）；
2.數據預處理與后處理：
（1）對原始數據和文檔進行預處理，如自動化分類、格式轉換、糾錯等，滿足大模型輸入要求；
（2）對大模型輸出數據使用算法或模型進行后處理，包括自動化校驗與規(guī)范化；
3.數據入庫和集成協作：
（1）與后端團隊協作，設計和實現數據入庫、任務調度和推送1.數據采集系統開發(fā)與維護：
（1）開發(fā)維護目標網站數據采集程序和框架（如強化版Scrapy），解決登錄驗證、令牌加密、IP/頻率限制、驗證碼等復雜反爬挑戰(zhàn)；
（2）建設和維護統一采集任務管理監(jiān)控平臺（調度、監(jiān)控、報警、日志、自動補漏）；
2.數據預處理與后處理：
（1）對原始數據和文檔進行預處理，如自動化分類、格式轉換、糾錯等，滿足大模型輸入要求；
（2）對大模型輸出數據使用算法或模型進行后處理，包括自動化校驗與規(guī)范化；
3.數據入庫和集成協作：
任職資格：
1、本科以上學歷，計算機、數學、數據科學、統計學相關專業(yè)優(yōu)先。
2、5年以上工作經驗，3年以上Python開發(fā)和數據處理經驗，擅長數據采集（爬蟲），熟悉大模型
技術核心：
1、精通Python 及生態(tài)，熟悉 pandas, numpy 等數據處理框架.
2、熟悉 Scrapy框架、Requests、BeautifulSoup/lxml
3、熟悉 MySQL/PostgreSQL、MongoDB、Redis 的操作、基礎設計與SQL查詢
4、熟悉Git的使用
5、熟悉Selenium、Playwright 或 Puppeteer等
6、（加分項）了解 rabbitmq, redis, celery 等分布式任務調度框架
7、（加分項）了解 python async 或多進程多線程高性能開發(fā)
1、本科以上學歷，計算機、數學、數據科學、統計學相關專業(yè)優(yōu)先。
2、5年以上工作經驗，3年以上Python開發(fā)和數據處理經驗，擅長數據采集（爬蟲），熟悉大模型
技術核心：
1、精通Python 及生態(tài)，熟悉 pandas, numpy 等數據處理框架.
2、熟悉 Scrapy框架、Requests、BeautifulSoup/lxml
3、熟悉 MySQL/PostgreSQL、MongoDB、Redis 的操作、基礎設計與SQL查詢
4、熟悉Git的使用
5、熟悉Selenium、Playwright 或 Puppeteer等
6、（加分項）了解 rabbitmq, redis, celery 等分布式任務調度框架
7、（加分項）了解 python async 或多進程多線程高性能開發(fā)
工作地點
雙流區(qū)超圖成都大廈1棟
相似職位
- Python工程師(爬蟲方向)6000-10000元·13薪
成都 - 錦江
成都中啟易聯科技有限公司 - python爬蟲工程師1.5-2.2萬
成都 - 武侯
北京神州飛騰信息科技有限公司 - 爬蟲工程師/Python工程師（可遠程辦公）6000-10000元
成都 - 武侯
成都愛車保信息技術有限公司 - 爬蟲工程師8000-13000元
成都 - 郫都
中鐵科學研究院集團有限公司 - 爬蟲工程師實習150-200元/天
成都 - 成華
成都筑川科技有限公司 - 高級爬蟲工程師1-1.6萬
成都 - 錦江
四川仙氣飄飄科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
蘭女士/人資經理
三日內活躍立即溝通
四川業(yè)億辰科技有限公司四川業(yè)億辰科技有限公司專注于業(yè)務咨詢、ERP實施（SAP）、電子商務、移動政務、移動電商的專業(yè)軟件服務提供商。公司致力于軟件系統的開發(fā)和應用，將高端咨詢和互聯網+大數據進行結合，以優(yōu)秀的創(chuàng)新思維和領先的技術能力為客戶提供端到端的高端整體解決方案，幫助傳統企業(yè)向互聯網領域轉型升級，實現傳統業(yè)務向互聯網互聯網的快速接入，互通，打造一體化的全渠道營銷供應鏈體系。公司產品兼顧傳統企業(yè)信息化市場和互聯網技術市場，主要產品方向為兩方面，一方面，通過與企業(yè)信息化服務商合作，提供專業(yè)的電子商務、供應鏈、大數據等技術產品，補充企業(yè)信息化在互聯網方面的弱項。另外一方面，以互聯網為平臺，打造輕量級的供應鏈+互聯網的產品，實現網絡營銷自主推廣。公司集結了一批年輕的、有學識的、具有實干精神的三高（高素質、高標準、高學歷）IT人才，以及一批業(yè)務知識豐富、項目管理能力強、市場反應速度快的行業(yè)技術專家、項目管理干部及高層次商務人才。核心團隊成員經驗豐富，大都擁有10年以上從事企業(yè)信息化咨詢和軟件行業(yè)的工作經歷，同時擁有國際、國內知名公司工作背景。
公司主頁