崗位職責1. 大語言模型本地化部署與優(yōu)化
- 負責DeepSeek-R等大模型的本地化部署,實現(xiàn)高效GPU資源分配及推理加速方案。
- 開發(fā)模型壓縮技術(量化、剪枝等)及顯存優(yōu)化方案,降低硬件資源消耗。
- 封裝模型服務API,支持高并發(fā)、低延遲的知識檢索與生成場景。
2. 知識庫數(shù)據(jù)建模與算法開發(fā)
- 構建知識抽取算法:基于NLP技術實現(xiàn)非結構化文本的實體關系抽取、知識三元組生成及知識圖譜構建。
- 設計知識表示與存儲方案:結合圖數(shù)據(jù)庫(Neo4j)與向量數(shù)據(jù)庫(Milvus)優(yōu)化多模態(tài)知識存儲結構。
- 開發(fā)知識增強算法:利用RAG(檢索增強生成)技術提升大模型在垂直領域的準確性和可解釋性。
3. 數(shù)據(jù)工程與模型訓練
- 主導自有數(shù)據(jù)清洗與增強:設計數(shù)據(jù)標注規(guī)則、異常檢測算法及數(shù)據(jù)增強策略(如對抗訓練)。
- 開發(fā)持續(xù)學習機制:結合主動學習(Active Learning)優(yōu)化模型迭代效率,降低人工標注成本。
- 構建自動化訓練流水線:集成PyTorch/TensorFlow框架,實現(xiàn)分布式訓練與超參數(shù)調優(yōu)。
4. 系統(tǒng)性能調優(yōu)與監(jiān)控
- 設計模型性能評估指標:包括響應延遲、知識召回率、生成內容合規(guī)性等。
- 進行算法模塊的代碼級優(yōu)化:通過CUDA加速、多線程編程提升計算效率。
- 開發(fā)監(jiān)控告警系統(tǒng):實時跟蹤模型推理異常(如幻覺生成、知識沖突),并實現(xiàn)自修復機制。
任職資格技術能力
- 學歷與專業(yè):計算機科學、人工智能、數(shù)學相關專業(yè)碩士及以上學歷,博士優(yōu)先。
- 編程能力:精通Python/C++,熟悉PyTorch/TensorFlow框架,具備CUDA開發(fā)經(jīng)驗。
- 算法經(jīng)驗:
- 熟悉大模型微調技術(LoRA、P-Tuning)及本地化部署方案。
- 掌握NLP核心技術(BERT預訓練、文本摘要、實體鏈接等)。
- 具備知識圖譜構建經(jīng)驗(Neo4j、DGL等)。
項目經(jīng)驗
- 主導過知識庫系統(tǒng)、問答系統(tǒng)或企業(yè)級搜索項目開發(fā)。
- 有處理TB級結構化/非結構化數(shù)據(jù)的實戰(zhàn)經(jīng)驗。
- 熟悉RAG、向量檢索等增強生成技術者優(yōu)先。
軟性素質
- 具備跨團隊協(xié)作能力,能與產(chǎn)品經(jīng)理、數(shù)據(jù)工程師協(xié)同定義技術方案。
- 對AI技術趨勢敏感,持續(xù)跟蹤LangChain、LlamaIndex等開源工具生態(tài)。
加分項
- 有大型AI產(chǎn)品或項目落地經(jīng)驗。
- 熟悉云計算平臺(AWS/GCP/Azure)和模型部署(Docker/Kubernetes)。
- 了解生成式AI(如ChatGPT、Diffusion)、大語言模型(LLM)應用開發(fā)。
- 具有開源項目貢獻經(jīng)驗或技術博客。