崗位職責:
1、大模型推理開發(fā):負責大模型的服務化工作,包括模型部署、模型服務開發(fā),以維護和更新;
2、訓練與推理加速:負責大模型的訓練與推理加速工作,利用裁剪、量化、蒸餾等技術,加速及優(yōu)化模型的推理效率,提升吞吐量,并解決推理性能瓶頸。
任職資格:
1、碩士研究生及以上學歷,計算機及相關專業(yè),具備五年以上相關工作經(jīng)驗;
2、編程語言與技能?:精通C++、Python、Go等編程語言,熟悉CPU/GPU架構與工作原理,有深度學習系統(tǒng)研發(fā)經(jīng)驗,熟悉CUDA編程;
3、深度學習框架:熟悉主流深度學習框架如PyTorch、TensorFlow、PaddlePaddle等?;
4、大模型加速優(yōu)化工作經(jīng)驗:具有量化、剪枝、蒸餾等模型推理加速優(yōu)化的工作經(jīng)驗者優(yōu)先;掌握AI加速技術如TensorRT、TVM、VLLM等工作經(jīng)驗者優(yōu)先;
5、其他:具備快速學習能力和團隊合作精神。