崗位職責(zé):
1、負(fù)責(zé)VLA(視覺-語言-行動(dòng))多模態(tài)大模型在自動(dòng)駕駛和機(jī)器人場(chǎng)景的前沿算法研究,涵蓋場(chǎng)景理解、語義引導(dǎo)決策、時(shí)空建模等核心能力;
2、主導(dǎo)VLA端到端大模型的開發(fā)與優(yōu)化,包括模型架構(gòu)設(shè)計(jì)、數(shù)據(jù)處理、訓(xùn)練優(yōu)化及車端部署,優(yōu)化模型效率和精度,滿足自動(dòng)駕駛場(chǎng)景需求;
3、設(shè)計(jì)和優(yōu)化多模態(tài)數(shù)據(jù)采集、清洗及增強(qiáng)策略,構(gòu)建高質(zhì)量訓(xùn)練數(shù)據(jù)集。
任職要求:
1、計(jì)算機(jī)科學(xué)、人工智能、機(jī)器人學(xué)等相關(guān)專業(yè)碩士及以上學(xué)歷,熟悉DeepSpeed、FSDP、PyTorch等深度學(xué)習(xí)框架及分布式訓(xùn)練技術(shù)。熟悉機(jī)器人模仿學(xué)習(xí)、強(qiáng)化學(xué)習(xí)理論。
2、熟悉Transformer、Diffusion Model等架構(gòu),具備多模態(tài)大模型調(diào)優(yōu)經(jīng)驗(yàn),熟悉數(shù)字孿生相關(guān)技術(shù),熟悉多模態(tài)數(shù)據(jù)錄制、回放等方法;
3、了解機(jī)器人運(yùn)動(dòng)控制(PID/MPC)、路徑規(guī)劃算法(A*/RRT/DWA)、運(yùn)動(dòng)/軌跡預(yù)測(cè)算法等,有自動(dòng)駕駛數(shù)據(jù)集(nuScenes/Waymo)或機(jī)器人仿真平臺(tái)(Isaac Sim)經(jīng)驗(yàn)優(yōu)先;
4、熟悉模型壓縮、量化部署技術(shù),有ONNX、TensorRT相關(guān)框架和開發(fā)工具使用經(jīng)驗(yàn)優(yōu)先。