崗位職責(zé):
1、負(fù)責(zé)復(fù)雜工業(yè)場(chǎng)景下多模態(tài)大模型的應(yīng)用開發(fā)與優(yōu)化,包括但不限于模型預(yù)訓(xùn)練、跨模態(tài)時(shí)空對(duì)齊、指令微調(diào)、模型評(píng)估、推理加速等;
2、緊跟多模態(tài)大模型發(fā)展方向,探索視覺-語言等多模態(tài)大模型在工業(yè)領(lǐng)域中的意圖理解與內(nèi)容生成,推動(dòng)多模態(tài)大模型的研發(fā)落地工作;
3、負(fù)責(zé)大模型所需的大規(guī)模多模態(tài)數(shù)據(jù)集的獲取,清洗和標(biāo)準(zhǔn)化構(gòu)建,保障多模態(tài)數(shù)據(jù)質(zhì)量和有效性;
4、負(fù)責(zé)視覺類模型的深度開發(fā),結(jié)合多模態(tài)數(shù)據(jù)融合與大模型技術(shù),解決工業(yè)場(chǎng)景及設(shè)備類的少樣本缺陷識(shí)別;
5、負(fù)責(zé)前沿計(jì)算機(jī)視覺、多模態(tài)數(shù)據(jù)融合、模型量化加速等相關(guān)技術(shù)調(diào)研和學(xué)習(xí),并在實(shí)際項(xiàng)目中落地應(yīng)用。
任職要求:
1、985碩士及以上學(xué)歷,計(jì)算機(jī)科學(xué)、人工智能、模式識(shí)別,應(yīng)用數(shù)學(xué)、電子工程、自動(dòng)化等相關(guān)專業(yè);
2、熟悉Python、C++語言,能夠高效完成算法編程;熟悉Linux開發(fā)環(huán)境,獨(dú)立完成項(xiàng)目開發(fā)與部署;熟練使用 PyTorch、TensorFlow 訓(xùn)練框架;熟悉模型訓(xùn)練各類問題解決與調(diào)優(yōu)策略;
3、在計(jì)算機(jī)視覺與多媒體領(lǐng)域有較為深入研究,包括但不限于:圖像/視頻分類和識(shí)別、圖像分割、目標(biāo)檢測(cè)、OCR、圖神經(jīng)網(wǎng)絡(luò)、多模態(tài)、無監(jiān)督和自監(jiān)督學(xué)習(xí)等;
4、精通Transform、Bert、ViT等深度學(xué)習(xí)理論及框架,有Clip圖像文本聯(lián)合學(xué)習(xí)、GroundingDINO檢測(cè)等多模態(tài)項(xiàng)目經(jīng)驗(yàn);
5、有良好的英文閱讀能力和實(shí)踐能力,追蹤前沿的發(fā)展動(dòng)態(tài),能夠直接閱讀頂會(huì)/頂刊文獻(xiàn)/技術(shù)報(bào)告并復(fù)現(xiàn)其中的相關(guān)算法;
6、對(duì)多模態(tài)大模型的訓(xùn)練范式等有深入理解和實(shí)踐,有多機(jī)多卡大模型訓(xùn)練與微調(diào)、從0到1構(gòu)建垂域多模態(tài)大模型等經(jīng)驗(yàn)者優(yōu)先。
加分項(xiàng): 參加過Kaggle等算法類比賽、在頂級(jí)學(xué)術(shù)期刊(如CVPR、ICCV、ECCV等)發(fā)表論文。
硬性要求
1. 心理素質(zhì)良好,能夠承受一定強(qiáng)度的工作壓力與加班;
2. 具備良好的溝通能力,邏輯思維清晰,可以獨(dú)立承擔(dān)研發(fā)項(xiàng)目與工程項(xiàng)目;