崗位職責(zé):
1、負責(zé)復(fù)雜工業(yè)場景下多模態(tài)大模型的應(yīng)用開發(fā)與優(yōu)化,包括但不限于模型預(yù)訓(xùn)練、跨模態(tài)時空對齊、指令微調(diào)、模型評估、推理加速等;
2、緊跟多模態(tài)大模型發(fā)展方向,探索視覺-語言等多模態(tài)大模型在工業(yè)領(lǐng)域中的意圖理解與內(nèi)容生成,推動多模態(tài)大模型的研發(fā)落地工作;
3、負責(zé)大模型所需的大規(guī)模多模態(tài)數(shù)據(jù)集的獲取,清洗和標(biāo)準(zhǔn)化構(gòu)建,保障多模態(tài)數(shù)據(jù)質(zhì)量和有效性;
4、負責(zé)視覺類模型的深度開發(fā),結(jié)合多模態(tài)數(shù)據(jù)融合與大模型技術(shù),解決工業(yè)場景及設(shè)備類的少樣本缺陷識別;
5、負責(zé)前沿計算機視覺、多模態(tài)數(shù)據(jù)融合、模型量化加速等相關(guān)技術(shù)調(diào)研和學(xué)習(xí),并在實際項目中落地應(yīng)用。
任職要求:
1、985碩士及以上學(xué)歷,計算機科學(xué)、人工智能、模式識別,應(yīng)用數(shù)學(xué)、電子工程、自動化等相關(guān)專業(yè);
2、熟悉Python、C++語言,能夠高效完成算法編程;熟悉Linux開發(fā)環(huán)境,獨立完成項目開發(fā)與部署;熟練使用 PyTorch、TensorFlow 訓(xùn)練框架;熟悉模型訓(xùn)練各類問題解決與調(diào)優(yōu)策略;
3、在計算機視覺與多媒體領(lǐng)域有較為深入研究,包括但不限于:圖像/視頻分類和識別、圖像分割、目標(biāo)檢測、OCR、圖神經(jīng)網(wǎng)絡(luò)、多模態(tài)、無監(jiān)督和自監(jiān)督學(xué)習(xí)等;
4、精通Transform、Bert、ViT等深度學(xué)習(xí)理論及框架,有Clip圖像文本聯(lián)合學(xué)習(xí)、GroundingDINO檢測等多模態(tài)項目經(jīng)驗;
5、有良好的英文閱讀能力和實踐能力,追蹤前沿的發(fā)展動態(tài),能夠直接閱讀頂會/頂刊文獻/技術(shù)報告并復(fù)現(xiàn)其中的相關(guān)算法;
6、對多模態(tài)大模型的訓(xùn)練范式等有深入理解和實踐,有多機多卡大模型訓(xùn)練與微調(diào)、從0到1構(gòu)建垂域多模態(tài)大模型等經(jīng)驗者優(yōu)先。
加分項: 參加過Kaggle等算法類比賽、在頂級學(xué)術(shù)期刊(如CVPR、ICCV、ECCV等)發(fā)表論文。
硬性要求
1. 心理素質(zhì)良好,能夠承受一定強度的工作壓力與加班;
2. 具備良好的溝通能力,邏輯思維清晰,可以獨立承擔(dān)研發(fā)項目與工程項目;