職位描述
崗位職責(zé):
1、聯(lián)動產(chǎn)品、研發(fā)團隊,對SFT、RL階段的模型結(jié)果評測,定義評估標(biāo)準(zhǔn)、優(yōu)化評測流程并產(chǎn)出提升模型能力的數(shù)據(jù)分析報告,同時結(jié)合用戶行為與相關(guān)數(shù)據(jù)分析,協(xié)助產(chǎn)品研發(fā)提升模型能力和產(chǎn)品體驗;
2、根據(jù)業(yè)務(wù)目標(biāo)參與評測方案制定、建設(shè)評估數(shù)據(jù)集,并能夠站在用戶視角和模型視角構(gòu)建理想態(tài),通過人工或自動評估對模型回復(fù)效果進行評測,并自主完成問題拆解和分析,驅(qū)動產(chǎn)品研發(fā)進行策略優(yōu)化;
3、可以通過撰寫簡單PE或搭建Workflow的方法進行輔評來提升團隊整體評測效率和準(zhǔn)確性;
4、主導(dǎo)評測工作的開展,充分協(xié)調(diào)整合各方資源,保障內(nèi)外部高效協(xié)作、順暢溝通。
任職要求:
1、本科及以上學(xué)歷,具備扎實的中文專業(yè)背景,對AI領(lǐng)域有強烈興趣與探索意愿,具備快速學(xué)習(xí)能力與跨學(xué)科思維,具有良好的抗壓能力,有1年以上大模型評測相關(guān)經(jīng)驗,有搜索大模型評測經(jīng)驗者優(yōu)先;
2、在較多垂直領(lǐng)域有很好的涉獵,能夠剖析專業(yè)、行業(yè)領(lǐng)域問題,輸出自己的見解;有較好的搜索習(xí)慣,或大模型產(chǎn)品使用習(xí)慣,善于站在用戶視角反饋體驗問題,善于結(jié)合多角度拆解問題,有產(chǎn)品分析經(jīng)驗優(yōu)先;
3、具備從業(yè)務(wù)目標(biāo)精準(zhǔn)拆解標(biāo)注需求的能力,并擁有以數(shù)據(jù)為依托的文本分析能力與敏銳的用戶洞察力;
4、具備優(yōu)秀的跨團隊協(xié)同溝通能力、自驅(qū)力與創(chuàng)新意識,并能主動追蹤AI技術(shù)發(fā)展動態(tài)。