1、 效果標準制定:基于業(yè)務場景研究及語料分析,定義業(yè)務場景的標準及理想態(tài)效果;??2、評測體系建立:建立科學、公允、客觀的大模型評測體系,幫助發(fā)現(xiàn)和分析問題,推動模型優(yōu)化;??3、策略分析:結(jié)合用戶洞察、行業(yè)分析、實驗數(shù)據(jù),深化評測分析,并探索優(yōu)化策略,并推動產(chǎn)品研發(fā)迭代方案;??4、語料定義與生產(chǎn):基于效果問題,定義高質(zhì)量模型語料,協(xié)同標注團隊交付標注結(jié)果;與算法團隊協(xié)作,推動模型迭代。??5、對預訓練語言模型、精調(diào)、PE、RAG等大模型技術(shù)有一定理解; 能力要求:有 AI 標注運營經(jīng)驗或用戶運營經(jīng)驗;熟悉大模型產(chǎn)品,日常至少有1-2款常用 AI 產(chǎn)品