崗位職責
1. 評測體系落地與迭代：主導公司頭部大模型產(chǎn)品的全維度評測工作，嚴格執(zhí)行評測標準，包括模型的核心能力等核心維度，輸出客觀、精準的評測結(jié)果。
2. Benchmark構(gòu)建與優(yōu)化：主動設計并生產(chǎn)高質(zhì)量評測基準（benchmark），結(jié)合業(yè)務場景與模型迭代需求，持續(xù)豐富評測樣本、優(yōu)化評測指標，確保基準的科學性、針對性與時效性，為模型迭代提供核心參考依據(jù)。
3. 評測報告輸出與解讀：基于評測數(shù)據(jù)撰寫專業(yè)評測報告，清晰呈現(xiàn)模型優(yōu)勢、短板及優(yōu)化方向，為產(chǎn)品、算法團隊提供可落地的決策建議；同步跟蹤報告落地效果，形成“評測-反饋-優(yōu)化”的閉環(huán)。
4. 數(shù)據(jù)供給驅(qū)動：根據(jù)評測報告結(jié)論，精準定位模型薄弱環(huán)節(jié)，制定針對性數(shù)據(jù)供給方案，主導高質(zhì)量訓練/微調(diào)數(shù)據(jù)的生產(chǎn)、篩選與標注，通過數(shù)據(jù)優(yōu)化反向提升模型核心能力。
5. 評測標準沉淀：結(jié)合行業(yè)前沿與內(nèi)部實踐，持續(xù)迭代評測方法論、指標體系與操作流程，形成可復用的團隊知識庫，提升整體評測效率與質(zhì)量。
任職要求
1. 學歷背景：本科及以上學歷，軟件工程、計算機、數(shù)據(jù)科學、人工智能、統(tǒng)計學等相關(guān)專業(yè)，3年及以上大模型評測、數(shù)據(jù)研究相關(guān)工作經(jīng)驗。
2. 核心能力：深入理解大模型技術(shù)原理，熟悉大模型評測的主流方法、指標與工具，對大模型的核心能力等評測維度有實操經(jīng)驗。
3. 數(shù)據(jù)能力：具備扎實的數(shù)據(jù)處理、分析與可視化能力，熟練使用Python（Pandas、NumPy等）、SQL等工具，能獨立完成評測數(shù)據(jù)的清洗、統(tǒng)計與分析。
4. 專業(yè)素養(yǎng)：具備敏銳的細節(jié)洞察力與判斷力，能精準識別模型生成內(nèi)容的質(zhì)量差異（尤其是視覺taste與文本風格）；邏輯嚴謹，善于梳理復雜問題，輸出結(jié)構(gòu)化報告。
5. 協(xié)作能力：具備良好的跨團隊溝通與協(xié)作能力，推動評測結(jié)果與數(shù)據(jù)供給方案落地；有較強的自驅(qū)力與主動創(chuàng)新意識，能快速響應業(yè)務需求。
6. 加分項：有頭部AI公司大模型評測、benchmark構(gòu)建經(jīng)驗者優(yōu)先；具備圖片/文本質(zhì)量評估、數(shù)據(jù)標注體系設計經(jīng)驗者優(yōu)先。