崗位概述?:
大模型測(cè)試工程師,負(fù)責(zé)對(duì)大模型及相關(guān)應(yīng)用進(jìn)行全面、深入的測(cè)試工作,保障產(chǎn)品質(zhì)量。?
崗位職責(zé)?:
1、負(fù)責(zé)測(cè)試方案制定與執(zhí)行:深入剖析業(yè)務(wù)需求,精準(zhǔn)制定針對(duì) AI 大模型及相關(guān)應(yīng)用的全面評(píng)測(cè)方案,并高效組織實(shí)施。方案涵蓋功能測(cè)試、性能測(cè)試、穩(wěn)定性測(cè)試、安全測(cè)試等多維度測(cè)試內(nèi)容,確保系統(tǒng)全方位滿(mǎn)足用戶(hù)需求與行業(yè)標(biāo)準(zhǔn)。?
2、負(fù)責(zé)多維度大模型自動(dòng)化測(cè)試:?
- 功能測(cè)試:對(duì)大模型的各項(xiàng)功能進(jìn)行細(xì)致驗(yàn)證,包括但不限于文本生成、RAG、Agent等功能,確保模型輸出結(jié)果的準(zhǔn)確性和完整性,符合預(yù)期的功能需求。?
- 性能測(cè)試:開(kāi)展性能測(cè)試工作,評(píng)估模型在不同負(fù)載下的響應(yīng)時(shí)間、吞吐量、資源利用率等性能指標(biāo),分析性能瓶頸并提出優(yōu)化建議。?
- 穩(wěn)定性測(cè)試:進(jìn)行長(zhǎng)時(shí)間的穩(wěn)定性測(cè)試,監(jiān)測(cè)模型在持續(xù)運(yùn)行過(guò)程中的表現(xiàn),及時(shí)發(fā)現(xiàn)并解決可能出現(xiàn)的異常情況,確保模型具備高穩(wěn)定性。?
- 安全測(cè)試:對(duì)大模型進(jìn)行安全漏洞檢測(cè),防范潛在的安全風(fēng)險(xiǎn),如數(shù)據(jù)泄露、模型被攻擊等。?
3、負(fù)責(zé)線(xiàn)上模型監(jiān)測(cè)與支持:實(shí)時(shí)監(jiān)測(cè)線(xiàn)上模型的輸出質(zhì)量,建立有效的質(zhì)量評(píng)估機(jī)制,及時(shí)發(fā)現(xiàn)并反饋模型運(yùn)行中的問(wèn)題。?
4、負(fù)責(zé)測(cè)試結(jié)果分析與報(bào)告:深度分析評(píng)測(cè)結(jié)果,撰寫(xiě)專(zhuān)業(yè)、詳實(shí)的測(cè)試報(bào)告。
5、負(fù)責(zé)測(cè)試方法與流程優(yōu)化:持續(xù)關(guān)注行業(yè)最新技術(shù)動(dòng)態(tài),構(gòu)建和引入先進(jìn)的自動(dòng)化測(cè)試技術(shù),減少手工測(cè)試工作量,提升測(cè)試的準(zhǔn)確性和可靠性。?
6、協(xié)助算法工程師或開(kāi)發(fā)工程師進(jìn)行大模型的調(diào)優(yōu)、訓(xùn)練等。
任職要求?:
1、教育背景:本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計(jì)學(xué)等相關(guān)專(zhuān)業(yè)優(yōu)先。扎實(shí)的專(zhuān)業(yè)知識(shí)基礎(chǔ)有助于深入理解大模型技術(shù)和測(cè)試原理。?
2、工作經(jīng)驗(yàn):3 年以上軟件測(cè)試工作經(jīng)驗(yàn),其中至少 1 年 AI 大模型測(cè)試經(jīng)驗(yàn)。具備豐富的軟件測(cè)試經(jīng)驗(yàn),熟悉軟件測(cè)試流程和方法,能夠熟練運(yùn)用各種測(cè)試工具。
3、專(zhuān)業(yè)技能:?熟練掌握 Java、Python、C++ 等至少一種編程語(yǔ)言,具備良好的編程習(xí)慣和代碼調(diào)試能力。能夠運(yùn)用編程語(yǔ)言編寫(xiě)測(cè)試腳本、自動(dòng)化測(cè)試工具和數(shù)據(jù)分析程序,提高測(cè)試工作的效率和質(zhì)量。?
4、深入理解軟件測(cè)試設(shè)計(jì)方法,熟悉軟件編程規(guī)范和軟件缺陷管理流程,具備軟件自動(dòng)化測(cè)試方案設(shè)計(jì)與實(shí)施能力。
5、有知名互聯(lián)網(wǎng)公司、人工智能企業(yè)相關(guān)工作經(jīng)驗(yàn)者優(yōu)先。有 RAG 和 Agent 的測(cè)試經(jīng)驗(yàn),使用過(guò) Ragas、Openeval、Deepeval 之類(lèi)的大模型評(píng)估框架者優(yōu)先。
6、具備良好的溝通能力和團(tuán)隊(duì)協(xié)作精神,能夠與算法、研發(fā)、產(chǎn)品、運(yùn)營(yíng)等多部門(mén)團(tuán)隊(duì)進(jìn)行有效的溝通和協(xié)作,共同推進(jìn)項(xiàng)目進(jìn)展。
7、具有較強(qiáng)的問(wèn)題解決能力和分析能力,能夠快速定位和解決測(cè)試過(guò)程中發(fā)現(xiàn)的問(wèn)題,提出有效的解決方案。
8、工作認(rèn)真負(fù)責(zé),有較強(qiáng)的責(zé)任心和質(zhì)量意識(shí),對(duì)測(cè)試工作充滿(mǎn)熱情,確保測(cè)試工作的準(zhǔn)確性和完整性。