崗位職責:
1、負責處理和清洗大規(guī)模、多來源的數(shù)據(jù)集,保證數(shù)據(jù)的完整性和可靠性,消除數(shù)據(jù)中的偏見、冗余、毒性內(nèi)容
2、提升清洗數(shù)據(jù)和生成數(shù)據(jù)的質(zhì)量,通過多樣算法和模型提升和優(yōu)化數(shù)據(jù)質(zhì)量
3、設計、構建和維護大模型相關的大數(shù)據(jù)處理系統(tǒng)和數(shù)據(jù)管道
4、負責數(shù)據(jù)處理中涉及到的NLP模型的設計與優(yōu)化,提升數(shù)據(jù)處理的效率和準確性
5、大模型相關的數(shù)據(jù)質(zhì)量把控,包括但不限于數(shù)據(jù)一致性檢查、數(shù)據(jù)完整性驗證等
6、對大規(guī)模數(shù)據(jù)集進行處理和分析,確保數(shù)據(jù)的準確性和可靠性
7、理解數(shù)據(jù)需求,與業(yè)務緊密配合,開發(fā)建立自動化數(shù)據(jù)質(zhì)量評估流程及系統(tǒng)
8、及時發(fā)現(xiàn)和定位數(shù)據(jù)問題,跟蹤問題的解決進度,確保數(shù)據(jù)問題得到有效解決
9、編寫詳實的數(shù)據(jù)評估報告,提供訓練數(shù)據(jù)分析和改進建議,為團隊提供有效的反饋支持
10、開展數(shù)據(jù)治理,持續(xù)提升數(shù)據(jù)質(zhì)量,挖掘數(shù)據(jù)價值
任職要求:
專業(yè):計算機、人工智能、軟件工程、數(shù)學等相關專業(yè)
素質(zhì):溝通能力強,表達清晰,有責任心
經(jīng)驗:NLP、機器學習或大模型相關背景和經(jīng)歷