一、工作職責(zé):
1、負(fù)責(zé)公司基礎(chǔ)架構(gòu)大數(shù)據(jù)處理平臺的規(guī)劃和設(shè)計(jì);
2、大數(shù)據(jù)架構(gòu)的平臺調(diào)度器、配置參數(shù)的優(yōu)化以及業(yè)務(wù)層面的流程優(yōu)化;
3、Hadoop、Spark、Hive的深度整合。
二、任職要求(按要求重要程度由強(qiáng)到弱填寫)
1、熟悉Linux常用發(fā)行版本Redhat(CentOS)、Ubuntu(Debian)等開發(fā)環(huán)境;
2、熟練Java、Python中的一種語言,熟練掌握LinuxShell開發(fā);
3、熟練MongoDB、MySQL、PostgreSQL等常用數(shù)據(jù)庫;
4、精通Hadoop、Spark、Hive的實(shí)現(xiàn)原理,5年以上大數(shù)據(jù)研發(fā)架構(gòu)研發(fā)經(jīng)驗(yàn);
5、有Hive、Spark-streaming、Storm等開發(fā)經(jīng)驗(yàn)者優(yōu)先;
6、對操作系統(tǒng)運(yùn)行原理、網(wǎng)絡(luò)通訊、多線程、高并發(fā)服務(wù)等有一定的了解和研究;
7、較強(qiáng)的團(tuán)隊(duì)合作精神,吃苦耐勞,良好的溝通能力;
8、崇尚開源,對新鮮的事物有較強(qiáng)的學(xué)習(xí)能力和研究興趣。