大模型评测算法工程师
北京
本科及以上
计算机类·电子信息类
使用简历深度优化功能，快速提升简历质量
职位介绍
职位描述
1、以算法视角，参与快手大模型（包括不限于LLM、T2I、T2V、I2V、MLLM模型）评测工作和评测体系建设；
2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率；
3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测；
4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设。
任职要求
1、本科及以上学历，计算机、人工智能、大数据、统计等相关专业优先；
2、算法基础扎实，熟悉 Transformer、Bert、DiT、CLIP、CNN、GAN、VAE、Diffusion Models等AI模型基本原理；
3、具备良好的数据化思维，能够基于数据分析结果给出分析结论，熟悉ACC、AUC、F1、recall等基本的模型评估指标计算方式；
4、熟悉常见的模型架构，能够训练或微调常见CV、NLP、LLM、MLLM模型；
5、良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识，对大模型技术有热情和探索精神；
6、具备良好的视野，善于学习新的知识、阅读论文、动手能力强、有进取心。
加分项：
1、有顶会论文、国家或国际奖项、专利获得者、算法竞赛获奖者优先考虑；
2、实际参与过AIGC、大模型相关的项目研发优先；
3、了解分布式系统、调度、容器、代码管理相关领域技术，熟悉Kubernetes、Docker、Yarn等原理与应用；
4、熟悉常见模型评测数据集、评测方法，包括但不限于C-Eval、CMMU、MT-bench、MINT、SuperCLUE；
5、熟悉Bert、CLIP、BLIP、ResNet、VGG、RCNN、Yolo等常见算法原理及训练实操。
1、以算法视角，参与快手大模型（包括不限于LLM、T2I、T2V、I2V、MLLM模型）评测工作和评测体系建设；
2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率；
3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测；
4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设。
任职要求
1、本科及以上学历，计算机、人工智能、大数据、统计等相关专业优先；
2、算法基础扎实，熟悉 Transformer、Bert、DiT、CLIP、CNN、GAN、VAE、Diffusion Models等AI模型基本原理；
3、具备良好的数据化思维，能够基于数据分析结果给出分析结论，熟悉ACC、AUC、F1、recall等基本的模型评估指标计算方式；
4、熟悉常见的模型架构，能够训练或微调常见CV、NLP、LLM、MLLM模型；
5、良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识，对大模型技术有热情和探索精神；
6、具备良好的视野，善于学习新的知识、阅读论文、动手能力强、有进取心。
加分项：
1、有顶会论文、国家或国际奖项、专利获得者、算法竞赛获奖者优先考虑；
2、实际参与过AIGC、大模型相关的项目研发优先；
3、了解分布式系统、调度、容器、代码管理相关领域技术，熟悉Kubernetes、Docker、Yarn等原理与应用；
4、熟悉常见模型评测数据集、评测方法，包括但不限于C-Eval、CMMU、MT-bench、MINT、SuperCLUE；
5、熟悉Bert、CLIP、BLIP、ResNet、VGG、RCNN、Yolo等常见算法原理及训练实操。
