大模型算法

【大模型算法方向】 1、探索新的模型结构优化方法（含蒸馏量化压缩剪枝及MoE架构）以及神经网络原理的数学建模方法； 2、探索下一代NLP大模型架构创新； 3、探索下一代多模态理解&生成类大模型架构创新 【AI系统算法方向】 1、 洞察下一代AI系统的前沿技术，参与关键技术突破。 2、 参与下一代AI系统设计与实现，探索并构建模型压缩、投机解码、注意力稀疏等关键算法； 3、 参与面向下一代AI应用（包括但不限于大模型、AIGC等）的关键算法设计与优化 岗位要求 1、 计算机科学、人工智能、数学等相关专业硕士及以上；具备扎实的数学、算法和编程基础 2、 熟练掌握深度学习/强化学习相关算法，熟悉PyTorch等AI开发框架，熟悉大规模分布式计算、并行计算相关算法及框架。 3、 在模型结构设计、预训练、SFT、大模型训练优化（分布式训练、训练策略寻优等）、大模型推理优化（投机解码、attention稀疏、量化等）等方向的实践或者科研经历； 4、 有顶会最佳论文、ICPC等顶级竞赛金牌、GitHub等开源平台成功项目经验者优先。