昆仑万维-大模型推理/训练（校招(A158646)

职位描述： 1. 参与大规模深度学习推理框架的研发与优化，提供低延迟、高吞吐的大模型推理方案。 2. 负责底层算子的优化，通过优化访存 pattern、计算提升推理性能。 3. 优化推理框架上层调度策略，通过机内、机间的计算调度和通讯优化提升引擎性能。 4. 通过量化、投机采样以及稀疏化等方式，提升端到端的 token 吞吐。 5. 对推理框架进行设计抽象，满足异构算力芯片的接入需求。 职位要求： 1. 熟悉Linux开发环境，良好的系统编程、数据结构、算法基础、系统设计能力、掌握 C++/Python编程语言。 2. 熟悉tensorflow、pytorch、TensorRT， FasterTransformer等主流训练和推理框架，并有相关优化经验者优先。 3. 熟悉编译优化技术及相关框架，如MLIR、TVM、XLA；有显存优化、算子融合、图优化等实操经验。 4. 熟悉CUDA编程，具备较好开发能力，熟悉triton、cutlass、有算子库开发经验者优先。 5. 具有良好的团队合作精神和沟通能力，能够对算法和底层的协同优化起到核心桥梁作用。