A05 端侧大模型部署与训练优化

岗位职责1. 负责大模型在边缘设备、嵌入式平台及机器人控制器等端侧硬件上的部署与适配，构建高性能、低时延、低功耗的推理系统。2. 研究模型量化、剪枝、蒸馏、稀疏化、低秩分解、算子融合及编译优化等技术，降低模型存储、计算和内存资源消耗。3. 负责大模型的监督微调、参数高效微调及领域适配，开展训练数据构建、超参数优化和效果评测，平衡模型精度与部署性能。4. 建立端侧模型性能评测和分析体系，定位推理延迟、显存占用、吞吐量及功耗等性能瓶颈，协同算法、硬件和产品团队完成工程化交付。任职要求1. 博士/硕士学历，计算机科学与技术、人工智能、自动化等相关专业。2. 具备扎实的深度学习和计算机系统基础，深入理解Transformer、大模型训练与推理流程，熟悉模型压缩及参数高效微调方法。3. 熟练掌握Python、C/C++及PyTorch等开发工具，熟悉ONNX Runtime、TensorRT、TVM、OpenVINO、CANN、MNN或NCNN等至少一种部署框架。4. 熟悉Linux开发环境，了解GPU、NPU、ARM等硬件架构以及并行计算、内存管理和算子优化方法；具有CUDA或自定义算子开发经验者优先。5. 具有大模型端侧部署、训练调优或推理加速项目经验，具备较强的性能分析、系统调试和问题解决能力，有机器人、工业视觉或智能终端项目经验者优先。