AI推理引擎开发工程师(2026届春招)
硕士及以上
计算机类·电子信息类
使用简历深度优化功能,快速提升简历质量
职位介绍
职位描述
1主导端侧AI推理引擎的架构设计与开发,支撑深度学习模型(含大模型)在嵌入式平台的高效部署。
2负责大模型(如Qwen、DeepSeek、Llama等)在端侧的全链路推理加速,包括量化、算子加速、投机采样、动态批处理及运行时调度。
3深入了解主流AI框架与推理引擎(如TensorRT、vLLM、llama.cpp、SGLang)底层机制,进行二次开发与定制优化。
4结合CUDA、HVX等硬件加速能力,实现异构计算资源的统一调度与性能极限压榨。
5输出推理引擎架构文档、性能分析报告及部署方案。
职位要求
1计算机、电子工程、通信工程等相关专业,***高性能计算或AI工程化经验。
2精通C/C++与Python,深入理解计算机体系结构,熟悉CPU/GPU/NPU等硬件特性,能够在不同平台上实现高效的推理调度与计算加速。
3熟悉TensorRT/vLLM/llama.cpp/SGLang等底层机制,具备推理引擎开发经验。
4熟悉大模型推理加速技术,如量化(INT4/INT8)、KV Cache、动态批处理、投机采样等。
5具备CUDA编程与优化能力,了解DSP(HVX)或NPU开发者优先。

