训推平台及引擎工程师

【职位职责】 1. 推理优化方向： 1. 负责模型推理性能调优：chunked prefill、continuous batching、KV cache压缩 2. 开展模型量化实验（INT4 QAT/GPTQ/AWQ），验证精度与性能平衡 3. 维护推理服务基准测试套件，持续跟踪TTFT/TPS/并发指标 4. 主导多模型（Kimi、Deepseek、Qwen、GLM、Minimax）的部署与适配 5. 编写推理优化技术文档与最佳实践 7. 模型评测方向： 1. 建立模型评测框架：覆盖编码（SWE-bench/LiveCodeBench）、长文本（MRCR/LongBench）、通用能力 2. 跟踪国内外主流模型动态，定期输出模型选型建议 3. 执行模型对比实验：推理性能、精度、成本的综合评估 4. 维护模型部署兼容性矩阵（SGLang/vLLM × 各模型 × 各GPU） 5. 撰写模型评估报告供管理层决策参考 13. 模型研发方向： 1、负责AI模型的部署、模型服务运维、稳定性保障，模型参数调优 2、大模型推理、CV模型推理相关配套中间件介入 3、协助模型算法工程师解决模型在服务环境中的问题 4、监控模型服务运行情况及及评估优化结果