多模态视觉理解效果评测

1、负责大模型在多模态视觉理解方向评测集的构建，参与制定相关评测的标准，与算法、产品协同提升评测的质量与效率。 2、在多模态方向，探索链路合成query/答案/自动评估标准，实现自动生产数据和自动评估。 根据需求对评测题目进行质检和优化，保证评测题目的质量和评分体系的可靠性 3、分析模型当下的bad case，给出模型弱点分布，为算法、标注侧提是出行之有效的优化建议。 职位要求 1、本科及以上学历,计算机、人工智能、应用数学、统计学等相关专业优先。数据分析方向必须熟练掌握python；多模态方向了解python为加分项。 2、需要对多模态模型应用和评测方法有一定了解, 有较强的语言表达能力，可以用文本描述清楚图片或者视频要素。 3、熟悉Prompt Engineering核心方法论，有PE项目实践经验，理解大模型基础能力，Al Agent工作原理、Function Call机制,掌握SFT与RL等基础概念, 对基座大模型基础能力评测/优化相关工作充满热情。 4、有具体的数据合成项目、自动评估方案实践的同学优先。