EvalLLM: Workshop on the Evaluation of Generative Models (LLM), RAG, and Challenges

EvalLLM：生成模型（LLM）、RAG及其挑战评估研讨会 EvalLLM 研讨会专注于生成式大型语言模型（LLM）的评估及其在复杂处理链中的集成，尤其强调检索增强生成（RAG）。本次研讨会旨在解决评估 LLM 所面临的重大挑战，特别是考虑到现有基准测试主要反映了以盎格鲁文化为中心的视角。本次研讨会对于法语和其他非英语语言具有更高的相关性，因为它旨在吸引来自工业界和学术界的研究人员，共同探讨这些模型在专业领域所需的多元化评估过程。研讨会结构将包括一场特邀演讲以及通过征稿选出的优秀论文。本次征稿邀请与 LLM 评估各个方面相关的研究，例如完整系统（特别是 RAG）以及基础模型和微调模型的性能评估。研讨会还将探讨针对法语和其他语言（无论是资源丰富还是资源匮乏）创建或调整基准测试。欢迎提交关于以下主题的研究贡献：NLP 任务评估（如翻译、摘要和信息抽取）、生成系统评估方法的调整，以及围绕偏见、隐私和文化一致性的伦理维度。此外，研讨会还将考虑计算时间、内存使用和能效方面的性能评估，以及侧重于人体工程学和认知方面的用户导向评估。此外，研讨会还将讨论集成文本与图像或语音的多模态模型。作为 EvalLLM2026 研讨会的一部分，将有两项引人注目的挑战，旨在进一步加深对 LLM 的理解。第一个挑战是基于任务的评估，涉及通过少样本学习链接医学领域内的实体。