大型语言模型 (LLM) 从处理复杂的编码任务到创作引人入胜的故事，再到翻译自然语言，已展示出非凡的功能。企业正在定制这些模型，以提高特定于应用程序的效率，从而为最终用户提供更高的准确性和更好的响应。 然而，为特定任务定制大语言模型 (LLM) 会导致模型对先前学习的任务“忘记”。这称为 **灾难性遗忘**。因此，随着企业在应用中采用 LLM，有必要针对原始任务和新学习的任务评估 LLM，不断优化模型以提供更好的体验。这意味着在自定义模型上运行评估需要重新运行基础和对齐评估，以检测任何潜在的回退。 为了简化 LLM 评估，NVIDIA NeMo 团队宣布 抢先体验计划 用于 NeMo Evaluator。NeMo Evaluator 是一种云原生微服务，可提供自动基准测试功能。它评估先进的 基础模型 和自定义模型，这些模型使用一系列多样化、精心策划的学术基准测试、
这是一个从 https://developer.nvidia.com/zh-cn/blog/streamline-evaluation-of-llms-for-accuracy-with-nvidia-nemo-evaluator/ 下的原始话题分离的讨论话题