随着生成式 AI 模型的持续创新，生成式 AI 在计算应用方面取得了巨大进步，从而大幅增强人类能力。这些模型包括 生成式 AI 模型，例如 大型语言模型 (LLM)，用于创作营销文案、编写代码、渲染图像、作曲和生成视频等。随着新模型的不断出现，所需的计算量也随之增加。 生成式 AI 的计算强度要求芯片、系统和软件要卓越。MLPerf 推理是一个基准套件，用于衡量多个热门深度学习用例的推理性能。最新版本 MLPerf Inference v4.0 加入两个新工作负载，代表了热门的现代生成式 AI 用例。其中一个是基于最大的 Meta Lama 2 系列大型语言模型 (LLM) 的 LLM 基准测试，以及另一个是基于 Stable Diffusion XL 稳定漫反射的。 NVIDIA 加速计算平台利用 NVIDIA H200 Tensor Core GPU。
这是一个从 https://developer.nvidia.com/zh-cn/blog/nvidia-h200-tensor-core-gpus-and-nvidia-tensorrt-llm-set-mlperf-llm-inference-records/ 下的原始话题分离的讨论话题