AMD 架构创新成果：最新 AI 系统比 2020 年的产品能效提高 28.3 倍

本站 12 月 11 日消息，AMD 早在 2021 年就制定了“到 2025 年将 EPYC 处理器和 Instinct 加速器的能效提高 30 倍”的目标。

根据 AMD 官方的说法，虽然还没到 2025 年，但他们现在距离这一成果已经只差临门一脚：配备最新 EPYC 9575F和 Instinct MI300X 的机器相比2020 年一台未公开的机器能效提高了 28.3 倍。

AMD 在测试中使用了Llama3.1-70B（vLLM 0.6.1.post2、TP8 Parallel、FP8、连续批处理）模型，然后对比其推理性能的差异。

AMD 并未透露其测试中用到的这套 2020 年硬件规格，但很显然基于Zen 2 系列的 EPYC 7002 处理器（单个 CPU 最多 64 核）以及基于初代 CDNA 架构的 Instinct MI100 加速器。

AMD 还表示，除了“给力”的硬件提升之外，这一成绩是通过架构改进和软件优化综合实现的成果，这是可以预料到的结果。

该公司最近刚推出了基于 CDNA 3 架构的 Instinct MI325X 加速器，配备了 288 GB HBM3E 内存子系统；AMD 明年还将推出基于 CDNA 4 架构的 Instinct MI355X，与 MI325X 相比性能（FP8 和 FP16）将提高约 80%。

除了 FP8 和 FP16 外，MI325X 还将支持 FP4 和 FP6 格式，其峰值性能将达到 9.2 PetaFLOPS（FP4），这对于许多大语言模型来说非常实用。也就是说，AMD 要想实现在 2025 年实现其计算平台能效提高 30 倍的目标并不难。

AMD 高级副总裁、AMD 公司研究员和产品技术架构师 Sam Naffziger 表示，“通过我们对硬件和软件协同设计中深思熟虑的方法，我们对实现 30x25 目标很有信心，并对未来充满期待，我们已经看到了在未来几年内实现大幅能效提升的有效途径。”

相关阅读：

《AMD 宣布推出新款“Turin”系列 EPYC 9005 数据中心 CPU》

《AMD 最强 AI 加速卡 MI325X 登场：256GB HBM3E、6 TB/s 带宽，FP8 性能 2.6 PFLOPs，完善 ROCm 生态》