首页 > 手游资讯 >AMD 发布 ROCm 6.3:集成 SGLang、引入新 Fortran 编译器等

AMD 发布 ROCm 6.3:集成 SGLang、引入新 Fortran 编译器等

2024-11-27 12:22:56欧凯手游网

感谢本站网友 华南吴彦祖 的线索投递!

本站 11 月 27 日消息,科技媒体 techpowerup 昨日(11 月 26 日)发布博文,报道称 AMD 公司发布了 ROCm 6.3 版本更新,集成了用于加速 AI 推理的 SGLang,并重新设计 FlashAttention-2 用于优化 AI 训练和推理等等。

SGLang

AMD 表示 ROCm 6.3 更新现支持 SGLang,这是一个 Runtime,为 AMD Instinct GPU 优化大语言模型(LLMs)和视觉语言模型(VLM)的推理。

AMD 承诺通过集成 SGLang,吞吐量可以提高 6 倍,并且由于集成了 Python 和预配置的 ROCm Docker 容器,使用起来更加便捷。

FlashAttention-2

AMD 在 ROCm 6.3 中重新设计了 FlashAttention-2,相比较 FlashAttention-1,显著改进了前向和后向传递,大幅提升了 Transformer 模型的训练和推理速度。

全新 AMD Fortran 编译器

AMD 推出了全新的 Fortran 编译器,支持直接 GPU offload,并兼容之前的版本,同时完美集成 HIP 内核和 ROCm 库,为 Fortran 开发者提供了更强大的 GPU 计算能力。

增强计算机视觉库

rocDecode、rocJPEG 和 rocAL 等计算机视觉库也得到了增强,分别支持 AV1 编解码、GPU 加速 JPEG 解码和更优的音频增强功能,为图像和视频处理应用提供了更强大的支持。

ROCm简介

本站注:ROCm 是 AMD 开发的一个开放源代码软件栈,用于在 AMD 图形处理器 (GPU) 上进行编程。

它包含驱动程序、开发工具和 API,支持从底层内核到最终用户应用程序的 GPU 编程,ROCm 针对生成式 AI 和高性能计算 (HPC) 应用进行了优化,并涵盖了通用计算 (GPGPU)、高性能计算 (HPC) 和异构计算等多个领域。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表本站立场。文章及其配图仅供学习分享之

7407
914

同类推荐更多

出差3游戏解析:为什么这款互动游戏让玩家欲罢不能?

出差3游戏解析:为什么这款互动游戏让玩家欲罢不能?

最火的手游资讯

2025-01-29

出差3作为一款具有深度剧情和极富代入感的互动体验游戏,近年来广受玩家喜爱。无论是游戏的故事情节,还是对人物情感的刻画,都展示了开发团队极高的创作水平。它不仅仅是一个简单的游戏,而是带有深刻寓意的生活体验。玩家们通过游戏中的每一个选择,不仅影响着故事的发展,也让每个角色的命运发生着微妙的变化。游戏的类型和玩法方式,使得“出差3”成为了很多人讨论的话题。 出差3:剧情和设定的独特魅力 出差3的剧情设