蜘蛛资讯网

您当前的位置:主页 > 蜘蛛资讯网国内 >

作者:石宗 来源:原创 发布日期:05-19

迪丽热巴直播生图

AMD 推出 vLLM-ATOM 插件,加速 DeepSeek、Kimi 等 AI 推理性能_蜘蛛资讯网

总书记寄语劳动者

用方式,让用户继续使用原有 vLLM 命令、API 和端到端工作流,而插件会在后台接管优化。vLLM-ATOM 架构与 MI300X、MI355X 示意vLLM-ATOM 插件重点面向 Instinct MI350、MI400,以及 MI355X 等 GPU。从架构上看,vLLM-ATOM 分成 3 层:最上层的 vLLM 负责请求调度、KV 缓存管理、连续批处理,以及兼容 OpenAI 的 AP

包括 Qwen3-235B-A22B-Instruct-2507-FP8、DeepSeek-R1-0528、openai / gpt-oss-120b 和 amd / Kimi-K2.5-MXFP4。AMD vLLM-ATOM 与 Instinct GPU 配图广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,所有文章均包含本声

当前文章:http://0fb.ruoqiaobo.cn/xml4/cwj65.html

发布时间:00:00:00


Copyright @ 2016-2018 蜘蛛资讯网 版权所有