☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

12月14日消息，amd于本月初推出了其最强的ai芯片instinct mi300x，其8-gpu服务器的ai性能比英伟达h100 8-gpu高出了60%。对此，英伟达于近日发布了一组最新的h100与mi300x的性能对比数据，展示了h100如何使用正确的软件提供比mi300x更快的ai性能。

根据AMD此前公布的数据显示，MI300X的FP8/FP16性能都达到了英伟达（NVIDIA）H100的1.3倍，运行Llama 2 70B和FlashAttention 2 模型的速度比H100均快了20%。在8v8 服务器中，运行Llama 2 70B模型，MI300X比H100快了40%；运行Bloom 176B模型，MI300X比H100快了60%。

但是，需要指出的是，AMD在将MI300X 与 英伟达H100 进行比较时，AMD使用了最新的 ROCm 6.0 套件中的优化库（可支持最新的计算格式，例如 FP16、Bf16 和 FP8，包括 Sparsity等），才得到了这些数字。相比之下，对于英伟达H100则并未没有使用英伟达的 TensorRT-LLM 等优化软件加持情况下进行测试。

AMD对英伟达H100测试的隐含声明显示，使用vLLM v.02.2.2推理软件和英伟达DGX H100系统，Llama 2 70B查询的输入序列长度为2048，输出序列长度为128

英伟达最新发布的对于DGX H100（带有8个NVIDIA H100 Tensor Core GPU，带有80 GB HBM3）的测试结果显示，使用了公开的NVIDIA TensorRT LLM软件，其中v0.5.0用于Batch-1测试，v0.6.1用于延迟阈值测量。测试的工作量详细信息与之前进行的AMD测试相同

根据结果显示，英伟达DGX H100服务器在使用优化的软件后，其性能提高了超过2倍，比AMD展示的MI300X 8-GPU服务器快了47%

DGX H100 在1.7秒内可以处理单个推理任务。为了优化响应时间和数据中心的吞吐量，云服务为特定的服务设置了固定的响应时间。这样他们可以将多个推理请求组合成更大的“Batch”，从而增加服务器每秒的总体推理次数。MLPerf 等行业标准基准测试也使用这个固定的响应时间指标来衡量性能

响应时间的微小权衡可能会导致服务器可以实时处理的推理请求数量产生不确定因素。使用固定的 2.5 秒响应时间预算，英伟达DGX H100 服务器每秒可以处理超过 5 个 Llama 2 70B 推理，而Batch-1每秒处理不到一个。

VALL-E

VALL-E是一种用于文本到语音生成 (TTS) 的语言建模方法

134 查看详情

显然，英伟达使用这些新的基准测试是相对公平的，毕竟AMD也使用其优化的软件来评估其GPU的性能，所以为什么不在测试英伟达H100时也这样做呢？

要知道英伟达的软件堆栈围绕CUDA生态系统，经过多年的努力和开发，在人工智能市场拥有非常强大的地位，而AMD的ROCm 6.0是新的，尚未在现实场景中进行测试。

根据AMD之前透露的信息显示，其已经与微软、Meta等大公司达成了很大一部分交易，这些公司将其MI300X GPU视为英伟达H100解决方案的替代品。

AMD最新的Instinct MI300X预计将在2025年上半年大量出货，但是，届时英伟达更强的H200 GPU也将出货，2025下半年英伟达还将推出新一代的Blackwell B100。另外，英特尔也将会推出其新一代的AI芯片Gaudi 3。接下来，人工智能领域的竞争似乎会变得更加激烈。

编辑：芯智讯-浪客剑

以上就是英伟达打脸AMD：H100在软件加持下，AI性能比MI300X快47%！的详细内容，更多请关注其它相关文章！

# 英伟达 (nvidia)  # ai性能 (ai performance)  # llama  # amd  # 长度为  # 丹江口全网整合营销推广  # 自建网站和推广  # 外贸建设网站app设计  # 台州SEO优化案例  # 学校网站站外优化  # 福田在线网站推广的公司  # 美股  # 申请专利  # 的是  # 进行测试  # 基础设施  # 大涨  # 快了  # 加持  # 响应时间  # 南昌农产品网站建设公司  # 无为网站排名优化公司  # 新乡网站建设路隧道  # 湘潭市场营销推广公司 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： unix时间戳转换公式  免费恢复删除的微信聊天记录软件有哪些  固态硬盘电脑如何设置  j*a数组怎么放字符  type-c输入接口是什么  如何设置从固态硬盘启动  笔记本电脑多少钱  市盈率中的19a是什么意思  皓影混动仪表盘上power是什么意思  单片机的速度怎么求  考勤机power红灯是什么意思  5g手机4g卡怎么没有网络  如何用命令打开光驱  得物怎样不扣手续费 如何通过得物不支付手续费  如何打开命令提示符  dos命令如何复制目录结构  选哪个折叠屏手机好用  ensp命令如何提示  夸克链信有什么用  如何进入 dos 命令行  汽车上power是什么意思  光刻机的作用及工作原理  typescript和node学哪个  夸克投屏为什么那么卡  固态硬盘颗粒如何修理  春运车票啥时候可以抢票  360n5锁屏壁纸怎么设置  导航power在汽车上是什么意思  哪些编程软件需要typescript  交管12123协议头不完整怎么解决  内在市盈率是什么意思  阿里云盘修复工具怎么用  faq是什么意思  如何打开win10命令  如何更新苹果ios16  苹果16最近玩法有哪些  单片机加热片怎么制作  如何修改cad命令  折叠屏手机共有哪些  汽车排量是什么意思  如何辨别固态硬盘坏块  春运抢票何时开始抢票的  比亚迪秦nfc功能是什么意思  如何用好typescript  华为交换机如何复制命令行  j*a中如何创建列表数组  单片机蓝牙怎么开启设备  如何设置sql命令  哪个品牌有折叠屏手机卖  固态硬盘质量如何