新闻风向标用于AI 工作负载的 NDIA GPU 的 比较：T4 与 A10

msmkmm2012

选择合适的GPU来部署和提供ML模型至关重要。您需要选择一款功能足够强大的GPU，以便稳定运行您的模型，而需为不必要的空间支付过多费用。通过本文，您将能够在NDIA的T4和A10GPU之间进行选择，以确定比较适合您的需求和预算的GPU。对于眼前的压力，gpu算力出租有着自己的应对方式，能够通过产品自身的品质打破困境，迎来新生。深圳市捷智算科技有限公司一家AI算力租赁平台，提供多样化的GPU服务器出租服务，包括NVIDIA A100、A800、H100和H800全系列高性能显卡。适合AI大模型训练GPU集群和大模型训练算力租赁，我们的解决方案支持企业快速扩展数据处理能力，优化成本效益。https://www.gogpu.cn/news/detail/227.html

生成式AI工作负载（例如微调基础模型、部署大型开源模型和提供LLM）需要强大的GPU。但由于可用的选项众多，选择适合您工作负载的GPU非常困难。很难对具有不同架构、核心类型和内存容量的显卡进行同类比较。
这篇文章概述了比较GPU时需要了解的关键规格以及需要考虑的因素，例如价格、可用性和水平扩展机会。然后，我们应用这些想法在两种流行的GPU（NDIAT4和A10）之间进行选择，以应对现的生成式AI工作负载。
抽象地比较GPU是困难的，尤其是跨代比较。T4价格较低，因此如果您的工作负载在T4上可靠且高效地运行，则应使用T4例。如果不是，请升级到A10例以获得更的调用速度和更大的模型。
让我们通过每张卡的一个示例用例来仔细看看这两款GPU。
一、NDIAT4概述

NDIATeslaT4是一款中端数据中心GPU。它于2022年发布，采用NDIA的Turing架构。它非常适合一系列生成式AI任务。

1、NDIAT4规格

CUDA核心：2560张量核心：320显存：16GiB
T4规格页面提供了更多规格。对于我们的目的而言，重要的是要了解T4具有16GiB的VRAM和相对于CUDA核心而言大量的张量核心。
2、NDIAT4价格
数据中心GPU的目的并不是供消费者购买。我们大多数人不会自己连接服务器机架来部署模型，因此托管道解决方案更有意义。在捷智算上，T4例的起价为每分钟1753美分。它是捷智算上比较便宜的显卡选项。
3、示例用例：Whisper
让我们通过T4的示例用例来将这些原始数字具体化。
NDIAT4是一款出色的GPU，非常适合运行OpenAI的开源音频转录模型Whisper。该模型的比较大版本可以轻松适应16GiB的VRAM，并且该卡现了可观的性能，在测试期间，在不到4分钟的时间内转录了30分钟的音频片段。捷智算默认使用T4来为Whisper提供服务。
如果您正在运行中型模型，并且模型权重文件足够小，可以放入16GiB的VRAM中，那么T4就是适合您工作流程的功能强大且价格惠的GPU。
二、NDIAA10概述

A10是一款比T4更大、更强大的GPU。它拥有更多CUDA核心、更多张量核心和更多VRAM。它于2022年发布，采用NDIA的Ampere架构。


您可以在A10上运行几乎任何可以在T4上运行的东西，而且速度可能会更。以下是T4与A10上的Whisper调用的基准测试：


每次调用都在热GPU上运行。显示的值是五次运行的平均值。
但在本例中，使用A10的成本约为T4的19倍，而加速速度却提高了12至14倍。除非调用时间对于您的用例至关重要，否则A10的作用不仅仅是成为更的T4。它的作用是运行T4根本法处理的工作负载。
关于A10的简要说明：有时您会看到A10G。A10和A10G是类似的卡，其中A10G是AWS针对其G5例类型的特定变体。
1、NDIAA10规格

CUDA核心：9216张量核心：288显存：24GiB
A10的规格页面包含其余详细信息。除了额外的CUDA核心和VRAM外，A10还增加了72个光线追踪核心，并将T4的内存带宽几乎翻了一番。不过，对于服务模型来说，比较重要的是核心数量和VRAM的增加。
2、NDIAA10价格
再次强调，预先购买数据中心GPU并不常见。但如果您感兴趣的话，上该卡的售价定为5,700美元。对于托管道解决方案，捷智算上配备A10GPU的例起价为每分钟3353美分。
3、用例示例：StableDiffusionXL

那么如果我们不只是使用A10来超越T4，我们还要用它做什么呢
在StableDiffusionXL上运行推理需要额外的处理能力和A10提供的24GiB内存。?
A10还可用于运行LLM。流行的70亿参数模型（如Mistral7B和Llama27B）在A10上运行，并且您可以启动一个包含多个A10的例，以适应更大的模型（如Llama270B）。
、哪种GPU适合您

以下是T4和A10规格和价格的并排比较。


如果您的模型适合T4，并且您对性能感到满意，那么您绝对应该使用T4来经济高效地运行您的工作负载。对于计算或内存要求较高的作业，可以使用A10。
使用捷智算的定价计算器来预测提供模型的成本，并请联系我们了解批量折扣或讨论微调、部署和提供ML模型的专用硬件需求。?