推荐的 Inferentia 实例

AWS Inferentia 实例旨在为深度学习模型推理工作负载提供高性能和成本效益。具体来说，Inf2 实例类型使用 AWS Inferentia 芯片和 AWS Neuron SDK，后者与 TensorFlow 和 PyTorch 等流行的机器学习框架集成。

客户使用 Inf2 实例之后，能够以最低的云端成本来运行大规模的机器学习推理应用程序，例如搜索、推荐引擎、计算机视觉、语音识别、自然语言处理、个性化和欺诈检测。

注意

应将模型大小作为选择实例的一个考虑因素。如果模型超出了实例的可用 RAM，请为应用程序选择其他具有足够内存的实例类型。

• Amazon EC2 Inf2 实例最多有 16 个 AWS Inferentia 芯片和 100 Gbps 的网络吞吐量。

有关 AWS Amazon DLAMI 入门的更多信息，请参阅 带有 DLAMI 的 AWS 推理芯片。

后续步骤

推荐的 Trainium 实例