亚马逊云科技宣布Amazon EC2 P5e 实例正式可用

亚马逊云科技宣布由英伟达H200 GPU提供支持的 Amazon Elastic Compute Cloud P5e(Amazon EC2 P5e)实例现已正式可用。亚马逊云科技是首个将英伟达H200 GPU用于生产环境的领先云提供商。与基于英伟达H100 GPU的Amazon EC2 P5实例相比,Amazon EC2 P5e实例GPU内存容量提升1.7倍,GPU内存宽带提升1.5倍。Amazon EC2 P5e非常适用于复杂的大型语言模型(LLM)和多模态基础模型(FM)的训练、微调和推理,用于支持最苛刻和计算密集型的生成式AI应用,如问答、代码生成、视频和图像生成、语音识别等。

Amazon EC2 P5e实例提供8个英伟达H200 GPU,具有1128GB高带宽GPU内存,同时提供第三代AMD EPYC处理器,2TB系统内存和30TB本地NVMe存储。Amazon EC2 P5e实例还提供 3,200 Gbps的聚合网络带宽并支持GPUDirect RDMA,从而能够绕过CPU进行节点间通信,实现更低的延迟和高效的横向扩展性能。Amazon EC2 P5e实例具有的更高的内存带宽、更大的GPU内存容量和对更大的batch sizes的支持,从而显著提升客户工作负载的性能、降低成本并简化运营。

Amazon EC2 P5e实例现已可通过Amazon EC2 Capacity Block for ML工具访问并在美国东部(俄亥俄州)区域正式可用。

此外,亚马逊云科技还宣布将推出Amazon EC2 P5en实例,通过将英伟达H200 GPU与定制的第四代英特尔Xeon可扩展处理器相结合支持PCle Gen5,将提供高达四倍的CPU和GPU之间的带宽,降低网络延迟,进一步提高工作负载性能。

 

感谢支持199IT
我们致力为中国互联网研究和咨询及IT行业数据专业人员和决策者提供一个数据共享平台。

要继续访问我们的网站,只需关闭您的广告拦截器并刷新页面。
滚动到顶部
跳至工具栏 登出