亚马逊云科技推出新一代自研芯片

北京——2023 年12月1日 亚马逊云科技在2023 re:Invent全球大会上宣布其自研芯片家族的两个系列推出新一代，包括Amazon Graviton4和Amazon Trainium2，为机器学习（ML）训练和生成式人工智能（AI）应用等广泛的工作负载提供更高性价比和能效。Graviton4和Trainium2是亚马逊云科技自研芯片的最新创新。亚马逊云科技每一代自研芯片都持续提升性价比和能效，为客户提供了基于AMD、Intel以及英伟达等的最新芯片和实例组合之外的更多选择，从而使Amazon Elastic Compute Cloud（Amazon EC2）可以为客户虚拟运行几乎所有应用和工作负载。

• Graviton4与当前一代Graviton3处理器相比，性能提升高达30%，独立核心增加50%以上，内存带宽提升75%以上，为在Amazon EC2上运行的工作负载提供最佳性能和能效。
• Trainium2与第一代Trainium芯片相比训练速度提升多达4倍，并能在EC2 UltraClusters中部署多达100,000个芯片，可以在极短的时间训练基础模型（FMs）和大语言模型（LLMs），同时能效提升多达2倍。

Amazon Graviton4 和Amazon Trainium （原型） （Business Wire提供）

亚马逊云科技计算和网络副总裁David Brown表示：“芯片是用户所有工作负载的基础，这也是为什么亚马逊云科技一直将这一领域视为其至关重要的创新领域。通过将芯片设计聚焦于客户真正关心的实际工作负载，我们能够为客户提供最先进的云基础架构。Graviton4是我们在短短五年推出的这一系列的第四代，是我们至今功能最强大和最具能效的芯片，为客户广泛的工作负载提供支持。随着生成式 AI 引起的广泛关注，Tranium2可以帮助客户以更低成本和更佳能效，更快地训练机器学习模型。”

Graviton4为客户广泛的工作负载提供更佳性价比和更高能效

如今，亚马逊云科技在全球规模化提供的基于Graviton的Amazon EC2实例种类达150多个，已经构建的Graviton处理器数量超过200万个，并拥有超过50,000客户。这些客户涵盖了EC2最大的前100个客户，他们使用基于Graviton的实例为其应用提供最佳性价比。Datadog、DirecTV、Discovery、Formula 1 (F1)、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe以及Zendesk等客户正使用基于Graviton的实例运行广泛的工作负载，包括数据库、数据分析、网络服务器、批处理、广告服务、应用服务器以及微服务等。随着客户把更大的内存数据库和分析工作负载迁移到云上，他们对计算、内存、存储和网络的要求也随之增加。为此，他们需要更高性能和更大实例来运行这些要求严苛的工作负载，同时需要优化成本。针对这些工作负载，客户还希望能使用更加节能的计算资源，减少对环境的影响。目前，很多亚马逊云科技的托管服务都支持使用Graviton，包括Amazon Aurora、Amazon ElastiCache、Amazon Elastic MapReduce（Amazon EMR）、Amazon MemoryDB、Amazon OpenSearch、Amazon Relational Database Service（Amazon RDS）、Amazon Fargate以及Amazon Lambda等，将Graviton的性价比优势带给使用这些服务的用户。

Graviton4处理器相比Graviton3处理器性能提升30%，独立核心增加50%以上，内存带宽提升75%以上。Graviton4还进一步通过高速物理硬件接口的完全加密提升了安全性。Amazon EC2 R8g内存优化性实例将采用最新的Graviton4，提升客户运行高性能数据库、内存缓存、大数据分析等工作负载的效率。R8g实例相比当前一代R7g实例提供更大的实例大小，虚拟处理器（vCPU）以及内存均提升了3倍。这让用户可以处理更大量的数据、更大规模的工作负载、更快地获得运行结果，并降低总拥有成本。基于Graviton4的R8g实例现已提供预览版，并将在未来几个月推出正式可用版。

Trainium2的EC2 UltraClusters致力于为客户提供云中最高性能、最具能效的AI模型训练基础架构

如今日益增加的生成式 AI 应用背后的基础模型和大语言模型需要使用海量数据集进行训练。这些模型通过创造文字、音频、图片、视频、甚至软件代码等大量新的内容，帮助客户重构用户体验。当今最先进的基础模型和大语言模型通常包含数千亿甚至数万亿个参数或变量，需要能够支持上万机器学习芯片进行扩展的可靠高性能计算能力。亚马逊云科技现已提供广泛而深入的由机器学习芯片支持的Amazon EC2实例选项，包括最新的英伟达 GPU、Trainium以及Inferentia2。Databricks、Helixon、Money Forward以及Amazon Search团队等众多客户都在使用Trainium训练大规模深度学习模型，从而受益于Trainium的高性能、可扩展、可靠以及低成本等诸多优势。但即便已经在使用当今最快的加速实例，客户仍然希望获得更强的性能和规模来训练这些日益复杂的模型，从而提高训练速度、降低成本，同时降低能源消耗。

Trainium2芯片专为以高性能训练具有数万亿个参数或变量的基础模型和大语言模型而构建。Trainium2与第一代Trainium芯片相比，性能提升多达4倍，内存提升3倍，能源效率（每瓦性能）提升多达2倍。Amazon EC2 Trn2实例采用最新的Trainium2，一个单独实例包含16个Trainium加速芯片。Trainium2实例致力于为客户在新一代EC2 UltraClusters中扩展多达100,000个Trainium2加速芯片，并与Amazon Elastic Fabric Adapter（EFA）PB级网络互联，提供的算力高达65 exaflops，客户可按需获得超级计算级别的性能。有了这个级别的规模，客户可在数周而非数月就能训练完成一个具有3千亿参数的大语言模型。通过以显著降低的成本提供最高横向扩展的模型训练，Trainum2实例可以帮助客户解锁并加速生成式AI的新一轮创新。

Anthropic是一家人工智能安全和研究公司，是负责任地部署生成式人工智能的主要倡导者，致力于创建可靠、可解释和可控的人工智能系统。Anthropic自2021年开始使用亚马逊云科技。近期，Anthropic推出了Claude——一款专注于提供帮助、无害且诚实的人工智能助手。Anthropic联合创始人Tom Brown表示：“自支持Amazon Bedrock以来，Claude已获得亚马逊云科技客户的广泛采用。Trainium2将帮助我们大规模构建和训练模型，对于一些工作负载，Trainium2相比第一代Trainium芯片速度至少提升了4倍。我们与亚马逊云科技的合作，将帮助各种规模的组织有机会同时受益于Anthropic的安全并先进的人工智能系统以及亚马逊云科技可靠的云技术，从而释放新的可能性。”

Databricks帮助全球超过10,000家组织机构，包括Comcast、Condé Nast及50%以上的财富500强企业，统一其数据、分析和AI。Databricks生成式AI副总裁Naveen Rao表示：“数千家客户在亚马逊云科技上运行Databricks，使用MosaicML对各种用例的基础模型进行预训练、微调及其他操作。Amazon Trainium为我们提供了训练Mosaic MPT模型所需要的规模、高性能以及低成本。Trainium2使更快的构建下一代Mosaic MPT模型成为可能，让我们有机会为客户提供前所未有的规模和性能，助力他们比以往更快地推出自己的生成式AI应用。”