AWS re:Invent 的创新技术

本月早些时候，Amazon 于 12 月 1 日至 5 日在内华达州拉斯维加斯举行了为期 5 天的 re：Invent 大会。如果您从未参加过 re：Invent 会议，那么最能描述它的词是“巨大”——不仅从与会者人数（60,000 人）来看，还从涵盖的主题的广度来看。MinIO 展位有 60,000 名与会者，整整 5 天都非常繁忙。因此，即使我亲自到场，我也没有机会沉浸在来自 Amazon 的有关他们来年云计算计划的所有数据中。所以，我不得不等到假期才去做大多数人认为相当书的事情。我每天观看主题演讲，仔细记录所讨论的所有内容。完成后，我已经查看了超过 10 小时的视频和超过 15 页的笔记。这项工作的目的不是为了与我内心的书取得联系，但我真的很想掌握 AI 的脉搏。以下是我所看到的事实。首先，亚马逊拥有世界上最大的云平台。其次，他们有很多客户将他们的云平台用于各种形式的 AI。他们有足够的预算来做任何他们想做的事情来帮助这些客户并保持竞争力。最后，人们普遍认为，近年来，亚马逊在人工智能方面落后于 Microsoft、谷歌和 Meta 等公司。综上所述（我的目标很简单），使用 re：Invent 主题演讲来了解 AI 在 2025 年的发展方向，以及他们实际上无限的工程资源、庞大的客户群和庞大的合作伙伴网络是否能够缩小人们认为存在的 AI 差距。以下是会议每天的主题演讲列表：

• 第 #1 天 – 周一夜现场，Peter DeSantis AWS 效用计算高级副总裁

• 第 #2 天 – AWS 首席执行官 Matt Garman 的 CEO 主题演讲

• 第 #3 天 – Swami Sivasubramanian 博士，主题演讲，AWS AI 和数据副总裁

• 第 #4 天 – AWS 全球专家和合作伙伴副总裁 Ruba Borno 博士的 AWS 合作伙伴主题演讲

• 第 #5 天 - Werner Vogels 博士，Amazon.com 副总裁兼首席技术官

回到我的 15 页笔记。我有点惊讶地发现，每个重要主题和每个宣布的新功能都很容易归入以下三个类别之一：存储、计算和 AI。这就是我将如何组织这篇文章。对于每个类别，我将给出我的总体意见，然后列出关键技术和新公告。

计算

我在 re：Invent 2024 上最大的惊喜与 Amazon 的计算目标有关。我花了一点时间才弄清楚，但很明显，他们无意成为其他供应商的芯片和服务器的供应商。相反，他们希望拥有自己设计的硬件产品。他们已经这样做了一段时间，但老实说，我不明白他们努力的规模。他们开发了自己的 CPU （Graviton2）、GPU （Trainium2）、互连 （NeuronLink） 和自定义网络协议 （SIDR）。他们的新 Trainium2 UltraServer 使用 NeuronLink 将四个 Trainium2 服务器连接在一起，形成一个用于训练和推理的巨型服务器。许多 AWS 服务使用自己的硬件，并且它们也可用作 EC2 实例类型。AWS 仍然与 Nvidia 保持合作关系，并将继续提供 Nvidia 的 GPU 作为实例类型。Trainium2 和 Graviton2 的承诺是，它们将提供优于其他芯片的成本优势。

公告

1 . 支持 Nvidia Blackwell 芯片的 P6 系列实例。

2 . 支持 Trainium2 芯片的 TRN2 系列实例。一个实例是具有 16 个 Trainium2 芯片的服务器，可提供高达 20.8 FP8 petaFLOPS 的吞吐量。

3 . TRN2 超级服务器 - 使用 neuronlink 连接 4 个 TRN2 实例 - 因此有 64 个 Trainium2 芯片。适用于无法安装在一台服务器上的模型。高达 83.2 FP8 petaFLOPS

4 . Trainium3 将于 2025 年推出 - 这将是 AWS 在 3 纳米工艺上制造的第一个芯片。它将是 Trainium2 的两倍。

存储

大多数存储公告都发生在第二天与 Matt Garman 的主题演讲中。但是，在第一天的主题演讲中，有一个非常有趣的故事，关于 Barge 项目，该项目努力构建一个巨大的存储服务器，以提高存储密度（并降低成本）。它在单个主机中有 288 个 20TB 硬盘驱动器。每个驳船机架重 4,500 磅，这意味着需要加固数据中心地板，并且需要专门的设备来移动它们。事实证明，以 7200 rpm 的速度旋转的 288 个驱动器会引起振动，从而增加故障率。一次故障的爆炸半径为 6 PB 的数据，必须花费大量资金进行恢复。最后，他们沉没了 Barge，并开始考虑如何从计算中解耦存储。一些存储公告让我印象深刻的是，对非结构化存储的需求正在增长。这在 S3 受到的关注中显而易见（请参阅下面的公告）。从 Matt 的主题演讲中宣布的一些统计数据中也可以明显看出：S3 现在存储了超过 400 万亿个对象。十年前，只有不到 100 个客户使用 S3 在 AWS 上存储了 1PB 级数据。如今，数千台存储了 1 PB，还有几家存储了超过 EB 级（这与我们的经验非常吻合）。关于非结构化存储，我的另一个想法是，Amazon 添加到其云中的许多新基础模型（将在下一节中介绍）会生成图像和视频。这些图像和视频需要存储在某个地方。如果这种风格或生成式 AI 起飞，那么对结构化数据的需求将进一步增加。在 MinIO，我们相信客户会希望为这些数据提供本地选项。Amazon 也非常重视他们的结构化数据存储解决方案。他们投入了大量精力来提高在不同区域中运行的主动-主动数据库实例之间的一致性。为此，他们重新设计了 SQL 和 noSQL 数据库中使用的事务引擎。在主题演讲的这一部分，有一个有趣的故事，关于他们如何必须将 EC2 实例与卫星同步，以更精确地保持时间同步。结果是，Aurora 和 DynamoDB 都可以使用其重新设计的事务引擎以多区域强一致性运行主动-主动。

公告

1 . S3 Table Buckets （S3 表存储桶） – 这是 Iceberg 表的一种新存储桶类型。承诺是 AWS 将负责维护 Iceberg 表所需的所有维护，例如压缩、快照管理等。初步测试表明，与暴力破解 S3“查询”相比，使用 SQL 的表存储桶的查询性能提高了 3 倍。

2 . S3 元数据 – 此功能允许您获取与对象关联的元数据并将其存储在表存储桶中。然后，您可以使用自己喜欢的分析工具来交互和查询元数据并获取关联的对象。

3 . Amazon Aurora DSQL（分布式 SQL 数据库）使用新事务引擎的区域之间具有很强的一致性。

4 . Amazon DynamoDB 全局表现在支持多区域强一致性。这是重新设计的事务引擎的应用程序，该引擎已应用于 DynamoDB，这是 Amazon 的 NoSQL 数据库。

人工智能

到目前为止，今年 re：Invent 大会上的大多数公告都是关于 AI 的。其中一些公告是在 Matt Garman 的第二次主题演讲中发布的，也是在第三天的 Swami Sivasubramanian 主题演讲中发布的。Swami 的主题演讲中充满了公告，几乎完全集中在 AI 上。有些是微不足道的，如果 Amazon 将它们分块，所有的公告都会更容易消化。我在下面描述了它们，但我应用了以下分类，这是我自己做的。

• 护栏 - 用于双重检查模型

• 与 Meta、Google 和 Microsoft 竞争的基础模型;

• 开发人员工具 - 用于代码生成和自动化软件开发生命周期的各个部分。

• Agentic AI 可帮助客户自动化 AWS 的其他部分。

• 杂项 - 一些不适合我上面的类别。

护栏公告

1 . Amazon Bedrock 自动推理检查 – 这是一个护栏，旨在防止由于模型幻觉而导致的事实错误。

2 . Amazon SageMaker HyperPod 任务治理。最大限度地提高加速器利用率并降低模型训练、微调和推理的成本。

3 . Amazon Bedrock Guardrails 多模式毒性检测。图像内容的可配置保护措施。适用于具有映像支持的 Amazon Bedrock 中的所有基础模型。过滤掉图像中的暴力、仇恨和不当行为。

基础模型公告

1 . Amazon Nova – Foundation 模型有四种风格：Micro、Lite、Pro 和 Premier。

2 . Amazon Nova Canvas - 图像生成模型

3 . Amazon Nova Reel – 视频生成模型 – 今天的 6 秒视频。2 分钟的视频即将推出。

4 . poolside 即将来到 Bedrock - poolside assistant （Malibu 和 Point）。

5 . stability.aiStable Diffusion 3.5 即将登陆 Bedrock。

6 . Luma AI 即将登陆 Bedrock。Luma Ray2 视频生成模型。所有 Luma 模型都将登陆 Bedrock。

7 . Amazon Bedrock Marketplace – 提供对数百种新兴和专业模型的访问

开发人员工具公告

1 . Amazon Bedrock Model Distillation – 这允许您使用具有已知答案的提示将知识从大型复杂模型转移到较小的模型。它与微调类似，但略有不同。

2 . 适用于 .NET 的 Amazon Q 转换 – 在很短的时间内将 .NET 应用程序从 Windows 转换为 Linux。使用代理。介绍此功能时表示，客户希望使用一个简单的按钮来离开 Windows。

3 . 适用于 VMWare 工作负载的 Amazon Q 开发人员转换 – 将 VMWare 工作负载转换为云原生架构。根据依赖关系生成迁移计划。启动可将 VMWare 网络配置转换为 AWS 等效配置的代理。

4 . 适用于大型机的 Amazon Q 开发人员转换。使用代理自动发现、规划、重构和分析大型机代码 （Cobol）。

5 . Amazon Q Developer 在很短的时间内调查 AWS 环境中的问题。使用 CloudWatch 数据和 CloudTrail 日志。获取有关 AWS 运行手册和精选文档的建议，以快速解决问题。

6 . ISV 通过新的 API 与 Amazon Q 索引集成。

7 . Amazon Bedrock 提示缓存 – 跨多个 API 调用在提示中缓存重复的上下文。

8 . Amazon Bedrock Intelligent Prompt Routing – 自动将提示路由到不同的基础模型，以优化响应质量并降低成本。

9 . Amazon Kendra 生成式 AI 索引 – 连接到 SharePoint、OneDrive 和 Salesforce 等企业来源。RAG 使用支持 40 多个企业数据源。

10 . Amazon Bedrock 知识库支持结构化数据检索。将存储在 Amazon SageMaker、Lakehouse、Redshift 和 S3 表中的数据用于 RAG。

11 . Amazon Bedrock 知识库现在支持 GraphRAG – 使用知识图谱为生成式 AI 应用程序生成更相关的响应。知识图谱链接了数据源之间的关系。

12 . 下一代 Amazon SageMaker – 满足您所有数据、分析和 AI 需求的中心。通过集成数据、分析和 AI 工具来扩展 SageMaker。

13 . Amazon SageMaker Lakehouse – 通过开放、统一且安全的数据湖仓一体简化分析和 AI。跨 S3、Redshift、SaaS 和联合数据源统一访问数据。

14 . Amazon SageMaker HyperPod 灵活的训练计划

15 . Amazon Bedrock Data Automation – 转换非结构化多模态数据，用于生成式 AI 应用程序和分析。

16 . Amazon Q Developer 现已在 SageMaker Canvas 中推出 - 使用自然语言快速构建机器学习模式。用于构建模型的低代码产品。

Agentic AI 公告

1 . Amazon Bedrock 多代理协作

2 . 作为 Q Developer 的一部分，三个新的自主代理，用于生成单元测试、代码文档和代码审查。他们还将 Amazon Q 与 GitLab 的 Duo 助手集成。

3 . 适用于复杂工作流程的 Amazon Q 业务自动化。根据文档或录音自动构建工作流程。实时导航工作流程的更改，减少破损。

其他公告

1 . 合并 QuickSight 和 Amazon Q Business Data（反之亦然）。

2 . 来自 AWS 合作伙伴的 AI 应用程序现已在 Amazon SageMaker 中推出

3 . Amazon Q 中的 QuickSight 场景

4 . AWS 教育公平计划 – 为社区的教育服务提供 AWS 服务抵扣金。

结论

亚马逊在 2024 年度过了忙碌的一年，开发了我上面描述的所有功能。如果您对新公告进行简单计数，则计数将严重偏向 AI，但并非所有功能的工作量都相同。在我看来，在计算和存储方面所做的工作同样重要。设计 CPU、GPU 和新的服务器实例很困难，而且对存储进行的工程设计也很重要，因为它突破了结构化和非结构化存储解决方案的界限。关于 AI，我真的很喜欢 Guardrail 功能的思考。如果 2025 年是代理 AI 之年，那么适当的护栏将是确保正确完成代理 AI 的关键。2025 年将是有趣的一年，因为这些功能将被采用并进一步修改。