亚马逊云科技七项生成式AI新产品生成式AI,为用户解决数据滞后等难题
7月27日,亚马逊云科技在纽约峰会上一连发布了七项生成式AI创新,涵盖了从底层硬件到工具、软件、再到生态的全方位更新,成为它在该领域迄今最全面的一次升级展示,同时也进一步降低了生成式AI的使用门槛。
亚马逊云科技凭借自身端到端的实力向业界给出了一个独特的视角——源于亚马逊云科技丰富的终端业务场景(如电商零售、影音娱乐、云计算)、以用户为出发点考虑问题,这些生成式AI更新都是紧贴行业、为解决实际应用中的难题,并经过用户实际测试可行性后才推广的。
那么,生成式AI在实际应用层面存在哪些痛点呢?
数据的滞后性问题
在这次纽约峰会上,亚马逊云科技在AI平台上一项令人瞩目的更新Amazon Bedrock Agents可以解决开发中的复杂度难题。作为一项全托管的功能,这个代理可以自动分解任务并创建编排计划,无需手动编码。
它通过简单的API接口安全地连接企业内部数据,自动将最新数据转换为机器可读的格式,以生成最准确的回答,同时云服务的特性也让用户省去了开发者的系统集成管理和基础设施配置工作,整个过程中私有数据不会暴露给对外大模型。
这个设计理念和OpenAI发布的插件Plugin类似,可以让ChatGPT访问最新信息或者接入第三方服务来运行计算,比如赛事比分、股票实时交易价格、航班价格信息等。这也相当于给一部iPhone开发了App Store商店社区,极大丰富了它深入互联网的“触手”,以收集终端用户的反馈,再反哺给模型。
该选择哪个模型?
现在大模型发展如雨后春笋,企业开发者在面临选择时要考虑的因素越来越多,比如模型本身的算力、通用性、稳定性、模型的企业服务能力、全栈技术布局程度、与企业自身业务的匹配度等,最直接的是如何低成本、高效率地使用大模型。
不是一个模型就能完成所有的业务,但客户也没有必要了解所有模型后再选择合适自己的。亚马逊云科技就承担了精选模型这一环节。
今年4月份上线的全托管基础模型服务Amazon Bedrock反响良好,本次纽约峰会上这一服务也进行了重量级的扩展和更新,包括新增Cohere(英伟达领投的AI公司)作为基础模型供应商,并引入Anthropic(从OpenAI拆分出去的AI初创公司)和Stability AI(目前“文生图”领域一哥)的最新基础模型。
具体包括Cohere公司的旗舰级文本生成模型Command,可以更直观地生成、检索和汇总信息;Anthropic公司把最新的语言模型Claude 2接入到Amazon Bedrock,Claude 2可以在每个对话任务提示中最多标记10万个tokens,意味着它能处理数百页的文本;Stability AI公司在Amazon Bedrock上发布了最新版的文生图模型套件Stable Diffusion XL 1.0,比前一代具备更精细化的图像和构图细节。
这样,Amazon Bedrock这个开发平台上既提供了亚马逊云科技自研的模型Amazon Titan(包括Titan Text和Titan Embeddings),也汇集了越来越多的第三方模型,这个逐渐搭建起来的生态结合亚马逊云科技的底层稳定性,增强了开发者的使用黏性。
与此同时,开发者无需分心基础设施层面的事,通过API接口就可以访问这些行业领先的基础模型,以构建和扩展自己的AI应用程序,增加了客户选择模型的灵活度。
英伟达依赖?
这可以归结为一个成本考量问题。OpenAI目前最重要的一项任务是降低大模型训练成本,可见大模型是一个成本持续消耗的昂贵的生意,这传导给下游的模型调用者和应用企业,也会面临成本压力。
这在一定程度上受限于“英伟达依赖”。英伟达的GPU明星产品是全球公认的性能强大,但也是公认的贵,最近在eBay上最新H100芯片单价已经被炒到4万美元。据业内观察,英伟达A100、H100芯片供不应求,大多数被全球云计算大厂、有实力金主支持的AI创业公司(比如马斯克成立的AI公司)以及技术模型公司等买走了。
亚马逊云科技在本次纽约峰会上宣布Amazon EC2 P5实例正式可用,背后就是使用的英伟达最新H100 Tensor Core GPU芯片。与上一代基于GPU的实例相比,其训练时间最多可缩短6倍,直观印象是训练时间从几天缩短至几小时。这一性能提升可以帮助客户降低40%左右的训练成本。
在“一卡难求”的竞争局面下,亚马逊云科技与英伟达之间的战略合作关系可以保证后者芯片供应的稳定性和迭代及时性。对于那些性能和稳定性较敏感的客户,增加了一个选择亚马逊云科技的筹码。
而更具有未来战略意义的是自研芯片。由于英伟达GPU是通用型结构,在处理一些任务时并没做针对性的优化,亚马逊云科技坚持了自研芯片的道路,这是在云计算时代就已选择的策略,最早可追溯到2013年,比如它的Nitro芯片和通用处理器芯片Graviton。其他如谷歌、百度、阿里巴巴等云厂商也在走这条路,深入到底层去做定制化研发。
目前,亚马逊云科技可以用来跑大模型任务的两款自研芯片分别是训练芯片Trainium和新一代推理芯片Inferentia 2。前者与通用型GPU实例相比,可以为客户实现最高50%的训练成本节省;后者可以实现最高40%的性价比提升。亚马逊云科技一直以来是云服务降价的推动者,自提供云服务以来,它已经实现了129次降价。如今,在生成式AI时代,亚马逊云科技似乎也想延续这一策略,以价格传导机制给下游客户带来更多实惠。
通过最新发布可以看到,亚马逊云科技并未一味追求模型的大而全,而是从客户实际需求出发,持续降低客户使用大模型的门槛和成本。一方面,源于亚马逊云科技常年来在电商、云计算等多元场景中深入理解了C端和B端用户,以及各行业的规律,才有了这种实用性的客户视角;另一方面,这一目标的实现十分考验背后积累的端到端全栈技术能力,从底层芯片、框架、到工具软件、应用生态,亚马逊云科技在云时代端到端的积累正让它继续受益,成为这一轮生成式AI竞赛中的领导者。
相关文章:

亚马逊云科技七项生成式AI新产品生成式AI,为用户解决数据滞后等难题
7月27日,亚马逊云科技在纽约峰会上一连发布了七项生成式AI创新,涵盖了从底层硬件到工具、软件、再到生态的全方位更新,成为它在该领域迄今最全面的一次升级展示,同时也进一步降低了生成式AI的使用门槛。 亚马逊云科技凭借自身端到…...

图片等比例显示全部,兼容不同宽高比例图片
功能描述:预览瀑布流图片 点击预览不同的尺寸图片 <!-- 预览页面 --><div class"sea"><img :src"seaobj.url" alt""></div> .sea {z-index: 100;position: fixed;top: 0;text-align: center;background-colo…...

·[K8S:使用calico网络插件]:解决集群节点NotReady问题
文章目录 一:安装calico:1.1:weget安装Colico网络通信插件:1.2:修改calico.yaml网卡相关配置:1.2.1:查看本机ip 网卡相关信息:1.2.2:修改calico.yaml网卡interface相关信…...

泊松损坏图像的快速尺度间小波去噪研究(Matlab代码实现)
💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…...
服务器端开发-golang dlv 远程调试
1。需要root权限的服务器代码调试 sudo ./appps to get piddlv attach pid --headless --listen:40000 --api-version2 --accept-multiclientattach the golang IDE or other IDE 2。不需要root权限的服务器代码调试,另一种选择 dlv --listen:40000 --headlesstr…...

STM32F103——时钟配置
目录 1、认识时钟树 1.1 什么是时钟树 1.2 时钟系统解析 1.2.1 时钟源 1.2.2 锁相环PLL 1.2.3 系统时钟SYSCLK 1.2.4 时钟信号输出MCO 2、如何修改主频 2.1 STM32F1时钟系统配置 2.2 STM32F1 时钟使能和配置 下列进行举例的开发板是原子哥的战舰开发板STM32F103ZET…...
【Linux】信号捕捉
目录 信号捕捉1.用户态与内核态1.1关于内核空间与内核态:1.2关于用户态与内核态的表征: 2.信号捕捉过程 信号捕捉 1.用户态与内核态 用户态:执行用户代码时,进程的状态 内核态:执行OS代码时,进程的状态 …...

超详情的开源知识库管理系统- mm-wiki的安装和使用
背景:最近公司需要一款可以记录公司内部文档信息,一些只是累计等,通过之前的经验积累,立马想到了 mm-wiki,然后就给公司搭建了一套,分享一下安装和使用说明: 当前市场上众多的优秀的文档系统百…...

安卓:UDP通信
目录 一、介绍 网络通信的三要素: (1)、IP地址: IPv4: IPv6: IP地址形式: IP常用命令: IP地址操作类: (2)、端口: (3)、协议: UDP协…...
clickhouse安装
clickhouse安装 在线安装和离线安装 一、环境准备: 1.检查系统是否支持clickhouse安装 (向量化支持) grep -q sse4_2 /proc/cpuinfo && echo “SSE 4.2 supported” || echo “SSE 4.2 not supported.” 2.下载对应的clickhouse包 复制运行之后,就会将对应的包加入…...

Cpp学习——string(2)
目录 编辑 容器string中的一些函数 1.capacity() 2.reserve() 3.resize() 4.push_back()与append() 5.find系列函数 容器string中的一些函数 1.capacity() capacity是string当中表示容量大小的函数。但是string开空间时是如何开的呢?现在就来看一下。先写…...
python进阶编程
lambda匿名函数 python使用lambda表达式来创建匿名函数 语法 // lambda 参数们:对参数的处理 lambda x : 2 * x // x 是参数, 2*x 是返回值 //使用lambda实现求和 sum lambda arg1, arg2 : agr1 arg2 print(sum(10,20)) // 将匿名函数封装在一…...

算法练习--leetcode 链表
文章目录 合并两个有序链表删除排序链表中的重复元素 1删除排序链表中的重复元素 2环形链表1环形链表2相交链表反转链表 合并两个有序链表 将两个升序链表合并为一个新的 升序 链表并返回。 新链表是通过拼接给定的两个链表的所有节点组成的。 示例 1: 输入&…...

Android性能优化—Apk瘦身优化
随着业务迭代,apk体积逐渐变大。项目中积累的无用资源,未压缩的图片资源等,都为apk带来了不必要的体积 增加。而APK 的大小会影响应用加载速度、使用的内存量以及消耗的电量。在讨论如何缩减应用的大小之前,有必要了解下应用 APK …...

前端主题切换方案——CSS变量
前言 主题切换是前端开发中老生常谈的问题,本文将介绍主流的前端主题切换实现方案——CSS变量 CSS变量 简介 编写CSS样式时,为了避免代码冗余,降低维护成本,一些CSS预编译工具(Sass/Less/Stylus)等都支…...

Java8 list多属性去重
大家好,我是三叔,很高兴这期又和大家见面了,一个奋斗在互联网的打工人。 在 Java 开发中,我们经常会面临对 List 中的对象属性去重的需求。然而,当需要根据多个属性来进行去重时,情况会稍微复杂一些。本篇…...

kafka-保证数据不重复-生产者开启幂等性和事务的作用?
1. 生产者开启幂等性为什么能去重? 1.1 场景 适用于消息在写入到服务器日志后,由于网络故障,生产者没有及时收到服务端的ACK消息,生产者误以为消息没有持久化到服务端,导致生产者重复发送该消息,造成了消…...
[AI in security]-214 网络安全威胁情报的建设
文章目录 1.什么是威胁情报2. 威胁情报3. 智能威胁情报3.1 智能威胁情报的组成3.2 整合威胁情报3.3 最佳实践4. 威胁情报的作用5.威胁情报模型6.反杀链模型7.基于TI的局部优势模型参考文献相关的研究1.什么是威胁情报 威胁情报是循证知识,包括环境、机制、指标、意义和可行性…...

Javaweb学习(2)
Javaweb学习 一、Maven1.1 Maven概述1.2 Maven简介1.3、Maven基本使用1.4、IDEA配置Maven1.6、依赖管理&依赖范围 二、MyBatis2.1 MyBatis简介2.2 Mybatis快速入门2.3、解决SQL映射文件的警告提示2.4、Mapper代理开发 三、MyBaits核心配置文件四、 配置文件的增删改查4.1 M…...
leetcode410. 分割数组的最大值 动态规划
hard:https://leetcode.cn/problems/split-array-largest-sum/ 给定一个非负整数数组 nums 和一个整数 m ,你需要将这个数组分成 m 个非空的连续子数组。 设计一个算法使得这 m 个子数组各自和的最大值最小。 示例 1:输入:nums [7,2,5,1…...

docker详细操作--未完待续
docker介绍 docker官网: Docker:加速容器应用程序开发 harbor官网:Harbor - Harbor 中文 使用docker加速器: Docker镜像极速下载服务 - 毫秒镜像 是什么 Docker 是一种开源的容器化平台,用于将应用程序及其依赖项(如库、运行时环…...

【WiFi帧结构】
文章目录 帧结构MAC头部管理帧 帧结构 Wi-Fi的帧分为三部分组成:MAC头部frame bodyFCS,其中MAC是固定格式的,frame body是可变长度。 MAC头部有frame control,duration,address1,address2,addre…...
系统设计 --- MongoDB亿级数据查询优化策略
系统设计 --- MongoDB亿级数据查询分表策略 背景Solution --- 分表 背景 使用audit log实现Audi Trail功能 Audit Trail范围: 六个月数据量: 每秒5-7条audi log,共计7千万 – 1亿条数据需要实现全文检索按照时间倒序因为license问题,不能使用ELK只能使用…...
大模型多显卡多服务器并行计算方法与实践指南
一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术,以解决单机资源不足的问题。分布式训练主要分为两种模式: 数据并行:将数据分片到不同设备,每个设备拥有完整的模型副本 模型并行:将模型分割到不同设备,每个设备处理部分模型计算 现代大模型训练通常结合…...
HTML前端开发:JavaScript 常用事件详解
作为前端开发的核心,JavaScript 事件是用户与网页交互的基础。以下是常见事件的详细说明和用法示例: 1. onclick - 点击事件 当元素被单击时触发(左键点击) button.onclick function() {alert("按钮被点击了!&…...
C++.OpenGL (14/64)多光源(Multiple Lights)
多光源(Multiple Lights) 多光源渲染技术概览 #mermaid-svg-3L5e5gGn76TNh7Lq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-3L5e5gGn76TNh7Lq .error-icon{fill:#552222;}#mermaid-svg-3L5e5gGn76TNh7Lq .erro…...

无人机侦测与反制技术的进展与应用
国家电网无人机侦测与反制技术的进展与应用 引言 随着无人机(无人驾驶飞行器,UAV)技术的快速发展,其在商业、娱乐和军事领域的广泛应用带来了新的安全挑战。特别是对于关键基础设施如电力系统,无人机的“黑飞”&…...

一些实用的chrome扩展0x01
简介 浏览器扩展程序有助于自动化任务、查找隐藏的漏洞、隐藏自身痕迹。以下列出了一些必备扩展程序,无论是测试应用程序、搜寻漏洞还是收集情报,它们都能提升工作流程。 FoxyProxy 代理管理工具,此扩展简化了使用代理(如 Burp…...

轻量级Docker管理工具Docker Switchboard
简介 什么是 Docker Switchboard ? Docker Switchboard 是一个轻量级的 Web 应用程序,用于管理 Docker 容器。它提供了一个干净、用户友好的界面来启动、停止和监控主机上运行的容器,使其成为本地开发、家庭实验室或小型服务器设置的理想选择…...
「Java基本语法」变量的使用
变量定义 变量是程序中存储数据的容器,用于保存可变的数据值。在Java中,变量必须先声明后使用,声明时需指定变量的数据类型和变量名。 语法 数据类型 变量名 [ 初始值]; 示例:声明与初始化 public class VariableDemo {publi…...