亚马逊云科技七项生成式AI新产品生成式AI,为用户解决数据滞后等难题
7月27日,亚马逊云科技在纽约峰会上一连发布了七项生成式AI创新,涵盖了从底层硬件到工具、软件、再到生态的全方位更新,成为它在该领域迄今最全面的一次升级展示,同时也进一步降低了生成式AI的使用门槛。
亚马逊云科技凭借自身端到端的实力向业界给出了一个独特的视角——源于亚马逊云科技丰富的终端业务场景(如电商零售、影音娱乐、云计算)、以用户为出发点考虑问题,这些生成式AI更新都是紧贴行业、为解决实际应用中的难题,并经过用户实际测试可行性后才推广的。
那么,生成式AI在实际应用层面存在哪些痛点呢?
数据的滞后性问题

在这次纽约峰会上,亚马逊云科技在AI平台上一项令人瞩目的更新Amazon Bedrock Agents可以解决开发中的复杂度难题。作为一项全托管的功能,这个代理可以自动分解任务并创建编排计划,无需手动编码。
它通过简单的API接口安全地连接企业内部数据,自动将最新数据转换为机器可读的格式,以生成最准确的回答,同时云服务的特性也让用户省去了开发者的系统集成管理和基础设施配置工作,整个过程中私有数据不会暴露给对外大模型。
这个设计理念和OpenAI发布的插件Plugin类似,可以让ChatGPT访问最新信息或者接入第三方服务来运行计算,比如赛事比分、股票实时交易价格、航班价格信息等。这也相当于给一部iPhone开发了App Store商店社区,极大丰富了它深入互联网的“触手”,以收集终端用户的反馈,再反哺给模型。
该选择哪个模型?
现在大模型发展如雨后春笋,企业开发者在面临选择时要考虑的因素越来越多,比如模型本身的算力、通用性、稳定性、模型的企业服务能力、全栈技术布局程度、与企业自身业务的匹配度等,最直接的是如何低成本、高效率地使用大模型。
不是一个模型就能完成所有的业务,但客户也没有必要了解所有模型后再选择合适自己的。亚马逊云科技就承担了精选模型这一环节。
今年4月份上线的全托管基础模型服务Amazon Bedrock反响良好,本次纽约峰会上这一服务也进行了重量级的扩展和更新,包括新增Cohere(英伟达领投的AI公司)作为基础模型供应商,并引入Anthropic(从OpenAI拆分出去的AI初创公司)和Stability AI(目前“文生图”领域一哥)的最新基础模型。
具体包括Cohere公司的旗舰级文本生成模型Command,可以更直观地生成、检索和汇总信息;Anthropic公司把最新的语言模型Claude 2接入到Amazon Bedrock,Claude 2可以在每个对话任务提示中最多标记10万个tokens,意味着它能处理数百页的文本;Stability AI公司在Amazon Bedrock上发布了最新版的文生图模型套件Stable Diffusion XL 1.0,比前一代具备更精细化的图像和构图细节。
这样,Amazon Bedrock这个开发平台上既提供了亚马逊云科技自研的模型Amazon Titan(包括Titan Text和Titan Embeddings),也汇集了越来越多的第三方模型,这个逐渐搭建起来的生态结合亚马逊云科技的底层稳定性,增强了开发者的使用黏性。
与此同时,开发者无需分心基础设施层面的事,通过API接口就可以访问这些行业领先的基础模型,以构建和扩展自己的AI应用程序,增加了客户选择模型的灵活度。
英伟达依赖?
这可以归结为一个成本考量问题。OpenAI目前最重要的一项任务是降低大模型训练成本,可见大模型是一个成本持续消耗的昂贵的生意,这传导给下游的模型调用者和应用企业,也会面临成本压力。
这在一定程度上受限于“英伟达依赖”。英伟达的GPU明星产品是全球公认的性能强大,但也是公认的贵,最近在eBay上最新H100芯片单价已经被炒到4万美元。据业内观察,英伟达A100、H100芯片供不应求,大多数被全球云计算大厂、有实力金主支持的AI创业公司(比如马斯克成立的AI公司)以及技术模型公司等买走了。
亚马逊云科技在本次纽约峰会上宣布Amazon EC2 P5实例正式可用,背后就是使用的英伟达最新H100 Tensor Core GPU芯片。与上一代基于GPU的实例相比,其训练时间最多可缩短6倍,直观印象是训练时间从几天缩短至几小时。这一性能提升可以帮助客户降低40%左右的训练成本。
在“一卡难求”的竞争局面下,亚马逊云科技与英伟达之间的战略合作关系可以保证后者芯片供应的稳定性和迭代及时性。对于那些性能和稳定性较敏感的客户,增加了一个选择亚马逊云科技的筹码。
而更具有未来战略意义的是自研芯片。由于英伟达GPU是通用型结构,在处理一些任务时并没做针对性的优化,亚马逊云科技坚持了自研芯片的道路,这是在云计算时代就已选择的策略,最早可追溯到2013年,比如它的Nitro芯片和通用处理器芯片Graviton。其他如谷歌、百度、阿里巴巴等云厂商也在走这条路,深入到底层去做定制化研发。
目前,亚马逊云科技可以用来跑大模型任务的两款自研芯片分别是训练芯片Trainium和新一代推理芯片Inferentia 2。前者与通用型GPU实例相比,可以为客户实现最高50%的训练成本节省;后者可以实现最高40%的性价比提升。亚马逊云科技一直以来是云服务降价的推动者,自提供云服务以来,它已经实现了129次降价。如今,在生成式AI时代,亚马逊云科技似乎也想延续这一策略,以价格传导机制给下游客户带来更多实惠。
通过最新发布可以看到,亚马逊云科技并未一味追求模型的大而全,而是从客户实际需求出发,持续降低客户使用大模型的门槛和成本。一方面,源于亚马逊云科技常年来在电商、云计算等多元场景中深入理解了C端和B端用户,以及各行业的规律,才有了这种实用性的客户视角;另一方面,这一目标的实现十分考验背后积累的端到端全栈技术能力,从底层芯片、框架、到工具软件、应用生态,亚马逊云科技在云时代端到端的积累正让它继续受益,成为这一轮生成式AI竞赛中的领导者。
相关文章:
亚马逊云科技七项生成式AI新产品生成式AI,为用户解决数据滞后等难题
7月27日,亚马逊云科技在纽约峰会上一连发布了七项生成式AI创新,涵盖了从底层硬件到工具、软件、再到生态的全方位更新,成为它在该领域迄今最全面的一次升级展示,同时也进一步降低了生成式AI的使用门槛。 亚马逊云科技凭借自身端到…...
图片等比例显示全部,兼容不同宽高比例图片
功能描述:预览瀑布流图片 点击预览不同的尺寸图片 <!-- 预览页面 --><div class"sea"><img :src"seaobj.url" alt""></div> .sea {z-index: 100;position: fixed;top: 0;text-align: center;background-colo…...
·[K8S:使用calico网络插件]:解决集群节点NotReady问题
文章目录 一:安装calico:1.1:weget安装Colico网络通信插件:1.2:修改calico.yaml网卡相关配置:1.2.1:查看本机ip 网卡相关信息:1.2.2:修改calico.yaml网卡interface相关信…...
泊松损坏图像的快速尺度间小波去噪研究(Matlab代码实现)
💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…...
服务器端开发-golang dlv 远程调试
1。需要root权限的服务器代码调试 sudo ./appps to get piddlv attach pid --headless --listen:40000 --api-version2 --accept-multiclientattach the golang IDE or other IDE 2。不需要root权限的服务器代码调试,另一种选择 dlv --listen:40000 --headlesstr…...
STM32F103——时钟配置
目录 1、认识时钟树 1.1 什么是时钟树 1.2 时钟系统解析 1.2.1 时钟源 1.2.2 锁相环PLL 1.2.3 系统时钟SYSCLK 1.2.4 时钟信号输出MCO 2、如何修改主频 2.1 STM32F1时钟系统配置 2.2 STM32F1 时钟使能和配置 下列进行举例的开发板是原子哥的战舰开发板STM32F103ZET…...
【Linux】信号捕捉
目录 信号捕捉1.用户态与内核态1.1关于内核空间与内核态:1.2关于用户态与内核态的表征: 2.信号捕捉过程 信号捕捉 1.用户态与内核态 用户态:执行用户代码时,进程的状态 内核态:执行OS代码时,进程的状态 …...
超详情的开源知识库管理系统- mm-wiki的安装和使用
背景:最近公司需要一款可以记录公司内部文档信息,一些只是累计等,通过之前的经验积累,立马想到了 mm-wiki,然后就给公司搭建了一套,分享一下安装和使用说明: 当前市场上众多的优秀的文档系统百…...
安卓:UDP通信
目录 一、介绍 网络通信的三要素: (1)、IP地址: IPv4: IPv6: IP地址形式: IP常用命令: IP地址操作类: (2)、端口: (3)、协议: UDP协…...
clickhouse安装
clickhouse安装 在线安装和离线安装 一、环境准备: 1.检查系统是否支持clickhouse安装 (向量化支持) grep -q sse4_2 /proc/cpuinfo && echo “SSE 4.2 supported” || echo “SSE 4.2 not supported.” 2.下载对应的clickhouse包 复制运行之后,就会将对应的包加入…...
Cpp学习——string(2)
目录 编辑 容器string中的一些函数 1.capacity() 2.reserve() 3.resize() 4.push_back()与append() 5.find系列函数 容器string中的一些函数 1.capacity() capacity是string当中表示容量大小的函数。但是string开空间时是如何开的呢?现在就来看一下。先写…...
python进阶编程
lambda匿名函数 python使用lambda表达式来创建匿名函数 语法 // lambda 参数们:对参数的处理 lambda x : 2 * x // x 是参数, 2*x 是返回值 //使用lambda实现求和 sum lambda arg1, arg2 : agr1 arg2 print(sum(10,20)) // 将匿名函数封装在一…...
算法练习--leetcode 链表
文章目录 合并两个有序链表删除排序链表中的重复元素 1删除排序链表中的重复元素 2环形链表1环形链表2相交链表反转链表 合并两个有序链表 将两个升序链表合并为一个新的 升序 链表并返回。 新链表是通过拼接给定的两个链表的所有节点组成的。 示例 1: 输入&…...
Android性能优化—Apk瘦身优化
随着业务迭代,apk体积逐渐变大。项目中积累的无用资源,未压缩的图片资源等,都为apk带来了不必要的体积 增加。而APK 的大小会影响应用加载速度、使用的内存量以及消耗的电量。在讨论如何缩减应用的大小之前,有必要了解下应用 APK …...
前端主题切换方案——CSS变量
前言 主题切换是前端开发中老生常谈的问题,本文将介绍主流的前端主题切换实现方案——CSS变量 CSS变量 简介 编写CSS样式时,为了避免代码冗余,降低维护成本,一些CSS预编译工具(Sass/Less/Stylus)等都支…...
Java8 list多属性去重
大家好,我是三叔,很高兴这期又和大家见面了,一个奋斗在互联网的打工人。 在 Java 开发中,我们经常会面临对 List 中的对象属性去重的需求。然而,当需要根据多个属性来进行去重时,情况会稍微复杂一些。本篇…...
kafka-保证数据不重复-生产者开启幂等性和事务的作用?
1. 生产者开启幂等性为什么能去重? 1.1 场景 适用于消息在写入到服务器日志后,由于网络故障,生产者没有及时收到服务端的ACK消息,生产者误以为消息没有持久化到服务端,导致生产者重复发送该消息,造成了消…...
[AI in security]-214 网络安全威胁情报的建设
文章目录 1.什么是威胁情报2. 威胁情报3. 智能威胁情报3.1 智能威胁情报的组成3.2 整合威胁情报3.3 最佳实践4. 威胁情报的作用5.威胁情报模型6.反杀链模型7.基于TI的局部优势模型参考文献相关的研究1.什么是威胁情报 威胁情报是循证知识,包括环境、机制、指标、意义和可行性…...
Javaweb学习(2)
Javaweb学习 一、Maven1.1 Maven概述1.2 Maven简介1.3、Maven基本使用1.4、IDEA配置Maven1.6、依赖管理&依赖范围 二、MyBatis2.1 MyBatis简介2.2 Mybatis快速入门2.3、解决SQL映射文件的警告提示2.4、Mapper代理开发 三、MyBaits核心配置文件四、 配置文件的增删改查4.1 M…...
leetcode410. 分割数组的最大值 动态规划
hard:https://leetcode.cn/problems/split-array-largest-sum/ 给定一个非负整数数组 nums 和一个整数 m ,你需要将这个数组分成 m 个非空的连续子数组。 设计一个算法使得这 m 个子数组各自和的最大值最小。 示例 1:输入:nums [7,2,5,1…...
wordpress后台更新后 前端没变化的解决方法
使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…...
(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)
题目:3442. 奇偶频次间的最大差值 I 思路 :哈希,时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况,哈希表这里用数组即可实现。 C版本: class Solution { public:int maxDifference(string s) {int a[26]…...
【网络】每天掌握一个Linux命令 - iftop
在Linux系统中,iftop是网络管理的得力助手,能实时监控网络流量、连接情况等,帮助排查网络异常。接下来从多方面详细介绍它。 目录 【网络】每天掌握一个Linux命令 - iftop工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景…...
日语AI面试高效通关秘籍:专业解读与青柚面试智能助攻
在如今就业市场竞争日益激烈的背景下,越来越多的求职者将目光投向了日本及中日双语岗位。但是,一场日语面试往往让许多人感到步履维艰。你是否也曾因为面试官抛出的“刁钻问题”而心生畏惧?面对生疏的日语交流环境,即便提前恶补了…...
零门槛NAS搭建:WinNAS如何让普通电脑秒变私有云?
一、核心优势:专为Windows用户设计的极简NAS WinNAS由深圳耘想存储科技开发,是一款收费低廉但功能全面的Windows NAS工具,主打“无学习成本部署” 。与其他NAS软件相比,其优势在于: 无需硬件改造:将任意W…...
什么是EULA和DPA
文章目录 EULA(End User License Agreement)DPA(Data Protection Agreement)一、定义与背景二、核心内容三、法律效力与责任四、实际应用与意义 EULA(End User License Agreement) 定义: EULA即…...
大模型多显卡多服务器并行计算方法与实践指南
一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术,以解决单机资源不足的问题。分布式训练主要分为两种模式: 数据并行:将数据分片到不同设备,每个设备拥有完整的模型副本 模型并行:将模型分割到不同设备,每个设备处理部分模型计算 现代大模型训练通常结合…...
多种风格导航菜单 HTML 实现(附源码)
下面我将为您展示 6 种不同风格的导航菜单实现,每种都包含完整 HTML、CSS 和 JavaScript 代码。 1. 简约水平导航栏 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport&qu…...
Java面试专项一-准备篇
一、企业简历筛选规则 一般企业的简历筛选流程:首先由HR先筛选一部分简历后,在将简历给到对应的项目负责人后再进行下一步的操作。 HR如何筛选简历 例如:Boss直聘(招聘方平台) 直接按照条件进行筛选 例如:…...
【HarmonyOS 5 开发速记】如何获取用户信息(头像/昵称/手机号)
1.获取 authorizationCode: 2.利用 authorizationCode 获取 accessToken:文档中心 3.获取手机:文档中心 4.获取昵称头像:文档中心 首先创建 request 若要获取手机号,scope必填 phone,permissions 必填 …...
