当前位置： 首页 > news >正文

Apache Beam 2.50.0发布,该版本包括改进功能和新功能

news 2025/12/15 15:32:37
导读我们很高兴向您介绍 Beam 的新版本 2.50.0。该版本包括改进功能和新功能。请查看此版本的下载页面。

Apache Beam 2.50.0发布,该版本包括改进功能和新功能Apache Beam 2.50.0发布,该版本包括改进功能和新功能

亮点

  1. Spark 3.2.2 被用作 Spark 运行程序的默认版本（#23804）。
  2. Go SDK 新增默认本地运行程序，名为 Prism（#24789）。
  3. 所有 Beam 发布的容器镜像现在都是多架构镜像，同时支持 x86 和 ARM CPU 架构。

输入/输出

  1. Java KafkaIO 现在支持通过 topicPattern 提取主题（#26948）
  2. 支持从 Cosmos DB Core SQL API 读取数据（#23604）
  3. HBaseIO 升级至 HBase 2.5.5。(Java）（#27711）
  4. 增加了对 GoogleAdsIO 源的支持（Java）(#27681)。

新功能/改进

  1. Go SDK 现在需要 Go 1.20 才能构建。(#27558)
  2. Go SDK 新增默认本地运行程序 Prism。(#24789).
  3. Prism 是一种可移植的运行程序，能独立执行每个转换，确保编码人员的安全。
  4. 目前，它在功能上取代了 Go 直接运行程序。Go 直接运行程序现已弃用。
  5. 有关 Prism 的目标和功能，请参见 https://github.com/apache/beam/blob/master/sdks/go/pkg/beam/runners/prism/README.md。
  6. 在 Python SDK 中添加了用于 RunInference 的抱脸模型处理程序。(#26632)
  7. 在 Python SDK 中添加了 RunInference 的 Hugging Face Pipelines 支持。(#27399)
  8. RunInference 的顶点 AI 模型处理程序现在支持私有端点 (#27696)
  9. 添加了 MLTransform 变换，支持常见的 ML 预/后处理操作 (#26795)
  10. 将 Java SDK 的 Kryo 扩展升级至 Kryo 5.5.0。这带来了错误修复、性能改进以及 Java 14 记录的序列化。(#27635)
  11. 所有 Beam 发布的容器镜像现在都是支持 x86 和 ARM CPU 架构的多架构镜像。(#27674).多架构容器镜像包括:所有版本的 Go、Python、Java 和 Typescript SDK 容器;所有版本的 Flink 作业服务器容器;Java 和 Python 扩展服务容器;Transform 服务控制器容器;Spark3 作业服务器容器.
  12. 添加了对 AWS SQS 批量写入的支持，以提高吞吐量（Java、AWS 2）。

破坏性变更

  1. Python SDK：从 Dataflow 中移除传统运行程序支持，所有管道都必须使用运行程序 v2。
  2. Python SDK：在管道提交时，Dataflow Runner 不会再将来自 PyPI 的 Beam SDK 放在 –staging_location 中。非基于 Beam 默认镜像的自定义容器镜像必须包含 Apache Beam 安装。

相关文章：

Apache Beam 2.50.0发布,该版本包括改进功能和新功能

导读我们很高兴向您介绍 Beam 的新版本 2.50.0。该版本包括改进功能和新功能。请查看此版本的下载页面。 亮点 Spark 3.2.2 被用作 Spark 运行程序的默认版本（#23804）。Go SDK 新增默认本地运行程序，名为 Prism（#24789&#xff0…...

编程日记 2023/9/23 15:11:24

华为云云耀云服务器 L 实例评测｜配置教程 + 用 Python 简单绘图

文章目录 Part.I IntroductionChap.I 云耀云服务器 L 实例简介Chap.II 参与活动步骤 Part.II 配置Chap.I 初步配置Chap.II 配置安全组 Part.III 简单使用Chap.I VScode 远程连接华为云Chap.II 简单绘图 Reference Part.I Introduction 本篇博文是为了参与华为“【有奖征文】华…...

编程日记 2023/9/23 15:08:21

栈的简单应用（利用Stack进行四则混合运算）（JAVA）

目录 中缀表达式转后缀表达式 图解 代码实现过程： 完整代码： 利用后缀表达式求值： 完整代码： 首先我们得先了解逆波兰表达式。 中缀表达式转后缀表达式 所谓的中缀表达式其实就是我们平时写的例如：&#xff1…...

编程日记 2023/9/23 15:06:19

Python---异常

捕获全部异常 语法： try: 可能发生的错误代码 except: 如果出现异常执行的代码 例子： try:open("test2.txt", "r", encoding"UTF-8") except:print("出现异常，文件不存在，换个模式打…...

编程日记 2023/9/23 15:04:16

视频编解码器H.264和H265有什么区别？

对于大型视频文件来说，视频编解码器至关重要，它可以将文件压缩为较小的尺寸，从而可以更轻松地存储和加快传输速度。而两种最常用的编解码器是H.264和H.265，那么它们两者之间有什么区别，哪一个更好呢？ 1. 什…...

编程日记 2023/9/23 15:03:15

网络安全进阶学习第十六课——业务逻辑漏洞介绍

文章目录 一、什么是业务逻辑二、业务逻辑漏洞的成因三、逻辑漏洞的重要性四、业务逻辑漏洞分类五、业务逻辑漏洞——业务授权安全1、未授权访问2、越权访问1) 平行越权（水平越权是指相同权限的不同用户可以互相访问）2) 垂直越权（垂直越权是指…...

编程日记 2023/9/23 15:02:15

华为OD：跳房子I

题目描述 跳房子，也叫跳飞机，是一种世界性的儿童游戏。 游戏参与者需要分多个回合按顺序跳到第1格直到房子的最后一格 跳房子的过程中，可以向前跳，也可以向后跳。 假设房子的总格数是count，小红每回合可能连续跳的…...

编程日记 2023/9/23 15:01:14

C语言自定义类型详解（1）结构体知识汇总

本篇概要 本篇主要讲述C语言结构体的相关知识，包括结构体的基本声明，结构体的匿名结构，结构体的自引用，结构体变量的定义和初始化以及结构体的内存对齐等相关知识。 文章目录 本篇概要1.结构体1.1结构体的基本声明1.2结构体的特殊…...

编程日记 2023/9/23 14:58:11

小程序中如何查看会员的访问记录

​在小程序中，我们可以通过如下方式来查看会员的访问记录。下面是具体的操作流程： 1. 找到指定的会员卡。在管理员后台->会员管理处，找到需要查看访客记录的会员卡。也支持对会员卡按卡号、手机号和等级进行搜索。 2. 查看会员卡详情。点…...

编程日记 2023/9/23 14:57:10

SpringCloud Alibaba - Sentinel

接上文SpringCloud Alibaba - Nacos 1.Sentinel 流量防卫兵 1.1 安装与部署 和Nacos一样，它是独立安装和部署的，下载地址https://github.com/alibaba/Sentinel/releases 下载后的jar放到目录 然后配置 启动并访问,用户名密码都是 sentinel 此时就…...

编程日记 2023/9/23 14:55:07

内存泄漏，内存溢出，抽象类和接口，netstat、ping、ifconfig的区别

持续学习是我们必备的技能之一，保持与时俱进，保持行业的敏感度，关注行业发展趋势，了解新技术，加强自己的认知，积极的应对变化 内存泄漏 memory leak 是指程序在申请内存后，无法释放已申请的内…...

编程日记 2023/9/23 14:54:04

TensorFlow安装 ，在原本的虚拟环境下配置Tensorflow.

1.TensorFlow安装 ，在原本的虚拟环境下配置Tensorflowh和pytorch 2.我首先在anaconda的环境下创建了一个tensorflow文件夹 如何先进入D盘，再进入tensorflow文件夹的目录D:cd D:\Anaconda\TensorFlowSoftWarepip install tensorflow如图所示报错解决方法 …...

编程日记 2023/9/23 14:52:02

如何使用HTML, CSS和JavaScript开发一个浏览器打字游戏：从零到一的详细步骤与完整代码教程

第一部分：游戏概述与HTML结构 1. 游戏概述 打字游戏是一个训练用户打字速度和准确性的游戏。用户将会看到一个随机的单词或句子，并在限定时间内尽快准确地键入该单词或句子。每次正确输入，玩家得分，每次输入错误，扣分。这个游戏不仅能够增加用户的打字速度，还可以为学习…...

编程日记 2023/9/23 14:50:00

安卓玩机搞机----不用刷第三方官改固件即可享受“高级设置”的操作 ChiMi安装使用步骤

很多玩友特别喜欢第三方作者修改的带有高级设置的官改包。因为他可以随意修改系统里面的有关设置选项。包括但不限于修改状态栏 显示日期 秒等等的操作。 第三方带高级设置的官改 一般官改带高级设置的类似与 今天给大家分享下不用刷这些官改包即可享受高级设置的操作。 红米…...

编程日记 2023/9/23 14:48:59

代码随想录|392.判断子序列，115.不同的子序列（需要二刷）

392.判断子序列 先用双指针做 class Solution {public boolean isSubsequence(String s, String t) {//双指针int ms.length();int nt.length();int slow0;int i0;int j0;while(i<m&&j<n){if(s.charAt(i)t.charAt(j)){i;System.out.println(i);}j;}return im?…...

编程日记 2023/9/23 14:42:53

Linux——文件系统

✅<1>主页&#xff1a;&#xff1a;我的代码爱吃辣 &#x1f4c3;<2>知识讲解&#xff1a;Linux——文件系统 ☂️<3>开发环境&#xff1a;Centos7 &#x1f4ac;<4>前言&#xff1a;上期我们了解了文件在内存中得组织方式&#xff0c;那么文件在磁盘中…...

编程日记 2023/9/23 14:41:51

《动手学深度学习 Pytorch版》 7.3 网络中的网络(NiN)

LeNet、AlexNet和VGG的设计模式都是先用卷积层与汇聚层提取特征&#xff0c;然后用全连接层对特征进行处理。 AlexNet和VGG对LeNet的改进主要在于扩大和加深这两个模块。网络中的网络&#xff08;NiN&#xff09;则是在每个像素的通道上分别使用多层感知机。 import torch fr…...

编程日记 2023/9/23 14:40:50

古代有没有电子元器件？

手机&#xff0c;电脑&#xff0c;电视等等电子产品&#xff0c;无时无刻充斥在我们的生活中&#xff0c;如果有一天突然没有了这些功能多样的电子产品&#xff0c;估计大部分人都会一时之间难以适应。 这就好比正在上网&#xff0c;结果突然被人断了网&#xff0c;导致无网络连…...

编程日记 2023/9/23 14:38:46

log4j2或者logback配置模版实现灵活输出服务名

介绍 在我们使用log4j2或者logback打印日志时&#xff0c;输出的内容中通常是一定要加上服务名的。以log4j2为例&#xff1a; <!--输出控制台的配置--> <Console name"Console" target"SYSTEM_OUT"><!-- 输出日志的格式 --><Patter…...

编程日记 2023/9/23 14:36:44

使用HTTP爬虫ip中的常见误区与解决方法

在如今的互联网时代&#xff0c;为了保障个人隐私和实现匿名浏览&#xff0c;许多人选择使用HTTP爬虫ip。然而&#xff0c;由于缺乏了解和使用经验&#xff0c;常常会出现一些误区。本文将为大家介绍使用HTTP爬虫ip过程中常见的误区&#xff0c;并提供相应的解决方法&#xff0…...

编程日记 2023/9/23 14:35:43

JavaScript 中的 ES|QL：利用 Apache Arrow 工具

作者&#xff1a;来自 Elastic Jeffrey Rengifo 学习如何将 ES|QL 与 JavaScript 的 Apache Arrow 客户端工具一起使用。 想获得 Elastic 认证吗&#xff1f;了解下一期 Elasticsearch Engineer 培训的时间吧&#xff01; Elasticsearch 拥有众多新功能&#xff0c;助你为自己…...

编程新知 2025/12/15 7:23:02

1688商品列表API与其他数据源的对接思路

将1688商品列表API与其他数据源对接时&#xff0c;需结合业务场景设计数据流转链路&#xff0c;重点关注数据格式兼容性、接口调用频率控制及数据一致性维护。以下是具体对接思路及关键技术点&#xff1a; 一、核心对接场景与目标 商品数据同步 场景&#xff1a;将1688商品信息…...

编程新知 2025/11/30 16:55:32

ElasticSearch搜索引擎之倒排索引及其底层算法

文章目录 一、搜索引擎1、什么是搜索引擎？2、搜索引擎的分类3、常用的搜索引擎4、搜索引擎的特点二、倒排索引1、简介2、为什么倒排索引不用B+树1.创建时间长，文件大。2.其次，树深，IO次数可怕。3.索引可能会失效。4.精准度差。三. 倒排索引四、算法1、Term Index的算法2、 …...

编程新知 2025/12/10 14:05:33

MySQL中【正则表达式】用法

MySQL 中正则表达式通过 REGEXP 或 RLIKE 操作符实现&#xff08;两者等价&#xff09;&#xff0c;用于在 WHERE 子句中进行复杂的字符串模式匹配。以下是核心用法和示例&#xff1a; 一、基础语法 SELECT column_name FROM table_name WHERE column_name REGEXP pattern; …...

编程新知 2025/11/21 22:02:37

push [特殊字符] present

push &#x1f19a; present 前言present和dismiss特点代码演示 push和pop特点代码演示 前言 在 iOS 开发中&#xff0c;push 和 present 是两种不同的视图控制器切换方式&#xff0c;它们有着显著的区别。 present和dismiss 特点 在当前控制器上方新建视图层级需要手动调用…...

编程新知 2025/12/12 10:30:26

aardio 自动识别验证码输入

技术尝试 上周在发学习日志时有网友提议“在网页上识别验证码”&#xff0c;于是尝试整合图像识别与网页自动化技术&#xff0c;完成了这套模拟登录流程。核心思路是&#xff1a;截图验证码→OCR识别→自动填充表单→提交并验证结果。 代码在这里 import soImage; import we…...

编程新知 2025/12/5 7:23:30

算法刷题-回溯

今天给大家分享的还是一道关于dfs回溯的问题&#xff0c;对于这类问题大家还是要多刷和总结&#xff0c;总体难度还是偏大。 对于回溯问题有几个关键点&#xff1a; 1.首先对于这类回溯可以节点可以随机选择的问题&#xff0c;要做mian函数中循环调用dfs&#xff08;i&#x…...

编程新知 2025/10/14 10:53:46

Java设计模式：责任链模式

一、什么是责任链模式&#xff1f; 责任链模式&#xff08;Chain of Responsibility Pattern&#xff09; 是一种 行为型设计模式&#xff0c;它通过将请求沿着一条处理链传递&#xff0c;直到某个对象处理它为止。这种模式的核心思想是 解耦请求的发送者和接收者&#xff0c;…...

编程新知 2025/12/11 23:46:26

PostgreSQL 对 IPv6 的支持情况

PostgreSQL 对 IPv6 的支持情况 PostgreSQL 全面支持 IPv6 网络协议&#xff0c;包括连接、存储和操作 IPv6 地址。以下是详细说明&#xff1a; 一、网络连接支持 1. 监听 IPv6 连接 在 postgresql.conf 中配置&#xff1a; listen_addresses 0.0.0.0,:: # 监听所有IPv4…...

编程新知 2025/9/14 21:10:48

汇编语言学习（三）——DoxBox中debug的使用

目录 一、安装DoxBox&#xff0c;并下载汇编工具&#xff08;MASM文件&#xff09; 二、debug是什么 三、debug中的命令 一、安装DoxBox&#xff0c;并下载汇编工具&#xff08;MASM文件&#xff09; 链接&#xff1a; https://pan.baidu.com/s/1IbyJj-JIkl_oMOJmkKiaGQ?pw…...

编程新知 2025/12/4 6:40:42